Hogg. McKean. Craig 數理統計第六版讀後心得

Hogg. McKean. Craig 數理統計第六版讀後心得

 

閱讀書籍：Robert V. Hogg, Joseph W. McKean, Allen T. Craig. Introduction to Mathematical Statistics. 6e. 2005. Pearson Prentice Hall.

 

    本文為從一個業餘統計讀者之角度，閱讀Hogg數理統計教科書的讀後心得。個人接觸統計的時機在於閱讀臨床或是生醫實驗相關論文數據會用到統計。個人自學過完整的初等微積分與線性代數，以及初等統計學。

 

 

    統計學裡面的內容，在初等統計學課程會學習到基礎的敘述統計、機率論、機率分布、連續與離散機率分布、動差與母函數，接著進入母體參數與樣本統計量的概念。有了這些基礎，我們就開始進行統計學第一個任務的學習：運用樣本統計量，估測母體參數，例如用樣本的平均數，猜測母體全體平均值，並且找出這個樣本平均數本身的機率分布，計算信賴區間。估測的參數又有不偏性、有效性、一致性等等性質要去分析理解。第二個統計學的任務則是假設檢定，也就是當統計量算出來，落在哪些區域，要拒絕虛無假設(例如母體參數等於某某值或是樣本比率在兩組樣本沒差等等)，這會用到樣本統計量之機率分布，這樣才會知道哪些值算是rare event，所以要放棄虛無假設。接著課程安排通常會讓學生一一學習樣本平均數、比率、變異數等，用在單群體、雙群體等等狀況相關的檢定方法，還有變異數分析(分析多組群體的平均值)、Chi-square檢定(檢視類別變項的相關性或是獨立性)等等。然後會進入到統計的另一個領域：迴歸分析，檢視不同變量間的關聯性，以及相關的係數的估測與檢定。最後以無母數方法做結束，處理一些樣本數過小，或是母體分布的假設不符合常用檢定方法假設的狀況。

    也就是說，統計學的目的在於驗證或拒絕假說，用到的技術就是用樣本估測母體全體，不確定性的處理是建立在機率論上頭。

    但是初等統計學受限於背景數學知識不足，機率論的知識無法全盤應用到假設檢定，導致兩段學起來好像互不相關：機率論部分充滿數學，但後面統計的學習好像在背方法與食譜一般，理論的一致性使人感受不足。而數理統計，正是可以充分了解這些理論如何建構的科目。

 

    這本Hogg. McKean. Craig Introduction to Mathematical Statistics為第六版，全書分為12個章節，以下大致介紹本書內容。

 

    第一章為Probability and Distribution，為數理統計裡面最為基礎的一章，包括簡介、集合的概念、機率公設、機率集合函數、條件機率與獨立機率、離散與連續隨機變數、期望值的計算，以及各種不等式證明。這裡會介紹各種基本的機率論中的定義，其中獨立、期望值一定要很清楚，以及相關的機率密度函數PDF、累積密度函數CDF、動差與母函數等等概念。母函數代表一個分布的獨特性質，任何統計量的推導，若符合某種分布的母函數，可以讓我們了解可以用什麼分布代表它們。其中離散與連續隨機變數還會介紹變數變換，後續的內容通通都會使用到。另外，不等式的部分會證明與介紹一些常用的不等式，例如Markov’s Inequality與Chebyshev’s Inequality，在後續各種證明也都會使用到。最基本的調和、幾何與算術平均數的大小比較也會證明。

    第二章為Multivariate Distributions，把第一章內容擴展到多變數的範圍，因此數學基礎包括多變量微積分、變數變換與Jacobian，還有線性代數。內容包括雙變數機率分布、變數變換、條件機率、相關係數、獨立變數、延伸到多變數、還有多維的變數變換。這一章的重點在於熟悉運用矩陣運算描述多變數函數，還有變異數、共變量與其組成的矩陣的運算(因為多變數除非獨立，不然彼此間也會有共變數)。這些在後續學到常態分布還有後面統計檢定各章的推導都會使用多變量處理的技巧。

    熟悉了以上二章，第三章為Some Special Distributions，介紹各種常用的機率分布，包括二項分布、Poisson Distribution、Gamma、Chi square與beta、常態分布，還有多變量常態分布。另外還有t分布與F分布，以及混合分布。其中Poisson Distribution、Gamma、Chi square的CDF、PDF與推導必須熟悉，因為後續假設檢定用的檢定量常常都是這邊推導而來。另外，Chi square為常態分布平方得來，t分布又是常態分布與Chi square分布組合而來所得到，F分布為兩個Chi-square分布相除組成，這些推導過程都是常用的假設檢定的基礎，是整本書第一個關鍵的地方。還有，Comtaminated distribution是一個新的觀念與處理手法，在後面解說outlier對於檢定量如何影響會運用到。

    到了第四章，開始來到假設檢定的前置基礎—參數估測：Unbiasedness, Consistency, and Limiting Distribution。這裡會從無窮級數的概念帶入convergence in probability and distribution，釐清convergence in probability的條件是比distribution更加嚴格，還介紹了一些運算性質。了解怎樣的狀況符合convergence後，介紹了中央極限定理，推導不同樣本數下的統計量，在樣本數趨近無窮的狀況會如何收斂，收斂成哪個limiting distribution。此為本書第二個關鍵的地方。最後以Asymptotics for Multivariate Distribution結束。

    第五章正式進入統計假設檢定，為Some Elementary Statistical Inferences。內容先介紹樣本與抽樣，接著介紹序數統計量(百分位數、中位數等等)，也介紹他們的機率分布還有信賴區間。其中會應用到二項分布、排列組合技巧，這裡的公式也可以記下來，後續有些推導也會用到，而且這也是一般統計學不太會提到的部分。接著內容介紹tolerance intervel (有多少的機率，在多少到多少佔整體的分布多少比率)、更多信賴區間的特性、假設檢定、type I and II error、power、Chi-square test。最後會稍微介紹模擬計算的範疇，包含蒙地卡羅法、拔靴法等等。

    第六章進入假設檢定的核心：Maximum Likelihood Methods。這個章節是本書最為關鍵的章節，結合前面的基礎，展開其他各種統計估測與推論的理論。本章一一介紹最大概似法、Cramér–Rao Lower Bound。其中會先介紹，likelihood function中，當代入母體參數後，會使得likelihood function達到最大值。因此可以運用最大概似法(找likelihood function的最大值)得到母體參數估測值，因為這會是一個合理且unbiased的估測值。接著介紹某些機率分布的條件下，它的母體參數估測值的變異數的下限為何，引入information函數，並且證明在某些條件下，maximum likelihood methods得到的估測值具有最小變異數，這也帶入了efficiency的概念：估測值中，得到的變異最小。另外，運用likelihood function所組合而成的統計量，可以計算機率分布，用來做假設檢定 (likelihood ratio test)，也探討其limiting distribution (Chi-square)，還有衍伸的各種統計量：Wald-type test與Score-type test。接著把概念擴展到多變量情況，也介紹計算上常用的EM演算法。

    第七章介紹了一般統計學不太會提到的Sufficiency概念：當所有樣本代入Likelihood function，除以某個樣本統計量的機率密度函數，得到一個新的函數，只與樣本值相關，不與母體參數相關，這叫做充分統計量，因為這個統計量涵蓋了母體參數資訊。本章後續介紹充分統計量的性質、Completeness與Uniqueness概念，還有Exponential Cases of Distribution的例子(包含最常見的常態分布)。這邊是全書讀下來第四個關鍵：Rao-Blackwell定理加上Lehmann and Scheffé 定理，提到充分統計量、complete set還有最小變異不偏估計彼此間的關聯，還有其唯一性的特性。另外，maximal likelihood estimation的估測值為充分統計量的函數。這些特性，提供了尋找母體參數中最小變異不偏估計量MVUE的方法。這個章節還會把概念帶到多參數估測，還有各種統計量的獨立性的探討。

    第八章是Optimal Tests of Hypothesis，介紹什麼rejection of null hypothesis/critical area是最適當的？這也是第五個關鍵的地方。也就是，要符合alpha值，又要得到最大power。接著引入likelihood ratio test (在多數狀況下，MLE的比率符合most powerful test)，結合前面學過的概念，來計算臨界值。最後介紹一些其他的檢定手法，例如Minimax Procedure與Classification Procedure。

    第九章又回到一般統計學各種檢定方法與回歸的內容：Inferences about Normal Models，先介紹quadratic forms，這是ANOVA的基礎，接著介紹ANOVA為何可以檢定不同組的平均值為何相同，結合了quadratic form、Chi-square分布與F分布的性質，得出F檢定量。接著介紹noncentral Chi-square distribution，這在無母數章節會用到。最後介紹多重比較程序(因為ANOVA的alternative hypothesis只知道並非所有組別平均數相同，卻不知道兩兩比較的狀況，因此需要事後檢定)，還有迴歸分析、獨立性分析、quadratic form的性質之深入解說。

    第十章介紹無母數分析方法Nonparametric Statistics，包括Sign Test、Signed-Rank Wilcoxon、Mann-Whitney-Wilcoxon Procedure與General Rank Scores。這邊運用到前面序數統計量機率分布、還有極限定理的性質，推導無母數的漸進分布與power function，並且證實，在某先受到雜訊outlier摻雜的常態分布中，其power比起一般常用t-test更好。也了解到無母數方法和母體distribution-free的意義。

    第十一章為Bayesian Statistics，引入主觀機率與機率公設性質，還有貝氏估測方法、模擬方法介紹，並且稍微比較不同方法的特性。總之，這種估測法是認為母體參數不是一個值，而是具有機率分布的，當樣本較少時，其會影響到估測值的值，但樣本量很大的時候，估測值則偏向由樣本決定。

    第十二章是總結性章節，為Linear Models。本章一開始介紹「robust」特性，運用數學方法檢視哪些統計量比較不受outlier影響。接著重新介紹迴歸分析，引入迴歸分析與幾何上的特性。在空間中的norm，可以用least square與Wilcoxon不同的方法與定義，推導各自的回歸估測值，估計每個變量對於應變數的影響大小，並且展現Wilcoxon方法對於outlier較能夠不被影響，達到「robust」性質。另外也說明迴歸分析與ANOVA的關聯，了解到這種分析模型都是一體的。

 

    總而言之，整本書是以理論建構為主的，並非按照初等統計學習內容，而是從常用分布的推導、limiting distribution、MLE、sufficient statistics依序建構常用的證明與推導方法，接著介紹假設檢定optimal tests，應用到normal models、無母數方法等。最後介紹現代機率統計的主題。當然，裡面仍有些推導書中會請讀者參考進階書籍，但對於初步了解統計的理論建構，本書應可滿足業餘讀者需求。

    要順利閱讀本書，必須要有的數學基礎包含微積分，其中積分技巧、多變數函數、變數變換必須要完全掌握，另外也要了解無窮級數、收斂性質的推導(以一般大學授課，至少6學分以上的微積分才夠)。此外，還要讀線性代數，對於線性變換、矩陣運算、特徵值與特徵向量、矩陣對角化等主題也要熟悉(以一般大學授課，至少需要工學院的線性代數3學分以上)，這樣才能順利處理數理統計中的推導。

    理論上本書不用學過初等統計應該也看得懂，但對於應用領域(工管、生物、醫學等等)而言，熟悉初等統計才能夠了解這些檢定方法是如何運用的，先全盤了解，看數理統計才不會陷入五里迷霧。但若想比較進入狀況，閱讀機率論著墨比較詳細的初等統計可能會比較好。(以一般大學授課，完整的初等統計通常至少要商學院6學分的統計學加上工學院機率課程2-3學分較為足夠)

    個人感覺，整本書的鋪排就是在訓練：找出某個統計量的機率分布。所以這也是為什麼前面強調，機率論的基礎計算，一定要很熟悉，甚至像是反射動作。閱讀的過程中，有些簡單的推導過程可以自己在紙上試試看，通常會卡關的部分在於積分技巧或是無窮級數相關的部分。有些太過繁雜的證明會被列在習題，但是因為個人只是要掌握大部分概念，因此太過複雜的證明有時會「不求甚解」就跳過去(畢竟若要專門學這個東西，是需要專門花好幾年學習的，這是統計系的專業)。

    另外，閱讀中收穫最大的就是MLE的章節，因為它證實我們所使用的統計量的各種性質，大部分都是來自MLE。另外還有無母數跟最後一章的線性迴歸，因它整合了統計、幾何的概念，也帶入不同條件的假設檢定可以化約成為某種線性限制式，運用線性轉換概念變成線性迴歸的問題，把線性迴歸、變異數分析等等看似不同的內容串在一起。

    不過這本書讀的過程，偶而發現式子錯誤的狀況，但所幸佔比不高。

    整本書讀完，雖然實際上應用統計還是看資料的狀況套入統計程式的套餐指令，但是對於統計背後的原理以及「機率分布」貫穿的精神，有更多欣賞與體悟。另外，許多生物統計較為進階的內容，例如存活分析，式子的由來也是來自於機率分布與參數估測，因此有這些基礎，再研讀進階的生物統計才能更加明了。期待許多生醫背景的讀者，也能夠接觸微積分、線性代數、機率論、數理統計的內容，對於生物統計似懂非懂的部分能有更正確的認識。