廣義線性模型

指數族隨機變數意指其具參數θ與τ的機率密度函數, f (在論離散型隨機變數時，則為概率质量函数)可表為：

${\displaystyle f_{Y}(y;\theta ,\tau )=\exp {\left({\frac {a(y)b(\theta )+c(\theta )}{h(\tau )}}+d(y,\tau )\right)}.\,\!}$

τ稱之為變異參數，通常用以解釋變異數。函數a、b、c、d 及h為已知。許多（不包含全部）型態的隨機變數可歸類為指數族

θ與該隨機變數的期望值有關。若a為恆等函數，則稱該分佈屬於 正則型式。 另外，若b為恆等而τ已知，則θ稱為正則參數，其與期望值的關係可表為：

${\displaystyle \mu =\operatorname {E} (Y)=-c'(\theta ).\,\!}$

一般情形下，該分佈的變異數可表為：

${\displaystyle \operatorname {Var} (Y)=-c''(\theta )h(\tau ).\,\!}$

線性預測子是用將獨立變數經由線性組合來尋模式所能提供之資訊的計量變數。符號η (希臘字母 "Η")通常用來表示線性預測子。它與資料的期望值的鏈結函數值有關(故稱"預測子")。

η表為未知參數β的線性組合(故為"線性")。X則為獨立變數所組合而成的观测矩陣。如此一來，η可表示為

${\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}$

X的元素通常為模式設計時可觀測的資料或為實驗時所得的數據。

鏈結函數解釋了線性預測子與分佈期望值的關係。鏈結函數的選擇可視情形而定。通常只要符合鏈結函數的值域有包含分佈期望值的條件即可。

當使用具正則參數θ的分佈時，鏈結函數需符合X^TY 為β的充份統計量此一條件。這在θ與線性預測子的鏈結函數值相等時方成立。下面列出若干指數族分佈的典型鏈結函數及其反函數(有時稱為均值函數)：

典型鏈結函數

Y的分佈	名稱	鏈結函數	均值函數
正态	恆等	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu \,\!}$	${\displaystyle \mu =\mathbf {X} {\boldsymbol {\beta }}\,\!}$
指數	倒數	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-1}\,\!}$	${\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!}$
Gamma
逆高斯	二次倒數	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!}$	${\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!}$
卜瓦松	自然對數	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {(\mu )}\,\!}$	${\displaystyle \mu =\exp {(\mathbf {X} {\boldsymbol {\beta }})}\,\!}$
二項式	Logit	${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {\left({\frac {\mu }{1-\mu }}\right)}\,\!}$	${\displaystyle \mu ={\frac {\exp {(\mathbf {X} {\boldsymbol {\beta }})}}{1+\exp {(\mathbf {X} {\boldsymbol {\beta }})}}}\,\!}$
多項式

在指數分佈與Gamma分佈中，其典型鏈結函數的值域並不包含分佈均值，另外其線性預測子亦可能出現負值，此兩種分佈絕無均值為負的可能。當進行极大似然估计进行計算時需避免上述情形出現，這時便需要使用到非典型鏈結函數。

有些人可能會把一般線性模式和廣義線性模式給弄混了。一般線性模式可視為廣義線性模式的一個鏈結函數為恆等的特例。一般線性模式有著悠長的發展歷史。廣義線性模式具非恆等鏈結函數者有著漸近一致的結果。

廣義線性模式最簡單的例子便是線性迴歸。此例中分佈函數為常態分佈而鏈結函數為恆等函數在變異數已知的條件下並符合正規式。 這個例子具有廣義線性模式罕有的极大似然估计的解析解

在討論二元反應結果（如有跟沒有）時，通常以二項式分布建模。其期望值'μ_i通常解釋為樣本Y_i發生事件的機率p

二項式分布有許多常用的鏈結函數，最常用的鏈結函數是logit：

${\displaystyle g(p)=\ln \left({p \over 1-p}\right).}$

以此建模的廣義線性模式通常稱為logistic迴歸模式。

另外，任何連續型機率分配累積函數（CDF）的反函數皆可使用此模式，因為其值域為[0,1]，包含了二項式分佈期望值的可能值域。常態機率分配累積函數${\displaystyle \Phi }$是一個廣受應用於probit模式的選擇。其鏈結函數為

${\displaystyle g(p)=\Phi ^{-1}(p).\,\!}$

有時恆等函數也會被用為二項式分佈的鏈結函數，其缺點為預測值可能超出合理範圍。經過若干修正可以避免上述問題，但會在解釋上造成困難。此模式通常適用於p接近0.5的情形。 此種建模很接近logit及probit的線性轉換，有時計量經濟學家會稱其為Harvard模式。

二元資料的廣義線性模式變異函數可寫為

${\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!}$

其中變異參數${\displaystyle \tau }$通常等於1，若非，則該模式稱為溢變異或殆二元。

另一個常用的例子為用於計次的泊松分佈。此例的鏈結函數為自然對數，為正規鏈結。 變異數函數與均值成等比

${\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}$

其中變異參數${\displaystyle \tau }$通常為1。 若非，此模式通常稱為溢變異或似卜瓦松。