Distribuições e Modelos Lineares Generalizados (GLM)

Distribuições de Probabilidade e Forma Exponencial

A forma geral de uma função de densidade ou massa de probabilidade na forma exponencial é:

$$f(y; \theta, \phi) = \exp\left\{ \frac{1}{a(\phi)} [y\theta - b(\theta)] + c(y, \phi) \right\} I_A(y)$$

Distribuições Específicas

Poisson

• $$f(y; \mu) = \frac{\mu^y e^{-\mu}}{y!}$$
• Forma Exponencial: $$f(y;\mu) = \exp\{y\ln(\mu) - \mu - \ln(y!)\} I(y)$$, com $a(\phi)=1$, $\theta=\ln(\mu)$, $b(\theta)=e^\theta$, $c(y;\phi)=-\ln(y!)$.

Binomial

• $$f(y; \pi) = \binom{m}{y}\pi^y(1-\pi)^{m-y} I_A(y)$$
• Forma Exponencial: $$f(y;\pi)=\exp\{y\ln(\frac{\pi}{1-\pi})+m\ln(1-\pi)+\ln\left(\binom{m}{y}\right)\}.$$
• Parâmetros: $a(\phi)=1$, $\theta=\ln(\frac{\pi}{1-\pi}) \implies \pi=\frac{e^\theta}{1+e^\theta}$, $b(\theta)=-m\ln(1-\pi)=m\ln(1-e^\theta)$, $c(y;\phi)=\ln\left(\binom{m}{y}\right)$.

Binomial Negativa

• $$f(y;\mu,k) = \frac{\Gamma(k + y) \mu^y k^k}{\Gamma(k) y! (\mu + k)^{k+y}} I(y)$$
• Forma Exponencial: $$f(y;\mu,k)=\exp\left\{y\ln\left(\frac{\mu}{\mu+k}\right) - \left(-k\ln\left(\frac{k}{\mu+k}\right)\right) + \ln\left(\frac{\Gamma(k + y)}{\Gamma(k)y!}\right)\right\}$$
• Parâmetros: $a(\phi)=1$, $\theta=\ln(\frac{\mu}{\mu+k}) \implies \mu=\frac{e^\theta k}{1-e^\theta}$, $b(\theta)=-k\ln(1-e^\theta)$, $c(y;\phi)=\ln\left(\frac{\Gamma(k + y)}{\Gamma(k)y!}\right)$.

Normal

• $$f(y; \mu ; \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{1}{2\sigma^2} (y- \mu)^2 \right\}$$
• Forma Exponencial: $$\exp\left\{ \frac{1}{\sigma^2} [y\mu - (\frac{\mu^2}{2}) ] - \frac{1}{2} \ln(2\pi\sigma^2) - \frac{y^2}{2\sigma^2}\right\}$$
• Parâmetros: $\theta = \mu$; $a(\phi) = \sigma^2$; $b(\theta) = \frac{\mu^2}{2} = \frac{\theta^2}{2}$; $c(y,\phi) = -\frac{1}{2}\left[\frac{y^2}{ \sigma^2} + \ln (2\pi\sigma^2)\right]$.

Normal Inversa

• $$f(y; \mu ; \sigma^2) = \left(\frac{1}{2\pi\sigma^2y^3}\right)^{1/2} \exp\left\{ -\frac{1}{2\mu^2\sigma^2y} (y- \mu)^2 \right\}$$
• Forma Exponencial: $$\exp \left\{ -\frac{1}{2} \ln(2\pi\sigma^2y^3) + \frac{1}{\sigma^2} \left(\frac{1}{\mu} - \frac{y}{2\mu^2}\right) - \frac{1}{2\sigma^2y} \right\}$$
• Parâmetros: $\theta = 1/\mu^2$; $a(\phi) = \sigma^2$; $\mu = \sqrt{1/(2\theta)}$ (Nota: A expressão original sugere $\theta = 1/(-2\mu^2)$ e $\mu = \sqrt{1/(-2\theta)}$ no texto, ajustando para consistência com a forma canônica se $\theta$ for o parâmetro natural). Usando a notação do texto: $\theta = 1/(-2\mu^2)$; $a(\phi) = \sigma^2$; $b(\theta) = -1/\mu = -\sqrt{-2\theta}$; $c(y,\phi) = -\frac{1}{2}\left[ \frac{1}{\sigma^2 y} + \ln (2\pi\sigma^2y^3)\right]$.

Gama

• $$f(y; \mu,\sigma^2) = \frac{(\nu/\mu)^{\nu}}{\Gamma(\nu)y!} y^{\nu-1} \exp\left\{-y\frac{\nu}{\mu}\right\} I_{\Re^+}(y)$$
• Parâmetros: $a(\phi) = 1/\nu$; $\theta = -1/\mu$; $b(\theta) = -\ln(-\theta)$; $c(y;\phi) = \nu\ln(\nu y) - \ln(y!) - \ln(\Gamma(\nu))$.

Relações de Média e Variância

Para a forma exponencial, $\mu = E(y) = b'(\theta)$ e $V(y) = \sigma^2 = a(\phi) b''(\theta)$.

• Poisson: $\mu = e^\theta$, $V(\mu)=\mu$.
• Binomial: $\mu = m\frac{e^\theta}{1+e^\theta}$, $V(\mu) = \frac{1}{m}\mu(m-\mu)$.
• Binomial Negativa: $\mu = k\frac{e^\theta}{1-e^\theta}$, $V(\mu)=\mu(\frac{\mu}{k}+1)$.
• Normal: $E(Y) = \theta$, $V(Y) = \sigma^2$ (onde $\sigma^2$ é o parâmetro de dispersão $\phi$).
• Normal Inversa: $E(Y) = (-2\theta)^{-1/2}$, $V(Y) = \mu^3$.
• Gama: $E(Y) = -1/\theta$, $V(Y) = \mu^2$.

Modelos Lineares Generalizados (GLM)

Componentes do GLM

• Componente Aleatório: $y_1, y_2, \dots, y_n$ são i.i.d. de $Y_i \sim F.E.(\theta_i, \phi_i)$.
• Componente Sistemático (Preditor Linear): $\eta_i = B_0 + B_1X_{1i} + \dots + B_pX_{pi} = X_i^T B$.
• Função de Ligação: $g(\mu_i) = \eta_i$, onde $\mu_i = E(Y_i) = b'(\theta_i)$. A função inversa é $\mu_i = g^{-1}(\eta_i)$.

Função de Desvio e Verossimilhança

• Função de Desvio (Deviance): $D_p = 2\{\ln(\hat{L}) - \ln(L_p)\}$. $\hat{L}$ é a verossimilhança do modelo saturado, $L_p$ é a verossimilhança sob a hipótese.
• Verossimilhança: $$L(\cdot) = \prod f(y_i, \theta_i, \phi) = \exp\left\{ \sum \frac{1}{a(\phi)} [\theta_i y_i - b(\theta_i)] + \sum c(y_i;\phi) \right\}$$
• Log-Verossimilhança: $$l(\cdot) = \frac{1}{a(\phi)}\sum\theta_i y_i - \sum b(\theta_i) + \sum c(y_i;\phi)$$ Substituindo $a(\phi) = \phi/w_i$.

Funções Geradoras

• Função Geradora de Momentos: $$M_Y(t;\theta,\phi) = E(e^{ty}) = \exp\left\{ \frac{1}{a(\phi)} [b(a(\phi)t + \theta) - b(\theta)] \right\}$$
• Função Geradora de Cumulantes: $$\frac{1}{a(\phi)} [b(a(\phi)t + \theta) - b(\theta)]$$

Estimação dos Coeficientes (Iterativamente Ponderada)

Algoritmo de Estimação (Iteração $m+1$)

Os coeficientes $\mathbf{B}$ são estimados usando a seguinte fórmula de atualização:

$$\mathbf{B}^{(m+1)} = (\mathbf{X}^t \mathbf{W}^m \mathbf{X})^{-1} (\mathbf{X}^t\mathbf{W}^m\mathbf{Z}^m)$$

• Pesos ($W_i^m$): $$W_i^m = \frac{w_i}{V(\mu_i^m) [g'(\mu_i^m)]^2} = (\text{f. variância}) \times (\text{f. de ligação})^{-1}$$
• Variável Ajustada ($Z_i^m$): $$Z_i^m = \eta_i^m + (y_i-\mu_i^m) \frac{d\eta_i}{d\mu_i} = \eta_i^m + (y_i-\mu_i^m) \Delta_i$$

Propriedades Assintóticas e Intervalos de Confiança

• Assintoticamente: $\hat{\mathbf{B}} \sim N(\mathbf{B}, \mathbf{J}^{-1})$, onde $\mathbf{J}$ é a informação de Fisher.
• Covariância: $\text{Cov}(\hat{\mathbf{B}}) = \phi (\mathbf{X}^t\mathbf{W}\mathbf{X})^{-1}$.
• Intervalo de Confiança (IC) para $\hat{B}_j$ (95%): $$(\hat{B}_j - 1.96\sqrt{V_{jj}} ; \hat{B}_j + 1.96\sqrt{\hat{V}_{jj}})$$

Testes de Hipótese

Teste de Razão de Verossimilhança (LR)

Hipóteses: $H_0: \mathbf{B}_1 = \mathbf{B}_{10}$ vs $H_1: \mathbf{B}_1 \neq \mathbf{B}_{10}$, onde $\mathbf{B} = (\mathbf{B}_1^T; \mathbf{B}_2^T)^T$.

$$\Lambda = - 2\ln(\lambda) = \frac{1}{\phi} [D(y;\hat{\mu}_0) - D(y;\hat{\mu})]$$

Rejeita $H_0$ se $\Lambda > \chi^2(q, 1-\alpha)$, onde $q$ é o número de restrições.

Teste de Wald

Estatístico: $$W = (\hat{\mathbf{B}}_1 - \mathbf{B}_{10})^T [\text{Var}(\hat{\mathbf{B}}_1)]^{-1} (\hat{\mathbf{B}}_1 - \mathbf{B}_{10})$$

Teste Score (Rao's Score Test)

Estatístico: $$E = \mathbf{U}_1^T(\hat{\mathbf{B}}^0) [\text{Var}(\hat{\mathbf{B}}_1)]^{-1} \mathbf{U}_1(\hat{\mathbf{B}}^0)$$ Os estatísticos $\Lambda, W$ e $E$ seguem aproximadamente $\chi^2(q)$.

Onde $\mathbf{U} = \partial l / \partial \mu_i = \frac{1}{a(\phi)}(y_i - b'(\theta_i)) \frac{d\theta_i}{d\mu_i}$. A informação de Fisher é $IF = -E(\partial^2 l / \partial \mu_i^2)$. $\text{Var}(\hat{\mathbf{B}}) = 1/IF$.

Cálculo da Função de Desvio (Deviance)

O desvio ($D_p$) é a diferença entre a log-verossimilhança do modelo saturado ($\hat{L}$) e a log-verossimilhança do modelo sob pesquisa ($L_p$).

Normal

$$D(y,\hat{\mu}) = 2\{\ln(\hat{L}) - \ln(L_p)\} = \frac{1}{\sigma^2} \sum (y_i-\hat{\mu}_i)^2 \implies D(y,\hat{\mu}) = \frac{\text{SQRes}}{\sigma^2}$$

Binomial

$$D(y,\hat{\mu}) = 2\sum\left[y_i\ln\left(\frac{y_i}{\hat{\mu}_i}\right) + (m_i-y_i)\ln\left(\frac{m_i-y_i}{m_i-\hat{\mu}_i}\right)\right]$$

Poisson

$$D(y,\hat{\mu}) = 2\sum\left\{y_i\ln\left(\frac{y_i}{\hat{\mu}_i}\right) - (y_i-\hat{\mu}_i)\right\}$$

Binomial Negativa

$$D^*(y,\hat{\mu}) = 2\sum\left\{y_i\ln\left(\frac{y_i}{\hat{\mu}_i}\right) - (y_i+k)\ln\left(\frac{y_i+k}{\hat{\mu}_i+k}\right)\right\}$$

Gama

$$D^*(y;\hat{\mu}) = 2\sum \left[\ln\left(\frac{\hat{\mu}_i}{y_i}\right) + \frac{y_i - \hat{\mu}_i}{\hat{\mu}_i}\right]$$

Normal Inversa

$$D^*(y;\hat{\mu}) = \frac{1}{\sigma^2} \sum \frac{(y_i-\hat{\mu}_i)^2}{y_i\hat{\mu}_i^2}$$

Prova de Exemplo (Binomial Negativa)

Distribuição: $f(y;\mu,k) = \frac{\Gamma(k + y) \mu^y k^k}{\Gamma(k) y! (\mu + k)^{k+y}} I(y)$.

Assumindo $\phi=1$, $a(\phi)=1$, $w_i=1$, $V(\mu_i) = \mu_i(\mu_i/k +1)$.

1. Obter estimadores $\eta_i, \mu_i$:

   Função de ligação: $\eta_i = g(\mu_i) = \ln(\ln(\mu_i^m))$ (Assumindo esta ligação específica para o exemplo).

   $\mu_i = e^{e^{\eta_i^m}}$.

2. Variável dependente ajustada ($\mathbf{Z}^m$):

   Derivada da ligação: $\Delta_i = \frac{d\eta_i}{d\mu_i} = \frac{1}{\mu_i^m \ln(\mu_i^m)}$.

   $Z_i^m = \eta_i^m + (y_i-\mu_i^m)\Delta_i = \ln(\ln(\mu_i^m)) + (y_i-\mu_i^m) \left(\frac{1}{\mu_i^m \ln(\mu_i^m)}\right)$

3. Pesos ($W_i^m$): $$W_i^m = \frac{1}{V(\mu_i^m) [g'(\mu_i^m)]^2} = \frac{1}{\mu_i^m(\mu_i^m/k +1) \left[\frac{1}{\mu_i^m \ln(\mu_i^m)}\right]^2}$$
4. Estimando $\mathbf{B}$: $$\mathbf{B}^{(m+1)} = (\mathbf{X}^t \mathbf{W}^m \mathbf{X})^{-1} (\mathbf{X}^t\mathbf{W}^m\mathbf{Z}^m)$$
5. Critério de parada: $$\sum \frac{|B_j^m - B_j^{m+1}|}{|B_j^m|} < \text{ERRO}$$

Exemplo de Prova: Distribuição Normal

Log-Verossimilhança (assumindo $\phi=\sigma^2$ fixo, $a(\phi)=\sigma^2$):

$$l(\cdot) = -\frac{n}{2} \ln(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum (y_i-\mu)^2$$

Derivada em relação a $\mu$ (onde $\mu = \eta$):

$$\frac{\partial l}{\partial \mu} = \frac{1}{\sigma^2} \sum (y_i-\mu) = \frac{1}{\sigma^2} (n\bar{y} - n\mu)$$

Segunda Derivada: $\frac{\partial^2 l}{\partial \mu^2} = -\frac{n}{\sigma^2}$. Informação de Fisher: $IF = n/\sigma^2$. $\text{Var}(\hat{\mathbf{B}}) = \sigma^2 \mathbf{X}^t\mathbf{X}^{-1}$.

Comparação de Testes (Normal, $H_0: \mu = \mu_0$)

O desvio para a Normal é $D(y,\hat{\mu}) = \sum (y_i-\hat{\mu}_i)^2 / \sigma^2$.

• Teste LR: $\Lambda = \frac{1}{\sigma^2} [\sum (y_i-\mu_0)^2 - \sum (y_i-\hat{\mu})^2] = \frac{n(\bar{y}-\mu_0)^2}{\sigma^2} = \frac{(\bar{y}-\mu_0)^2}{(\sigma^2/n)}$
• Teste de Wald: $W = (\hat{\mu}-\mu_0)^2 / \text{Var}(\hat{\mu}) = \frac{(\bar{y}-\mu_0)^2}{(\sigma^2/n)}$
• Teste Score: $E = \mathbf{U}^T \text{Var}(\hat{\mathbf{B}}) \mathbf{U} = \frac{(\bar{y}-\mu_0)^2}{(\sigma^2/n)}$