Distribuição normal multivariada

Normal multivariada
	Função densidade de probabilidade Muitos pontos de amostra de uma distribuição normal multivariada com 𝝁=[00] e 𝜮=[13/53/52], mostrados juntamente com a elipse 3-sigma, as duas distribuições marginais e os dois histogramas 1-d.
Parâmetros	μ ∈ Rk — localização; Σ ∈ Rk × k — covariância (matriz semidefinida positiva)
Suporte	x ∈ μ + span(Σ) ⊆ Rk
FDP	(2π)−k/2det⁡(𝜮)−1/2exp⁡(−12(𝐱−𝝁)T𝜮−1(𝐱−𝝁)),; existe apenas quando Σ é definida positiva
Média	μ
Moda	μ
Variância	Σ, a matriz de variâncias e covariâncias individuais
Entropia	k2log⁡(2πe)+12log⁡det⁡(𝜮)
Função Geradora de Momentos	exp⁡(𝝁T𝐭+12𝐭T𝜮𝐭)
Função Característica	exp⁡(i𝝁T𝐭−12𝐭T𝜮𝐭)

Em teoria das probabilidades e estatística, a distribuição normal multivariada, distribuição gaussiana multivariada ou distribuição normal conjunta é uma generalização da distribuição normal unidimensional (univariado) para dimensãos superiores. Uma definição é que um vetor aleatório é dito ter uma distribuição normal k-variada se cada combinação linear de seus k componentes tem uma distribuição normal univariada. Sua importância deriva principalmente do teorema central do limite multivariado. A distribuição normal multivariada é frequentemente usada para descrever, pelo menos aproximadamente, qualquer conjunto de variável aleatórias de valor real (possivelmente correlacionadas), cada uma das quais se agrupa em torno de um valor médio.

Definições

Notação e parametrização

A distribuição normal multivariada de um vetor aleatório k-dimensional $𝐗 = (X_{1}, \dots, X_{k})^{T}$ pode ser escrita na seguinte notação:

𝐗 \sim 𝒩 (𝝁, 𝜮),

ou para deixar explicitamente claro que $𝐗$ é k-dimensional,

𝐗 \sim 𝒩_{k} (𝝁, 𝜮),

com média k-dimensional

𝝁 = E [𝐗] = (E [X_{1}], E [X_{2}], \dots, E [X_{k}])^{T},

e matriz de covariância $k \times k$

Σ_{i, j} = E [(X_{i} - μ_{i}) (X_{j} - μ_{j})] = Cov [X_{i}, X_{j}]

tal que $1 \leq i \leq k$ e $1 \leq j \leq k$ . A inversa da matriz de covariância é chamada de matriz de precisão, denotada por $𝑸 = 𝜮^{- 1}$ .

Vetor aleatório normal padrão

Um vetor aleatório real $𝐗 = (X_{1}, \dots, X_{k})^{T}$ é chamado de vetor aleatório normal padrão se todos os seus componentes $X_{i}$ forem independentes e cada um for uma variável aleatória normalmente distribuída com média zero e variância unitária, isto é, se $X_{i} \sim 𝒩 (0, 1)$ para todo $i = 1 \dots k$ .^[1]^{:p. 454}

Vetor aleatório normal centrado

Um vetor aleatório real $𝐗 = (X_{1}, \dots, X_{k})^{T}$ é chamado de vetor aleatório normal centrado se existe uma matriz $k \times ℓ$ $𝑨$ tal que $𝑨 𝐙$ tem a mesma distribuição que $𝐗$ onde $𝐙$ é um vetor aleatório normal padrão com $ℓ$ componentes.^[1]^{:p. 454}

Vetor aleatório normal

Um vetor aleatório real $𝐗 = (X_{1}, \dots, X_{k})^{T}$ é chamado de vetor aleatório normal se existe um $ℓ$ -vetor aleatório $𝐙$ , que é um vetor aleatório normal padrão, um $k$ -vetor $𝝁$ , e uma matriz $k \times ℓ$ $𝑨$ , tal que $𝐗 = 𝑨 𝐙 + 𝝁$ .^[2]^{:p. 454}^[1]^{:p. 455}

Formalmente:

$𝐗 \sim 𝒩_{k} (𝝁, 𝜮) ⟺ existem 𝝁 \in ℝ^{k}, 𝑨 \in ℝ^{k \times ℓ} tais que 𝐗 = 𝑨 𝐙 + 𝝁 e \forall n = 1, \dots, ℓ : Z_{n} \sim 𝒩 (0, 1), i.i.d.$

Aqui a matriz de covariância é $𝜮 = 𝑨 𝑨^{T}$ .

No caso degenerado onde a matriz de covariância é singular, a distribuição correspondente não tem densidade; veja a seção abaixo para detalhes. Este caso surge frequentemente em estatística; por exemplo, na distribuição do vetor de resíduos na regressão por mínimos quadrados ordinários. Os $X_{i}$ não são, em geral, independentes; podem ser vistos como o resultado da aplicação da matriz $𝑨$ a uma coleção de variáveis gaussianas independentes $𝐙$ .

Definições equivalentes

As seguintes definições são equivalentes à definição dada acima. Um vetor aleatório $𝐗 = (X_{1}, \dots, X_{k})^{T}$ tem uma distribuição normal multivariada se satisfizer uma das seguintes condições equivalentes.

Toda combinação linear $Y = a_{1} X_{1} + \dots + a_{k} X_{k}$ de suas componentes é normalmente distribuída. Ou seja, para qualquer vetor constante $𝐚 \in ℝ^{k}$ , a variável aleatória $Y = 𝐚^{T} 𝐗$ tem uma distribuição normal univariada, onde uma distribuição normal univariada com variância zero é uma massa pontual em sua média.
Existe um k-vetor $𝝁$ e uma matriz simétrica, semidefinida positiva $k \times k$ $𝜮$ , tal que a função característica de $𝐗$ é $φ_{𝐗} (𝐮) = \exp (i 𝐮^{T} 𝝁 - \frac{1}{2} 𝐮^{T} 𝜮 𝐮) .$

A distribuição normal esférica pode ser caracterizada como a distribuição única onde os componentes são independentes em qualquer sistema de coordenadas ortogonais.^[3]^[4]

Função densidade

Caso não degenerado

A distribuição normal multivariada é dita ser "não degenerada" quando a matriz de covariância simétrica $𝜮$ é definida positiva. Neste caso, a distribuição tem densidade^[5]

$f_{𝐗} (x_{1}, \dots, x_{k}) = \frac{\exp (- \frac{1}{2} {(𝐱 - 𝝁)}^{T} 𝜮^{- 1} (𝐱 - 𝝁))}{\sqrt{(2 π)^{k} | 𝜮 |}}$

onde $𝐱$ é um vetor coluna real de k dimensões e $| 𝜮 | \equiv det 𝜮$ é o determinante de $𝜮$ , também conhecida como variância generalizada. A subexpressão $(2 π)^{k} | 𝜮 |$ pode ser reescrita como $| 2 π 𝜮 |$ , o que é especialmente útil no caso degenerado; veja abaixo. A equação acima se reduz à da distribuição normal univariada se $𝜮$ é uma matriz $1 \times 1$ (ou seja, um único número real).

A versão circularmente simétrica da distribuição normal complexa tem uma forma ligeiramente diferente.

Cada lugar geométrico de isodensidade — o lugar geométrico dos pontos no espaço k-dimensional, cada um dos quais fornece o mesmo valor particular da densidade — é uma elipse ou sua generalização de dimensão superior; portanto, a normal multivariada é um caso especial das distribuições elípticas.

A quantidade $\sqrt{(𝐱 - 𝝁)^{T} 𝜮^{- 1} (𝐱 - 𝝁)}$ é conhecida como Distância de Mahalanobis, que representa a distância do ponto de teste $𝐱$ da média $𝝁$ . A distância de Mahalanobis ao quadrado $(𝐱 - 𝝁)^{T} 𝜮^{- 1} (𝐱 - 𝝁)$ é decomposta em uma soma de k termos, sendo cada termo um produto de três componentes significativas.^[6] Note que no caso em que $k = 1$ , a distribuição se reduz a uma distribuição normal univariada e a distância de Mahalanobis se reduz ao valor absoluto do escore padrão. Veja também Intervalo abaixo.

Caso bivariado

No caso não singular bidimensional ( $k = rank (Σ) = 2$ ), a função de densidade de probabilidade de um vetor $[XY]'$ é: $f (x, y) = \frac{1}{2 π σ_{X} σ_{Y} \sqrt{1 - ρ^{2}}} \exp (- \frac{1}{2 [1 - ρ^{2}]} [{(\frac{x - μ_{X}}{σ_{X}})}^{2} - 2 ρ (\frac{x - μ_{X}}{σ_{X}}) (\frac{y - μ_{Y}}{σ_{Y}}) + {(\frac{y - μ_{Y}}{σ_{Y}})}^{2}])$ onde $ρ$ é a correlação entre $X$ e $Y$ e onde $σ_{X} > 0$ e $σ_{Y} > 0$ . Neste caso,

𝝁 = (\begin{matrix} μ_{X} \\ μ_{Y} \end{matrix}), 𝜮 = (\begin{matrix} σ_{X}^{2} & ρ σ_{X} σ_{Y} \\ ρ σ_{X} σ_{Y} & σ_{Y}^{2} \end{matrix}) .

No caso bivariado, a primeira condição equivalente para a reconstrução multivariada da normalidade pode ser tornada menos restritiva, pois é suficiente verificar que um conjunto contável de combinações lineares distintas de $X$ e $Y$ são normais para concluir que o vetor $[XY]'$ é bivariado normal.^[7]

Os lugares geométricos de isodensidade bivariada traçados no plano $x, y$ são elipses, cujos eixos principais são definidos pelos autovalores e autovetores da matriz de covariância $𝜮$ (os diâmetros maior e menor da elipse são iguais à raiz quadrada dos autovalores ordenados).

À medida que o valor absoluto do parâmetro de correlação $ρ$ aumenta, esses lugares geométricos são comprimidos em direção à seguinte linha:

y (x) = sgn (ρ) \frac{σ_{Y}}{σ_{X}} (x - μ_{X}) + μ_{Y} .

Isso porque esta expressão, com $sgn (ρ)$ (onde sgn é a função sinal) substituído por $ρ$ , é a melhor predição linear não viesada de $Y$ dado um valor de $X$ .^[8]

Caso degenerado

Se a matriz de covariância $𝜮$ não tem posto completo, então a distribuição normal multivariada é degenerada e não possui uma densidade. Mais precisamente, ela não possui uma densidade em relação à Medida de Lebesgue k-dimensional (que é a medida usual assumida em cursos de probabilidade de nível de cálculo). Apenas vetores aleatórios cujas distribuições são absolutamente contínuos em relação a uma medida são ditos ter densidades (em relação a essa medida). Para falar sobre densidades, mas evitar lidar com complicações da teoria da medida, pode ser mais simples restringir a atenção a um subconjunto de $rank (𝜮)$ das coordenadas de $𝐱$ tal que a matriz de covariância para este subconjunto seja definida positiva; então as outras coordenadas podem ser consideradas como uma transformação afim dessas coordenadas selecionadas.^[9]

Para falar sobre densidades de forma significativa em casos singulares, então, devemos selecionar uma medida base diferente. Usando o teorema da desintegração podemos definir uma restrição da medida de Lebesgue ao subespaço afim $rank (𝜮)$ -dimensional de $ℝ^{k}$ onde a distribuição gaussiana é suportada, ou seja, ${𝝁 + 𝜮^{1 / 2} 𝐯 : 𝐯 \in ℝ^{k}}$ . Com respeito a esta medida, a distribuição tem a seguinte densidade:

$f (𝐱) = \frac{\exp (- \frac{1}{2} {(𝐱 - 𝝁)}^{T} 𝜮^{+} (𝐱 - 𝝁))}{\sqrt{{det}^{*} (2 π 𝜮)}}$

onde $𝜮^{+}$ é a inversa generalizada e ${det}^{*}$ é o pseudo-determinante.^[10]

Função de distribuição acumulada

A noção de função distribuição acumulada (fda) em dimensão 1 pode ser estendida de duas maneiras para o caso multidimensional, com base em regiões retangulares e elipsoidais.

A primeira forma é definir a fda $F (𝐱)$ de um vetor aleatório $𝐗$ como a probabilidade de que todas as componentes de $𝐗$ sejam menores ou iguais aos valores correspondentes no vetor $𝐱$ :^[11]

$F (𝐱) = ℙ (𝐗 \leq 𝐱), onde 𝐗 \sim 𝒩 (𝝁, 𝜮) .$

Embora não haja uma forma fechada para $F (𝐱)$ , existem vários algoritmos que a estimam numericamente.^[11]^[12]

Outra forma é definir a fda $F (r)$ como a probabilidade de que uma amostra esteja dentro do elipsoide determinado pela sua Distância de Mahalanobis $r$ a partir da Gaussiana, uma generalização direta do desvio padrão.^[13] Para calcular os valores desta função, existem fórmulas analíticas fechadas,^[13] como segue.

Intervalo

O intervalo para a distribuição normal multivariada produz uma região consistindo nos vetores x que satisfazem

$(𝐱 - 𝝁)^{T} 𝜮^{- 1} (𝐱 - 𝝁) \leq χ_{k}^{2} (p) .$

Aqui $𝐱$ é um vetor $k$ -dimensional, $𝝁$ é o vetor médio $k$ -dimensional conhecido, $𝜮$ é a matriz de covariância conhecida e $χ_{k}^{2} (p)$ é o quantil para a probabilidade $p$ da qui-quadrado com $k$ graus de liberdade.^[14] Quando $k = 2,$ a expressão define o interior de uma elipse e a distribuição qui-quadrado simplifica-se para uma distribuição exponencial com média igual a dois (taxa igual a meio).

Função distribuição acumulada complementar (distribuição de cauda)

A função distribuição acumulada complementar (fdac) ou a distribuição de cauda é definida como $\overline{F} (𝐱) = 1 - ℙ (𝐗 \leq 𝐱)$ . Quando $𝐗 \sim 𝒩 (𝝁, 𝜮)$ , então a fdac pode ser escrita como a probabilidade do máximo de variáveis gaussianas dependentes:^[15]

$\overline{F} (𝐱) = ℙ (⋃_{i} {X_{i} \geq x_{i}}) = ℙ (max_{i} Y_{i} \geq 0), onde 𝐘 \sim 𝒩 (𝝁 - 𝐱, 𝜮) .$ Embora não exista uma fórmula fechada simples para calcular a fdac, o máximo de variáveis gaussianas dependentes pode ser estimado com precisão através do Método de Monte Carlo.^[15]^[16]

Propriedades

Momentos

Os momentos de ordem k de x são dados por

$μ_{1, \dots, N} (𝐱) \overset{d e f}{=} μ_{r_{1}, \dots, r_{N}} (𝐱) \overset{d e f}{=} E [\prod_{j = 1}^{N} X_{j}^{r_{j}}]$

onde $r 1 + r 2 + \dots + r N = k .$

Os momentos centrais de ordem k são os seguintes

Se k for ímpar, $μ 1, ..., N (x - μ) = 0$ .
Se k for par com $k = 2 λ$ , então $μ_{1, \dots, 2 λ} (𝐱 - 𝝁) = \sum (σ_{i j} σ_{k ℓ} \dots σ_{X Z})$

onde a soma é feita sobre todas as alocações do conjunto ${1, \dots, 2 λ}$ em λ pares (não ordenados). Ou seja, para um k-ésimo $(= 2 λ = 6)$ momento central, soma-se os produtos de λ = 3 covariâncias (o valor esperado μ é considerado 0 no interesse da parcimônia):

$\begin{matrix} E [X_{1} X_{2} X_{3} X_{4} X_{5} X_{6}] \\ = & E [X_{1} X_{2}] E [X_{3} X_{4}] E [X_{5} X_{6}] + E [X_{1} X_{2}] E [X_{3} X_{5}] E [X_{4} X_{6}] + E [X_{1} X_{2}] E [X_{3} X_{6}] E [X_{4} X_{5}] \\ + E [X_{1} X_{3}] E [X_{2} X_{4}] E [X_{5} X_{6}] + E [X_{1} X_{3}] E [X_{2} X_{5}] E [X_{4} X_{6}] + E [X_{1} X_{3}] E [X_{2} X_{6}] E [X_{4} X_{5}] \\ + E [X_{1} X_{4}] E [X_{2} X_{3}] E [X_{5} X_{6}] + E [X_{1} X_{4}] E [X_{2} X_{5}] E [X_{3} X_{6}] + E [X_{1} X_{4}] E [X_{2} X_{6}] E [X_{3} X_{5}] \\ + E [X_{1} X_{5}] E [X_{2} X_{3}] E [X_{4} X_{6}] + E [X_{1} X_{5}] E [X_{2} X_{4}] E [X_{3} X_{6}] + E [X_{1} X_{5}] E [X_{2} X_{6}] E [X_{3} X_{4}] \\ + E [X_{1} X_{6}] E [X_{2} X_{3}] E [X_{4} X_{5}] + E [X_{1} X_{6}] E [X_{2} X_{4}] E [X_{3} X_{5}] + E [X_{1} X_{6}] E [X_{2} X_{5}] E [X_{3} X_{4}] . \end{matrix}$

Isso resulta em $\frac{(2 λ - 1)!}{2^{λ - 1} (λ - 1)!}$ termos na soma (15 no caso acima), cada um sendo o produto de λ (neste caso 3) covariâncias. Para momentos de quarta ordem (quatro variáveis) existem três termos. Para momentos de sexta ordem existem $3 \times 5 = 15$ termos, e para momentos de oitava ordem existem $3 \times 5 \times 7 = 105$ termos.

As covariâncias são então determinadas substituindo os termos da lista $[1, \dots, 2 λ]$ pelos termos correspondentes da lista composta por r₁ uns, depois r₂ dois, etc.. Para ilustrar isso, considere o seguinte caso de momento central de 4ª ordem:

$\begin{matrix} E [X_{i}^{4}] & = 3 σ_{i i}^{2} \\ E [X_{i}^{3} X_{j}] & = 3 σ_{i i} σ_{i j} \\ E [X_{i}^{2} X_{j}^{2}] & = σ_{i i} σ_{j j} + 2 σ_{i j}^{2} \\ E [X_{i}^{2} X_{j} X_{k}] & = σ_{i i} σ_{j k} + 2 σ_{i j} σ_{i k} \\ E [X_{i} X_{j} X_{k} X_{n}] & = σ_{i j} σ_{k n} + σ_{i k} σ_{j n} + σ_{i n} σ_{j k} . \end{matrix}$

onde $σ_{i j}$ é a covariância de X_i e X_j. Com o método acima, primeiro encontra-se o caso geral para um momento de ordem k com k variáveis X diferentes, $E [X_{i} X_{j} X_{k} X_{n}]$ , e então simplifica-se. Por exemplo, para $E [X_{i}^{2} X_{k} X_{n}]$ , faz-se $X i = X j$ e usa-se o fato de que $σ_{i i} = σ_{i}^{2}$ .

Funções de um vetor normal

Uma forma quadrática de um vetor normal $𝒙$ , $q (𝒙) = 𝒙^{'} 𝐐_{𝟐} 𝒙 + {𝒒_{1}}^{'} 𝒙 + q_{0}$ (onde $𝐐_{𝟐}$ é uma matriz, $𝒒_{1}$ é um vetor, e $q_{0}$ é um escalar), é uma variável qui-quadrado generalizada. A direção de um vetor normal segue uma distribuição normal projetada.^[17]

Se $f (𝒙)$ é uma função escalar geral de um vetor normal, sua função de densidade de probabilidade, função distribuição acumulada e quantil podem ser calculados com o método numérico de traçado de raios.^[18]

Função de verossimilhança

Se a média e a matriz de covariância são conhecidas, a verossimilhança logarítmica de um vetor observado $𝒙$ é simplesmente o logaritmo da função de densidade de probabilidade:

$\ln L (𝒙) = - \frac{1}{2} [\ln (| 𝜮 |) + (𝒙 - 𝝁)^{'} 𝜮^{- 1} (𝒙 - 𝝁) + k \ln (2 π)]$ ,

A versão circularmente simétrica do caso complexo não central, onde $𝒛$ é um vetor de números complexos, seria

$\ln L (𝒛) = - \ln (| 𝜮 |) - (𝒛 - 𝝁)^{†} 𝜮^{- 1} (𝒛 - 𝝁) - k \ln (π)$

Ou seja, com o conjugado transposto (indicado por $†$ ) substituindo a matriz transposta normal (indicada por $^{'}$ ). Isso é ligeiramente diferente do caso real, porque a versão circularmente simétrica da distribuição normal complexa tem uma forma ligeiramente diferente para a constante de normalização.

Uma notação semelhante é usada para regressão linear múltipla.^[19]

Como a log-verossimilhança de um vetor normal é uma forma quadrática do vetor normal, ela é distribuída como uma variável qui-quadrado generalizada.

Entropia diferencial

A entropia diferencial da distribuição normal multivariada é^[20]

$\begin{matrix} h (f) & = - \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} f (𝐱) \ln f (𝐱) d 𝐱 \\ = \frac{1}{2} \ln | 2 π e 𝜮 | = \frac{k}{2} (1 + \ln 2 π) + \frac{1}{2} \ln | 𝜮 |, \end{matrix}$

onde as barras denotam o determinante da matriz, $k$ é a dimensionalidade do espaço vetorial, e o resultado tem unidades de nats.

Divergência de Kullback–Leibler

A Divergência de Kullback-leibler de $𝒩_{1} (𝝁_{1}, 𝜮_{1})$ para $𝒩_{0} (𝝁_{0}, 𝜮_{0})$ , para matrizes não singulares Σ₁ e Σ₀, é:^[21]

$D_{KL} (𝒩_{0} ∥ 𝒩_{1}) = \frac{1}{2} {tr (𝜮_{1}^{- 1} 𝜮_{0}) + {(𝝁_{1} - 𝝁_{0})}^{T} 𝜮_{1}^{- 1} (𝝁_{1} - 𝝁_{0}) - k + \ln \frac{| 𝜮_{1} |}{| 𝜮_{0} |}},$ onde $| \cdot |$ denota o determinante da matriz, $t r (\cdot)$ é o traço, $\ln (\cdot)$ é o logaritmo natural e $k$ é a dimensão do espaço vetorial.

O logaritmo deve ser tomado na base e, uma vez que os dois termos que seguem o logaritmo são eles próprios logaritmos de base e de expressões que são fatores da função densidade ou que surgem naturalmente de outra forma. A equação, portanto, fornece um resultado medido em nats. Dividir a expressão inteira acima por log_e 2 resulta na divergência em bits.

Quando $𝝁_{1} = 𝝁_{0}$ ,

$D_{KL} (𝒩_{0} ∥ 𝒩_{1}) = \frac{1}{2} {tr (𝜮_{1}^{- 1} 𝜮_{0}) - k + \ln \frac{| 𝜮_{1} |}{| 𝜮_{0} |}} .$

Informação mútua

A informação mútua de uma distribuição normal multivariada é um caso especial da Divergência de Kullback-leibler na qual $P$ é a distribuição multivariada completa de $k$ dimensões e $Q$ é o produto das distribuições marginais $X$ e $Y$ de $k_{1}$ e $k_{2}$ dimensões, tal que $k_{1} + k_{2} = k$ . A informação mútua entre $X$ e $Y$ é dada por:^[22]

$I (𝑿, 𝒀) = \frac{1}{2} \ln (\frac{det (Σ_{X}) det (Σ_{Y})}{det (Σ)}),$

onde

$Σ = [\begin{matrix} Σ_{X} & Σ_{X Y} \\ Σ_{X Y} & Σ_{Y} \end{matrix}] .$

Se $Q$ é o produto de $k$ distribuições normais unidimensionais, então, na notação da seção de divergência de Kullback–Leibler deste artigo, $𝜮_{1}$ é uma matriz diagonal com as entradas diagonais de $𝜮_{0}$ , e $𝝁_{1} = 𝝁_{0}$ . A fórmula resultante para a informação mútua é:

I (𝑿) = - \frac{1}{2} \ln | 𝝆_{0} |,

onde $𝝆_{0}$ é a matriz de correlação construída a partir de $𝜮_{0}$ .^[23]

No caso bivariado, a expressão para a informação mútua é:

$I (x; y) = - \frac{1}{2} \ln (1 - ρ^{2}) .$

Normalidade conjunta

Distribuído normalmente e independente

Se $X$ e $Y$ são normalmente distribuídos e independentes, isso implica que são "conjuntamente normalmente distribuídos", ou seja, o par $(X, Y)$ deve ter distribuição normal multivariada. No entanto, um par de variáveis conjuntamente normalmente distribuídas não necessariamente é independente (seria apenas se fossem não correlacionadas, $ρ = 0$ ).

Duas variáveis aleatórias normalmente distribuídas não precisam ser bivariadas normais conjuntamente

O fato de duas variáveis aleatórias $X$ e $Y$ terem ambas uma distribuição normal não implica que o par $(X, Y)$ tenha uma distribuição normal conjunta. Um exemplo simples é aquele em que $X$ tem uma distribuição normal com valor esperado 0 e variância 1, e $Y = X$ se $| X | > c$ e $Y = - X$ se $| X | < c$ , onde $c > 0$ . Existem contraexemplos semelhantes para mais de duas variáveis aleatórias. Em geral, eles resultam em um modelo mistura.

Correlações e independência

Em geral, variáveis aleatórias podem ser não correlacionadas, mas estatisticamente dependentes. Mas se um vetor aleatório tem uma distribuição normal multivariada, então quaisquer duas ou mais de suas componentes que são descorrelacionadas são independentes. Isso implica que quaisquer duas ou mais de suas componentes que são independentes duas a duas são independentes. Mas, como apontado logo acima, não é verdade que duas variáveis aleatórias que são (separadamente, marginalmente) normalmente distribuídas e não correlacionadas são independentes.

Distribuições condicionais

Se x N-dimensional for particionado da seguinte forma

𝐱 = [\begin{matrix} 𝐱_{1} \\ 𝐱_{2} \end{matrix}] com dimensões [\begin{matrix} q \times 1 \\ (N - q) \times 1 \end{matrix}]

e, consequentemente, μ e Σ são particionados da seguinte forma

$𝝁 = [\begin{matrix} 𝝁_{1} \\ 𝝁_{2} \end{matrix}] com dimensões [\begin{matrix} q \times 1 \\ (N - q) \times 1 \end{matrix}]$

$𝜮 = [\begin{matrix} 𝜮_{11} & 𝜮_{12} \\ 𝜮_{21} & 𝜮_{22} \end{matrix}] com dimensões [\begin{matrix} q \times q & q \times (N - q) \\ (N - q) \times q & (N - q) \times (N - q) \end{matrix}]$

então a distribuição de x₁ condicional a x₂ = a é normal multivariada^[24] (x₁ | x₂ = a) ~ N(μ, Σ) onde

$\bar{𝝁} = 𝝁_{1} + 𝜮_{12} 𝜮_{22}^{- 1} (𝐚 - 𝝁_{2})$

e matriz de covariância

$\overline{𝜮} = 𝜮_{11} - 𝜮_{12} 𝜮_{22}^{- 1} 𝜮_{21} .$ ^[25]

Aqui $𝜮_{22}^{- 1}$ é a inversa generalizada de $𝜮_{22}$ . A matriz $\overline{𝜮}$ é o Complemento de Schur de Σ₂₂ em Σ. Ou seja, a equação acima é equivalente a inverter a matriz de covariância geral, descartar as linhas e colunas correspondentes às variáveis condicionadas, e inverter novamente para obter a matriz de covariância condicional.

Note-se que x₂ = a altera a variância, embora a nova variância não dependa do valor específico de a; talvez mais surpreendentemente, a média é deslocada por $𝜮_{12} 𝜮_{22}^{- 1} (𝐚 - 𝝁_{2})$ ; compare isso com a situação de não se saber o valor de a, caso em que x₁ teria a distribuição $𝒩_{q} (𝝁_{1}, 𝜮_{11})$ .

Um fato interessante derivado para provar este resultado é que os vetores aleatórios $𝐱_{2}$ e $𝐲_{1} = 𝐱_{1} - 𝜮_{12} 𝜮_{22}^{- 1} 𝐱_{2}$ são independentes.

A matriz Σ₁₂Σ₂₂⁻¹ é conhecida como a matriz de coeficientes de regressão.

Caso bivariado

No caso bivariado em que x é particionado em $X_{1}$ e $X_{2}$ , a distribuição condicional de $X_{1}$ dado $X_{2}$ é^[26]

X_{1} ∣ X_{2} = a \sim 𝒩 (μ_{1} + \frac{σ_{1}}{σ_{2}} ρ (a - μ_{2}), (1 - ρ^{2}) σ_{1}^{2})

onde $ρ = \frac{σ_{12}}{σ_{1} σ_{2}}$ é o coeficiente de correlação entre $X_{1}$ e $X_{2}$ .

Esperança condicional bivariada, caso centrado com variâncias unitárias

(\begin{matrix} X_{1} \\ X_{2} \end{matrix}) \sim 𝒩 ((\begin{matrix} 0 \\ 0 \end{matrix}), (\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix}))

A esperança condicional de X₁ dado X₂ é

$E (X_{1} ∣ X_{2} = x_{2}) = ρ x_{2}$

e a variância condicional é

var (X_{1} ∣ X_{2} = x_{2}) = 1 - ρ^{2};

Assim, a variância condicional não depende de x₂.

A esperança condicional de X₁ dado que X₂ é menor/maior que z é:^[27]^:367

E (X_{1} ∣ X_{2} < z) = - ρ \frac{φ (z)}{Φ (z)},

$E (X_{1} ∣ X_{2} > z) = ρ \frac{φ (z)}{(1 - Φ (z))},$

onde a razão final aqui é chamada de razão inversa de Mills.

Prova: os dois últimos resultados são obtidos usando o resultado $E (X_{1} ∣ X_{2} = x_{2}) = ρ x_{2}$ , de modo que

$E (X_{1} ∣ X_{2} < z) = ρ E (X_{2} ∣ X_{2} < z)$ e então usando as propriedades da esperança de uma distribuição normal truncada.

Distribuições marginais

Para obter a distribuição marginal sobre um subconjunto de variáveis aleatórias normais multivariadas, basta remover as variáveis irrelevantes (as variáveis que se deseja marginalizar) do vetor de médias e da matriz de covariância. A prova para isso decorre das definições de distribuições normais multivariadas e álgebra linear.^[28]

Exemplo

Sejam X = [X₁, X₂, X₃] variáveis aleatórias normais multivariadas com vetor de médias μ = [μ₁, μ₂, μ₃] e matriz de covariância Σ (parametrização padrão para distribuições normais multivariadas). Então, a distribuição conjunta de X′ = [X₁, X₃] é normal multivariada com vetor de médias μ′ = [μ₁, μ₃] e matriz de covariância $𝜮^{'} = [\begin{matrix} 𝜮_{11} & 𝜮_{13} \\ 𝜮_{31} & 𝜮_{33} \end{matrix}]$ .

Transformação afim

Se Y = c + BX é uma transformação afim de $𝐗 \sim 𝒩 (𝝁, 𝜮),$ onde c é um vetor de constantes $M \times 1$ e B é uma matriz constante $M \times N$ , então Y tem uma distribuição normal multivariada com valor esperado c + Bμ e variância BΣB^T, isto é, $𝐘 \sim 𝒩 (𝐜 + 𝐁 𝝁, 𝐁 𝜮 𝐁^{T})$ . Em particular, qualquer subconjunto dos X_i tem uma distribuição marginal que também é normal multivariada. Para ver isso, considere o seguinte exemplo: para extrair o subconjunto (X₁, X₂, X₄)^T, use

$𝐁 = [\begin{matrix} 1 & 0 & 0 & 0 & 0 & \dots & 0 \\ 0 & 1 & 0 & 0 & 0 & \dots & 0 \\ 0 & 0 & 0 & 1 & 0 & \dots & 0 \end{matrix}]$

que extrai os elementos desejados diretamente.

Outro corolário é que a distribuição de Z = b · X, onde b é um vetor constante com o mesmo número de elementos que X e o ponto indica o produto escalar, é gaussiana univariada com $Z \sim 𝒩 (𝐛 \cdot 𝝁, 𝐛^{T} 𝜮 𝐛)$ . Este resultado segue-se usando

$𝐁 = [\begin{matrix} b_{1} & b_{2} & \dots & b_{n} \end{matrix}] = 𝐛^{T} .$ Observe como o fato de Σ ser definida positiva implica que a variância do produto escalar deve ser positiva.

Uma transformação afim de X como 2X não é o mesmo que a soma de duas realizações independentes de X.

Interpretação geométrica

Os contornos de equidensidade de uma distribuição normal multivariada não singular são elipsoides (isto é, transformações afins de n-esferas) centradas na média.^[29] Assim, a distribuição normal multivariada é um exemplo da classe de distribuições elípticas. As direções dos eixos principais dos elipsoides são dadas pelos autovetores da matriz de covariância $𝜮$ . Os comprimentos relativos quadrados dos eixos principais são dados pelos autovalores correspondentes.

Se Σ = UΛU^T = UΛ^1/2(UΛ^1/2)^T é uma decomposição espectral onde as colunas de U são autovetores unitários e Λ é uma matriz diagonal dos autovalores, então temos

$𝐗 \sim 𝒩 (𝝁, 𝜮) ⟺ 𝐗 \sim 𝝁 + 𝐔 𝜦^{1 / 2} 𝒩 (0, 𝐈) ⟺ 𝐗 \sim 𝝁 + 𝐔 𝒩 (0, 𝜦) .$

Além disso, U pode ser escolhida para ser uma matriz de rotação, já que inverter um eixo não tem qualquer efeito em N(0, Λ), mas inverter uma coluna muda o sinal do determinante de U. A distribuição N(μ, Σ) é, na verdade, N(0, I) escalada por Λ^1/2, rodada por U e transladada por μ.

Por outro lado, qualquer escolha de μ, matriz de posto completo U, e entradas diagonais positivas Λ_i resulta em uma distribuição normal multivariada não singular. Se qualquer Λ_i for zero e U for quadrada, a matriz de covariância resultante UΛU^T é singular. Geometricamente, isso significa que cada elipsoide de contorno é infinitamente fino e tem volume zero no espaço n-dimensional, já que pelo menos um dos eixos principais tem comprimento zero; este é o caso degenerado.

O raio em torno da média verdadeira em uma variável aleatória normal bivariada, re-escrito em coordenadas polares (raio e ângulo), segue uma distribuição de Hoyt.^[30]

Em uma dimensão, a probabilidade de encontrar uma amostra da distribuição normal no intervalo $μ \pm σ$ é de aproximadamente 68,27%, mas em dimensões superiores a probabilidade de encontrar uma amostra na região da elipse de desvio padrão é menor.^[31]

Dimensionalidade	Probabilidade
1	0,6827
2	0,3935
3	0,1987
4	0,0902
5	0,0374
6	0,0144
7	0,0052
8	0,0018
9	0,0006
10	0,0002

Inferência estatística

Estimação de parâmetros

A derivação do estimador de máxima verossimilhança da matriz de covariância de uma distribuição normal multivariada é direta.

Em resumo, a função densidade de probabilidade (fdp) de uma normal multivariada é

$f (𝐱) = \frac{1}{\sqrt{(2 π)^{k} | 𝜮 |}} \exp (- \frac{1}{2} (𝐱 - 𝝁)^{T} 𝜮^{- 1} (𝐱 - 𝝁))$

e o estimador de ML da matriz de covariância a partir de uma amostra de n observações é ^[32]

$\hat{𝜮} = \frac{1}{n} \sum_{i = 1}^{n} (𝐱_{i} - \overline{𝐱}) (𝐱_{i} - \overline{𝐱})^{T}$

que é simplesmente a média e covariância amostrais. Isto é um enviesamento amostral cuja expectativa é

$E [\hat{𝜮}] = \frac{n - 1}{n} 𝜮 .$

Uma covariância amostral não enviesada é

$\hat{𝜮} = \frac{1}{n - 1} \sum_{i = 1}^{n} (𝐱_{i} - \overline{𝐱}) (𝐱_{i} - \overline{𝐱})^{T} = \frac{1}{n - 1} [X^{'} (I - \frac{1}{n} \cdot J) X]$ (forma matricial; $I$ é a matriz identidade $K \times K$ , J é uma matriz $K \times K$ de uns; o termo entre parênteses é, portanto, a matriz de centralização $K \times K$ )

A matriz de informação de Fisher para estimar os parâmetros de uma distribuição normal multivariada tem uma expressão em forma fechada. Isso pode ser usado, por exemplo, para calcular o limite de Cramér–Rao para estimação de parâmetros neste contexto.

Inferência Bayesiana

Na Estatística bayesiana, a priori conjugada do vetor de médias é outra distribuição normal multivariada, e a priori conjugada da matriz de covariância é uma distribuição inversa de Wishart $𝒲^{- 1}$ . Suponha então que n observações foram feitas

𝐗 = {𝐱_{1}, \dots, 𝐱_{n}} \sim 𝒩 (𝝁, 𝜮)

e que uma priori conjugada foi atribuída, onde

p (𝝁, 𝜮) = p (𝝁 ∣ 𝜮) p (𝜮),

onde

p (𝝁 ∣ 𝜮) \sim 𝒩 (𝝁_{0}, m^{- 1} 𝜮),

e

p (𝜮) \sim 𝒲^{- 1} (𝜳, n_{0}) .

Então^[32]

$\begin{matrix} p (𝝁 ∣ 𝜮, 𝐗) & \sim & 𝒩 (\frac{n \bar{𝐱} + m 𝝁_{0}}{n + m}, \frac{1}{n + m} 𝜮), \\ p (𝜮 ∣ 𝐗) & \sim & 𝒲^{- 1} (𝜳 + n 𝐒 + \frac{n m}{n + m} (\bar{𝐱} - 𝝁_{0}) (\bar{𝐱} - 𝝁_{0})^{'}, n + n_{0}), \end{matrix}$ onde

\begin{matrix} \bar{𝐱} & = \frac{1}{n} \sum_{i = 1}^{n} 𝐱_{i}, \\ 𝐒 & = \frac{1}{n} \sum_{i = 1}^{n} (𝐱_{i} - \bar{𝐱}) (𝐱_{i} - \bar{𝐱})^{'} . \end{matrix}

Testes de normalidade multivariada

Testes de normalidade multivariada verificam um dado conjunto de dados quanto à similaridade com a distribuição normal. A hipótese nula é que o conjunto de dados é similar à distribuição normal, portanto, um valor-p suficientemente pequeno indica dados não normais. Os testes de normalidade multivariada incluem o teste de Cox–Small^[33] e a adaptação de Smith e Jain^[34] do teste de Friedman–Rafsky criado por Larry Rafsky e Jerome Friedman.^[35]

Teste de Mardia

Teste de Mardia^[36] é baseado em extensões multivariadas de assimetria (estatística) e curtose medidas. Para uma amostra {x₁, ..., x_n} de vetores k-dimensionais, calculamos:

\begin{matrix} \hat{𝜮} = \frac{1}{n} \sum_{j = 1}^{n} (𝐱_{j} - \bar{𝐱}) {(𝐱_{j} - \bar{𝐱})}^{T} \\ A = \frac{1}{6 n} \sum_{i = 1}^{n} \sum_{j = 1}^{n} {[(𝐱_{i} - \bar{𝐱})^{T} {\hat{𝜮}}^{- 1} (𝐱_{j} - \bar{𝐱})]}^{3} \\ B = \sqrt{\frac{n}{8 k (k + 2)}} {\frac{1}{n} \sum_{i = 1}^{n} {[(𝐱_{i} - \bar{𝐱})^{T} {\hat{𝜮}}^{- 1} (𝐱_{i} - \bar{𝐱})]}^{2} - k (k + 2)} \end{matrix}

Sob a hipótese nula de normalidade multivariada, a estatística A terá aproximadamente uma distribuição qui-quadrado com ⁠1/6⁠⋅k(k + 1)(k + 2) graus de liberdade, e B será aproximadamente distribuição normal N(0,1).

A estatística de curtose de Mardia é assimétrica e converge muito lentamente para a distribuição normal limitante. Para amostras de tamanho médio $(50 \leq n < 400)$ , os parâmetros da distribuição assintótica da estatística de curtose são modificados.^[37] Para testes com amostras pequenas ( $n < 50$ ) valores críticos empíricos são usados. Tabelas de valores críticos para ambas as estatísticas são fornecidas por Rencher^[38] para k = 2, 3, 4.

Os testes de Mardia são afim-invariantes, mas não são consistentes. Por exemplo, o teste de assimetria multivariada não é consistente contra alternativas simétricas não-normais.^[39]

Teste BHEP

O teste BHEP^[40] calcula a norma da diferença entre a função característica empírica e a função característica teórica da distribuição normal. O cálculo da norma é realizado no espaço L²(μ) de funções quadrado-integráveis em relação à função de ponderação gaussiana $μ_{β} (𝐭) = (2 π β^{2})^{- k / 2} e^{- | 𝐭 |^{2} / (2 β^{2})}$ . A estatística de teste é

\begin{matrix} T_{β} & = \int_{ℝ^{k}} {| \frac{1}{n} \sum_{j = 1}^{n} e^{i 𝐭^{T} {\hat{𝜮}}^{- 1 / 2} (𝐱_{j} - \bar{𝐱)}} - e^{- | 𝐭 |^{2} / 2} |}^{2} 𝝁_{β} (𝐭) d 𝐭 \\ = \frac{1}{n^{2}} \sum_{i, j = 1}^{n} e^{- \frac{β^{2}}{2} (𝐱_{i} - 𝐱_{j})^{T} {\hat{𝜮}}^{- 1} (𝐱_{i} - 𝐱_{j})} - \frac{2}{n (1 + β^{2})^{k / 2}} \sum_{i = 1}^{n} e^{- \frac{β^{2}}{2 (1 + β^{2})} (𝐱_{i} - \bar{𝐱})^{T} {\hat{𝜮}}^{- 1} (𝐱_{i} - \bar{𝐱})} + \frac{1}{(1 + 2 β^{2})^{k / 2}} \end{matrix}

A distribuição limite desta estatística de teste é uma soma ponderada de variáveis aleatórias qui-quadrado.^[40]

Uma pesquisa detalhada desses e de outros procedimentos de teste está disponível.^[41]

Métodos computacionais

Amostragem de valores da distribuição

Um método amplamente utilizado para gerar (amostrar) um vetor aleatório x da distribuição normal multivariada N-dimensional com vetor de média μ e matriz de covariância Σ funciona da seguinte forma:^[42]

Encontre qualquer matriz real A tal que AA^T = Σ. Quando Σ é positiva-definida, a Fatoração de Cholesky é tipicamente usada porque é amplamente disponível, computacionalmente eficiente e bem conhecida. Se uma decomposição de Cholesky com revelação de posto (pivotada), como a dpstrf() do LAPACK, estiver disponível, ela pode ser usada também no caso geral positivo-semidefinido. Uma alternativa geral mais lenta é usar a matriz A = UΛ^1/2 obtida de uma decomposição espectral Σ = UΛU⁻¹ de Σ.
Seja z = (z₁, ..., z_N)^T um vetor cujos componentes são N variáveis independentes normais padrão (que podem ser geradas, por exemplo, usando a Transformação de Box-Muller).
Seja x = μ + Az. Isto tem a distribuição desejada devido à propriedade de transformação afim.

Ver também

Cópula, para a definição do modelo de cópula gaussiana ou normal.
Distância de Mahalanobis
Distribuição conjunta
Análise de componentes principais
Análise fatorial

Referências

1 2 3 Lapidoth, Amos (2009). A Foundation in Digital Communication. [S.l.]: Cambridge University Press. ISBN 978-0-521-19395-5
↑ Gut, Allan (2009). An Intermediate Course in Probability. [S.l.]: Springer. ISBN 978-1-441-90161-3
↑ Kac, M. (1939). «On a characterization of the normal distribution». American Journal of Mathematics. 61 (3): 726–728. JSTOR 2371328. doi:10.2307/2371328
↑ Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). «Characterization of the p-generalized normal distribution». Journal of Multivariate Analysis. 100 (5): 817–820. doi:10.1016/j.jmva.2008.07.006
↑ Simon J.D. Prince(June 2012). Computer Vision: Models, Learning, and Inference Arquivado em 2020-10-28 no Wayback Machine. Cambridge University Press. 3.7:"Multivariate normal distribution".
↑ Kim, M. G. (2000). «Multivariate outliers and decompositions of Mahalanobis distance». Communications in Statistics – Theory and Methods. 29 (7): 1511–1526. doi:10.1080/03610920008832559
↑ Hamedani, G. G.; Tata, M. N. (1975). «On the determination of the bivariate normal distribution from distributions of linear combinations of the variables». The American Mathematical Monthly. 82 (9): 913–915. JSTOR 2318494. doi:10.2307/2318494
↑ Wyatt, John (26 de novembro de 2008). «Linear least mean-squared error estimation» (PDF). Lecture notes course on applied probability. Consultado em 23 de janeiro de 2012. Cópia arquivada (PDF) em 10 de outubro de 2015
↑ «linear algebra - Mapping between affine coordinate function». Mathematics Stack Exchange (em inglês). Consultado em 24 de junho de 2022
↑ Rao, C. R. (1973). Linear Statistical Inference and Its Applications. New York: Wiley. pp. 527–528. ISBN 0-471-70823-2
1 2 Botev, Z. I. (2016). «The normal law under linear restrictions: simulation and estimation via minimax tilting». Journal of the Royal Statistical Society, Series B. 79: 125–148. Bibcode:2016arXiv160304166B. arXiv:1603.04166. doi:10.1111/rssb.12162
↑ Genz, Alan (2009). Computation of Multivariate Normal and t Probabilities. [S.l.]: Springer. ISBN 978-3-642-01689-9
1 2 Bensimhoun Michael, N-Dimensional Cumulative Function, And Other Useful Facts About Gaussians and Normal Densities (2006)
↑ Siotani, Minoru (1964). «Tolerance regions for a multivariate normal population» (PDF). Annals of the Institute of Statistical Mathematics. 16 (1): 135–153. doi:10.1007/BF02868568
1 2 Botev, Z. I.; Mandjes, M.; Ridder, A. (6 de dezembro de 2015). «Tail distribution of the maximum of correlated Gaussian random variables». 2015 Winter Simulation Conference (WSC). Huntington Beach, Calif., USA: IEEE. pp. 633–642. ISBN 978-1-4673-9743-8. doi:10.1109/WSC.2015.7408202. hdl:10419/130486
↑ Adler, R. J.; Blanchet, J.; Liu, J. (7 de dezembro de 2008). «Efficient simulation for tail probabilities of Gaussian random fields». 2008 Winter Simulation Conference (WSC). Miami, Fla., USA: IEEE. pp. 328–336. ISBN 978-1-4244-2707-9. doi:10.1109/WSC.2008.4736085
↑ Hernandez-Stumpfhauser, Daniel; Breidt, F. Jay; van der Woerd, Mark J. (2017). «The General Projected Normal Distribution of Arbitrary Dimension: Modeling and Bayesian Inference». Bayesian Analysis. 12 (1): 113–133. doi:10.1214/15-BA989
↑ Das, Abhranil (16 de julho de 2024). «Integrate and Classify Normal Distributions». MathWorks - MatLab. Consultado em 20 de fevereiro de 2025. Cópia arquivada em 20 de fevereiro de 2025
↑ Tong, T. (2010) Multiple Linear Regression : MLE and Its Distributional Results Arquivado em 2013-06-16 na WebCite, Lecture Notes
↑ Gokhale, DV; Ahmed, NA; Res, BC; Piscataway, NJ (maio de 1989). «Entropy Expressions and Their Estimators for Multivariate Distributions». IEEE Transactions on Information Theory. 35 (3): 688–692. doi:10.1109/18.30996
↑ Duchi, J. Derivations for Linear Algebra and Optimization (PDF) (Tese). p. 13. Consultado em 12 de agosto de 2020. Cópia arquivada (PDF) em 25 de julho de 2020
↑ Proof: Mutual information of the multivariate normal distribution
↑ MacKay, David J. C. (6 de outubro de 2003). Information Theory, Inference and Learning Algorithms (em inglês) Illustrated ed. Cambridge: Cambridge University Press. ISBN 978-0-521-64298-9
↑ Holt, W.; Nguyen, D. (2023). Essential Aspects of Bayesian Data Imputation (Tese). SSRN 4494314
↑ Eaton, Morris L. (1983). Multivariate Statistics: a Vector Space Approach. [S.l.]: John Wiley and Sons. pp. 116–117. ISBN 978-0-471-02776-8
↑ Jensen, J (2000). Statistics for Petroleum Engineers and Geoscientists. Amsterdam: Elsevier. p. 207. ISBN 0-444-50552-0
↑ Maddala, G. S. (1983). Limited Dependent and Qualitative Variables in Econometrics. [S.l.]: Cambridge University Press. ISBN 0-521-33825-5
↑ An algebraic computation of the marginal distribution is shown here http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html Arquivado em 2010-01-17 no Wayback Machine. A much shorter proof is outlined here https://math.stackexchange.com/a/3832137
↑ Nikolaus Hansen (2016). «The CMA Evolution Strategy: A Tutorial» (PDF). Bibcode:2016arXiv160400772H. arXiv:1604.00772. Consultado em 7 de janeiro de 2012. Cópia arquivada (PDF) em 31 de março de 2010
↑ Daniel Wollschlaeger. «The Hoyt Distribution (Documentation for R package 'shotGroups' version 0.6.2)» ^{[ligação inativa]}
↑ Wang, Bin; Shi, Wenzhong; Miao, Zelang (13 de março de 2015). Rocchini, Duccio, ed. «Confidence Analysis of Standard Deviational Ellipse and Its Extension into Higher Dimensional Euclidean Space». PLOS ONE (em inglês). 10 (3). Bibcode:2015PLoSO..1018537W. ISSN 1932-6203. PMC 4358977. PMID 25769048. doi:10.1371/journal.pone.0118537
1 2 Holt, W.; Nguyen, D. (2023). Introduction to Bayesian Data Imputation (Tese). SSRN 4494314
↑ Cox, D. R.; Small, N. J. H. (1978). «Testing multivariate normality». Biometrika. 65 (2): 263. doi:10.1093/biomet/65.2.263
↑ Smith, S. P.; Jain, A. K. (1988). «A test to determine the multivariate normality of a data set». IEEE Transactions on Pattern Analysis and Machine Intelligence. 10 (5): 757. doi:10.1109/34.6789
↑ Friedman, J. H.; Rafsky, L. C. (1979). «Multivariate Generalizations of the Wald–Wolfowitz and Smirnov Two-Sample Tests». The Annals of Statistics. 7 (4): 697. doi:10.1214/aos/1176344722
↑ Mardia, K. V. (1970). «Measures of multivariate skewness and kurtosis with applications». Biometrika. 57 (3): 519–530. doi:10.1093/biomet/57.3.519
↑ Rencher (1995), pages 112–113.
↑ Rencher (1995), pages 493–495.
↑ Baringhaus, L.; Henze, N. (1991). «Limit distributions for measures of multivariate skewness and kurtosis based on projections». Journal of Multivariate Analysis. 38: 51–69. doi:10.1016/0047-259X(91)90031-V
1 2 Baringhaus, L.; Henze, N. (1988). «A consistent test for multivariate normality based on the empirical characteristic function». Metrika. 35 (1): 339–348. doi:10.1007/BF02613322
↑ Henze, Norbert (2002). «Invariant tests for multivariate normality: a critical review». Statistical Papers. 43 (4): 467–506. doi:10.1007/s00362-002-0119-6
↑ Gentle, J. E. (2009). Computational Statistics. Col: Statistics and Computing. New York: Springer. pp. 315–316. ISBN 978-0-387-98143-7. doi:10.1007/978-0-387-98144-4

Literatura

Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley
Tong, Y. L. (1990). The multivariate normal distribution. Col: Springer Series in Statistics. New York: Springer-Verlag. ISBN 978-1-4613-9657-4. doi:10.1007/978-1-4613-9655-0

[Lapidoth-1] 1 2 3 Lapidoth, Amos (2009). A Foundation in Digital Communication. [S.l.]: Cambridge University Press. ISBN 978-0-521-19395-5

[Gut-2] Gut, Allan (2009). An Intermediate Course in Probability. [S.l.]: Springer. ISBN 978-1-441-90161-3

[3] Kac, M. (1939). «On a characterization of the normal distribution». American Journal of Mathematics. 61 (3): 726–728. JSTOR 2371328. doi:10.2307/2371328

[4] Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). «Characterization of the p-generalized normal distribution». Journal of Multivariate Analysis. 100 (5): 817–820. doi:10.1016/j.jmva.2008.07.006

[5] Simon J.D. Prince(June 2012). Computer Vision: Models, Learning, and Inference Arquivado em 2020-10-28 no Wayback Machine. Cambridge University Press. 3.7:"Multivariate normal distribution".

[6] Kim, M. G. (2000). «Multivariate outliers and decompositions of Mahalanobis distance». Communications in Statistics – Theory and Methods. 29 (7): 1511–1526. doi:10.1080/03610920008832559

[HT-7] Hamedani, G. G.; Tata, M. N. (1975). «On the determination of the bivariate normal distribution from distributions of linear combinations of the variables». The American Mathematical Monthly. 82 (9): 913–915. JSTOR 2318494. doi:10.2307/2318494

[wyattlms-8] Wyatt, John (26 de novembro de 2008). «Linear least mean-squared error estimation» (PDF). Lecture notes course on applied probability. Consultado em 23 de janeiro de 2012. Cópia arquivada (PDF) em 10 de outubro de 2015

[9] «linear algebra - Mapping between affine coordinate function». Mathematics Stack Exchange (em inglês). Consultado em 24 de junho de 2022

[rao-10] Rao, C. R. (1973). Linear Statistical Inference and Its Applications. New York: Wiley. pp. 527–528. ISBN 0-471-70823-2

[bo16-11] 1 2 Botev, Z. I. (2016). «The normal law under linear restrictions: simulation and estimation via minimax tilting». Journal of the Royal Statistical Society, Series B. 79: 125–148. Bibcode:2016arXiv160304166B. arXiv:1603.04166. doi:10.1111/rssb.12162

[Genz-12] Genz, Alan (2009). Computation of Multivariate Normal and t Probabilities. [S.l.]: Springer. ISBN 978-3-642-01689-9

[Bensimhoun-13] 1 2 Bensimhoun Michael, N-Dimensional Cumulative Function, And Other Useful Facts About Gaussians and Normal Densities (2006)

[Siotani-14] Siotani, Minoru (1964). «Tolerance regions for a multivariate normal population» (PDF). Annals of the Institute of Statistical Mathematics. 16 (1): 135–153. doi:10.1007/BF02868568

[bmr15-15] 1 2 Botev, Z. I.; Mandjes, M.; Ridder, A. (6 de dezembro de 2015). «Tail distribution of the maximum of correlated Gaussian random variables». 2015 Winter Simulation Conference (WSC). Huntington Beach, Calif., USA: IEEE. pp. 633–642. ISBN 978-1-4673-9743-8. doi:10.1109/WSC.2015.7408202. hdl:10419/130486

[abl08-16] Adler, R. J.; Blanchet, J.; Liu, J. (7 de dezembro de 2008). «Efficient simulation for tail probabilities of Gaussian random fields». 2008 Winter Simulation Conference (WSC). Miami, Fla., USA: IEEE. pp. 328–336. ISBN 978-1-4244-2707-9. doi:10.1109/WSC.2008.4736085

[Hernandez-Stumpfhauser-17] Hernandez-Stumpfhauser, Daniel; Breidt, F. Jay; van der Woerd, Mark J. (2017). «The General Projected Normal Distribution of Arbitrary Dimension: Modeling and Bayesian Inference». Bayesian Analysis. 12 (1): 113–133. doi:10.1214/15-BA989

[18] Das, Abhranil (16 de julho de 2024). «Integrate and Classify Normal Distributions». MathWorks - MatLab. Consultado em 20 de fevereiro de 2025. Cópia arquivada em 20 de fevereiro de 2025

[19] Tong, T. (2010) Multiple Linear Regression : MLE and Its Distributional Results Arquivado em 2013-06-16 na WebCite, Lecture Notes

[20] Gokhale, DV; Ahmed, NA; Res, BC; Piscataway, NJ (maio de 1989). «Entropy Expressions and Their Estimators for Multivariate Distributions». IEEE Transactions on Information Theory. 35 (3): 688–692. doi:10.1109/18.30996

[21] Duchi, J. Derivations for Linear Algebra and Optimization (PDF) (Tese). p. 13. Consultado em 12 de agosto de 2020. Cópia arquivada (PDF) em 25 de julho de 2020

[22] Proof: Mutual information of the multivariate normal distribution

[23] MacKay, David J. C. (6 de outubro de 2003). Information Theory, Inference and Learning Algorithms (em inglês) Illustrated ed. Cambridge: Cambridge University Press. ISBN 978-0-521-64298-9

[24] Holt, W.; Nguyen, D. (2023). Essential Aspects of Bayesian Data Imputation (Tese). SSRN 4494314

[eaton-25] Eaton, Morris L. (1983). Multivariate Statistics: a Vector Space Approach. [S.l.]: John Wiley and Sons. pp. 116–117. ISBN 978-0-471-02776-8

[26] Jensen, J (2000). Statistics for Petroleum Engineers and Geoscientists. Amsterdam: Elsevier. p. 207. ISBN 0-444-50552-0

[Maddala83-27] Maddala, G. S. (1983). Limited Dependent and Qualitative Variables in Econometrics. [S.l.]: Cambridge University Press. ISBN 0-521-33825-5

[28] An algebraic computation of the marginal distribution is shown here http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html Arquivado em 2010-01-17 no Wayback Machine. A much shorter proof is outlined here https://math.stackexchange.com/a/3832137

[29] Nikolaus Hansen (2016). «The CMA Evolution Strategy: A Tutorial» (PDF). Bibcode:2016arXiv160400772H. arXiv:1604.00772. Consultado em 7 de janeiro de 2012. Cópia arquivada (PDF) em 31 de março de 2010

[30] Daniel Wollschlaeger. «The Hoyt Distribution (Documentation for R package 'shotGroups' version 0.6.2)» ^{[ligação inativa]}

[31] Wang, Bin; Shi, Wenzhong; Miao, Zelang (13 de março de 2015). Rocchini, Duccio, ed. «Confidence Analysis of Standard Deviational Ellipse and Its Extension into Higher Dimensional Euclidean Space». PLOS ONE (em inglês). 10 (3). Bibcode:2015PLoSO..1018537W. ISSN 1932-6203. PMC 4358977. PMID 25769048. doi:10.1371/journal.pone.0118537

[papers.ssrn.com-32] 1 2 Holt, W.; Nguyen, D. (2023). Introduction to Bayesian Data Imputation (Tese). SSRN 4494314

[33] Cox, D. R.; Small, N. J. H. (1978). «Testing multivariate normality». Biometrika. 65 (2): 263. doi:10.1093/biomet/65.2.263

[34] Smith, S. P.; Jain, A. K. (1988). «A test to determine the multivariate normality of a data set». IEEE Transactions on Pattern Analysis and Machine Intelligence. 10 (5): 757. doi:10.1109/34.6789

[35] Friedman, J. H.; Rafsky, L. C. (1979). «Multivariate Generalizations of the Wald–Wolfowitz and Smirnov Two-Sample Tests». The Annals of Statistics. 7 (4): 697. doi:10.1214/aos/1176344722

[Mardia-36] Mardia, K. V. (1970). «Measures of multivariate skewness and kurtosis with applications». Biometrika. 57 (3): 519–530. doi:10.1093/biomet/57.3.519

[37] Rencher (1995), pages 112–113.

[38] Rencher (1995), pages 493–495.

[39] Baringhaus, L.; Henze, N. (1991). «Limit distributions for measures of multivariate skewness and kurtosis based on projections». Journal of Multivariate Analysis. 38: 51–69. doi:10.1016/0047-259X(91)90031-V

[BH-40] 1 2 Baringhaus, L.; Henze, N. (1988). «A consistent test for multivariate normality based on the empirical characteristic function». Metrika. 35 (1): 339–348. doi:10.1007/BF02613322

[Henze-41] Henze, Norbert (2002). «Invariant tests for multivariate normality: a critical review». Statistical Papers. 43 (4): 467–506. doi:10.1007/s00362-002-0119-6

[Gentle-42] Gentle, J. E. (2009). Computational Statistics. Col: Statistics and Computing. New York: Springer. pp. 315–316. ISBN 978-0-387-98143-7. doi:10.1007/978-0-387-98144-4

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]