Examkin

Soru

Zorluk: Çok zorÇok Değişkenli Normal Dağılımın Yoğunluk Fonksiyonu

İstatistiksel bilgi kuramında (information theory), sürekli bir rassal vektörün içerdiği belirsizliği ölçen diferansiyel entropi H(X)=−E[ln⁡f(X)]H(\mathbf{X}) = -E[\ln f(\mathbf{X})] denklemiyle ifade edilir.

X\mathbf{X} rassal vektörü, μ\boldsymbol{\mu} ortalama vektörüne ve pozitif tanımlı Σ\boldsymbol{\Sigma} kovaryans matrisine sahip pp-değişkenli bir normal dağılımdan gelmektedir (X∼Np(μ,Σ)\mathbf{X} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})).

Buna göre, dağılımın olasılık yoğunluk fonksiyonunun doğal logaritmasının beklenen değerini veren E[ln⁡f(X)]E[\ln f(\mathbf{X})] ifadesi aşağıdakilerden hangisine eşittir?

(Not: σii\sigma_{ii}, Σ\boldsymbol{\Sigma} matrisinin asal köşegenindeki ii. elemanı göstermektedir.)

  1. −p2ln⁡(2π)−12ln⁡∣Σ∣−p2-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{p}{2}Cevap
  2. B
    −p2ln⁡(2π)−12ln⁡(iz(Σ))−p2-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln(\text{iz}(\boldsymbol{\Sigma})) - \frac{p}{2}
  3. C
    −p2ln⁡(2π)−12∑i=1pln⁡(σii)−p2-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \sum_{i=1}^p \ln(\sigma_{ii}) - \frac{p}{2}
  4. D
    −p2ln⁡(2π)−12ln⁡∣Σ∣−12∣Σ−1∣-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{1}{2} |\boldsymbol{\Sigma}^{-1}|
  5. E
    −12ln⁡(2π)−p2ln⁡∣Σ∣−p2-\frac{1}{2} \ln(2\pi) - \frac{p}{2} \ln|\boldsymbol{\Sigma}| - \frac{p}{2}

Cevap

Yoğunluk fonksiyonunun logaritması alındıktan sonra beklenen değeri hesaplandığında elde edilen sonuç −p2ln⁡(2π)−12ln⁡∣Σ∣−p2-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{p}{2} ifadesidir.
Çok değişkenli normal dağılımın log-yoğunluk denklemi sabit terimler ve bir karesel formdan oluşur. Beklenen değer alındığında, sabit terimler (−p2ln⁡(2π)−12ln⁡∣Σ∣-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}|) olduğu gibi kalır. Üstel kısımdaki Mahalanobis uzaklığının karesini temsil eden (X−μ)′Σ−1(X−μ)(\mathbf{X} - \boldsymbol{\mu})' \boldsymbol{\Sigma}^{-1} (\mathbf{X} - \boldsymbol{\mu}) ifadesi pp serbestlik dereceli Ki-kare dağılımına sahiptir ve beklenen değeri tam olarak pp'ye eşittir. Formüldeki −12-\frac{1}{2} katsayısı ile çarpıldığında, doğru cevap −p2ln⁡(2π)−12ln⁡∣Σ∣−p2-\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{p}{2} olarak elde edilir.

Adım Adım Çözüm

1
Çok değişkenli normal dağılımın yoğunluk fonksiyonunu (PDF) yazınız.
f(X)=(2π)−p/2∣Σ∣−1/2exp⁡(−12(X−μ)′Σ−1(X−μ))f(\mathbf{X}) = (2\pi)^{-p/2} |\boldsymbol{\Sigma}|^{-1/2} \exp\left( -\frac{1}{2} (\mathbf{X} - \boldsymbol{\mu})' \boldsymbol{\Sigma}^{-1} (\mathbf{X} - \boldsymbol{\mu}) \right)
Dağılımın temel denklemi budur ve logaritma işlemi için başlangıç noktasıdır.
2
Yoğunluk fonksiyonunun doğal logaritmasını (ln) alınız.
ln⁡f(X)=−p2ln⁡(2π)−12ln⁡∣Σ∣−12(X−μ)′Σ−1(X−μ)\ln f(\mathbf{X}) = -\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{1}{2} (\mathbf{X} - \boldsymbol{\mu})' \boldsymbol{\Sigma}^{-1} (\mathbf{X} - \boldsymbol{\mu})
Logaritma çarpımları toplama, üsleri ise katsayıya dönüştürür.
3
Denklemin her iki tarafına beklenen değer (E) operatörünü uygulayınız.
E[ln⁡f(X)]=−p2ln⁡(2π)−12ln⁡∣Σ∣−12E[(X−μ)′Σ−1(X−μ)]E[\ln f(\mathbf{X})] = -\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{1}{2} E[(\mathbf{X} - \boldsymbol{\mu})' \boldsymbol{\Sigma}^{-1} (\mathbf{X} - \boldsymbol{\mu})]
Sabit terimlerin beklenen değeri kendilerine eşittir. Rassallık sadece karesel form kısmındadır.
4
Karesel formun beklenen değerini matrisin iz (trace) özelliğini kullanarak hesaplayınız.
E[Q]=E[iz((X−μ)′Σ−1(X−μ))]=iz(Σ−1E[(X−μ)(X−μ)′])=iz(Σ−1Σ)=iz(Ip)=pE[Q] = E[\text{iz}((\mathbf{X} - \boldsymbol{\mu})' \boldsymbol{\Sigma}^{-1} (\mathbf{X} - \boldsymbol{\mu}))] = \text{iz}(\boldsymbol{\Sigma}^{-1} E[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})']) = \text{iz}(\boldsymbol{\Sigma}^{-1} \boldsymbol{\Sigma}) = \text{iz}(\mathbf{I}_p) = p
Karesel form skaler bir değerdir, skaler bir değerin izi kendisine eşittir ve matris çarpımında iz içinde döngüsel yer değiştirme yapılabilir.
5
Hesaplanan karesel form beklentisini yerine koyarak nihai sonucu elde ediniz.
E[ln⁡f(X)]=−p2ln⁡(2π)−12ln⁡∣Σ∣−p2E[\ln f(\mathbf{X})] = -\frac{p}{2} \ln(2\pi) - \frac{1}{2} \ln|\boldsymbol{\Sigma}| - \frac{p}{2}
Tüm adımların birleştirilmesiyle dağılımın negatif diferansiyel entropisi bulunmuş olur.

Anahtar Kavram

Çok Değişkenli Normal Dağılımın Log-Yoğunluk Fonksiyonu ve Karesel Formların Beklenen Değeri
Bu soruyu puanla

Konular

Çok Değişkenli Normal Dağılımın Yoğunluk Fonksiyonu

Bu konudan daha fazla soru