Parametre Tahmin Yöntemleri Alıştırma Soruları — KPSS İstatistik — Sayfa 4

Soru 61Soru →

$X_1, X_2, \dots, X_n$ , beklenen değeri $\mu$ ve varyansı $\sigma^2$ ( $\sigma^2 < \infty$ ) olan bir dağılımdan rastgele çekilmiş $n$ hacimli bir örneklemi göstersin. $\mu$ parametresini tahmin etmek amacıyla,

T_n = \bar{X} + \frac{3}{\sqrt{n}}

tahmin edicisi tanımlanmıştır.

Buna göre $T_n$ tahmin edicisi için aşağıdaki ifadelerden hangisi kesinlikle doğrudur?

Yanlı bir tahmin edicidir, ancak hata kareler ortalaması (MSE) örneklem çapı sonsuza giderken sıfıra yakınsadığı için tutarlıdır.

Her

n

örneklem çapı için yansızdır ve büyük örneklemlerde tutarlılık özelliğini sağlar.

Asimptotik olarak yansızdır; ancak varyansı

n \to \infty

iken sıfıra gitmediği için tutarsızdır.

Yan miktarı örneklem çapıyla birlikte arttığı için hem asimptotik olarak yanlıdır hem de tutarsızdır.

Yansızlık şartını sağlamadığı için tutarlılık koşullarını baştan ihlal etmektedir ve tutarsızdır.

Cevabı ve açıklamayı göster

Cevap: Yanlı bir tahmin edicidir, ancak hata kareler ortalaması (MSE) örneklem çapı sonsuza giderken sıfıra yakınsadığı için tutarlıdır.

Cevap

Tahmin edici sonlu örneklemlerde yanlıdır ancak hata kareler ortalaması asimptotik olarak sıfıra gittiği için tutarlı bir tahmin edicidir.

Doğru ifade, tahmin edicinin yanlı olduğunu ancak tutarlılık özelliğini taşıdığını belirten ifadedir.

E(T_n) = \mu + 3/\sqrt{n}

olduğundan tahmin edici yanlıdır. Ancak MSE'yi hesaplarsak:

MSE(T_n) = Var(T_n) + Bias(T_n)^2 = \frac{\sigma^2}{n} + \frac{9}{n}

. Örneklem çapı

n

sonsuza giderken MSE'nin limiti

0

olmaktadır. MSE'si sıfıra giden bir tahmin edici olasılıkta yakınsar ve dolayısıyla tutarlıdır.

Adım Adım Çözüm

1

T_n

'nin beklenen değerini ve yan miktarını (Bias) hesaplayın.

E(T_n) = E(\bar{X}) + E(\frac{3}{\sqrt{n}}) = \mu + \frac{3}{\sqrt{n}}

. Yan miktarı

Bias(T_n) = E(T_n) - \mu = \frac{3}{\sqrt{n}}

bulunur.

Tahmin edicinin yansız olup olmadığını ve asimptotik yan davranışını belirlemek için.

2

T_n

'nin varyansını hesaplayın.

Var(T_n) = Var(\bar{X} + \frac{3}{\sqrt{n}})

. Sabit bir terimin varyansı

0

olduğu için

Var(T_n) = Var(\bar{X}) = \frac{\sigma^2}{n}

elde edilir.

Hata kareler ortalamasını (MSE) bulabilmek için tahmin edicinin varyansına ihtiyaç vardır.

3

Hata Kareler Ortalamasını (MSE) hesaplayın ve

n \to \infty

için limitini alın.

MSE(T_n) = Var(T_n) + [Bias(T_n)]^2 = \frac{\sigma^2}{n} + (\frac{3}{\sqrt{n}})^2 = \frac{\sigma^2}{n} + \frac{9}{n} = \frac{\sigma^2 + 9}{n}

. Limit alındığında

\lim_{n \to \infty} \frac{\sigma^2 + 9}{n} = 0

olur.

Bir tahmin edicinin tutarlı olması için yeterli koşul, asimptotik olarak MSE değerinin sıfıra gitmesidir.

Anahtar Kavram

Tutarlılık (Consistency) ve Hata Kareler Ortalaması Yakınsaması

Soru 62Soru →

Bir siber güvenlik merkezi, sisteme yapılan şüpheli giriş denemelerinin engellenme sürelerini (saniye cinsinden normalize edilmiş olarak) $X$ rastgele değişkeni ile modellemektedir. $X$ rastgele değişkeninin olasılık yoğunluk fonksiyonu aşağıdaki gibidir:

f(x; \theta) = \begin{cases} \theta x^{\theta-1} & , 0 < x < 1 \\ 0 & , \text{diğer durumlarda} \end{cases}

Burada $\theta > 0$ bilinmeyen bir parametredir ve $x_1, x_2, \dots, x_n$ bu dağılımdan çekilmiş $n$ birimlik rastgele bir örneklemi temsil etmektedir.

Buna göre, $\theta$ parametresinin momentler yöntemi tahmin edicisi ( $\hat{\theta}_{MMT}$ ) aşağıdakilerden hangisidir?

\frac{\bar{x}}{1 - \bar{x}}

\frac{1 - \bar{x}}{\bar{x}}

\frac{\bar{x}}{1 + \bar{x}}

\frac{1}{\bar{x}}

1 - \bar{x}

Cevabı ve açıklamayı göster

Cevap: $\frac{\bar{x}}{1 - \bar{x}}$

Cevap

Momentler yöntemi tahmin edicisi

\frac{\bar{x}}{1 - \bar{x}}

şeklindedir.

Momentler yönteminde tek bir bilinmeyen parametre (

\theta

) olduğundan, birinci kitle momenti (

E[X]

) birinci örneklem momentine (

\bar{x}

) eşitlenir. Yoğunluk fonksiyonunun beklenen değeri

E[X] = \int_0^1 x (\theta x^{\theta-1}) dx = \frac{\theta}{\theta+1}

olarak bulunur. Bu eşitlik

\bar{x}

'e eşitlenip

\theta

yalnız bırakıldığında

\hat{\theta}_{MMT} = \frac{\bar{x}}{1 - \bar{x}}

sonucu elde edilir.

Adım Adım Çözüm

1

Birinci kitle momentinin (beklenen değer) hesaplanması

E[X] = \int_0^1 x \cdot \theta x^{\theta-1} dx = \theta \int_0^1 x^\theta dx = \theta \left[ \frac{x^{\theta+1}}{\theta+1} \right]_0^1 = \frac{\theta}{\theta+1}

Momentler yönteminde (MMT) parametre sayısına bağlı olarak kitle momentleri bulunmalıdır. Burada tek parametre olduğu için sadece birinci moment yeterlidir.

2

Birinci kitle momentinin birinci örneklem momentine eşitlenmesi

E[X] = \bar{x} \implies \frac{\theta}{\theta+1} = \bar{x}

Momentler yönteminin temel prensibi, teorik momentleri örneklem momentlerine eşitleyerek parametre tahmini yapmaktır.

3

Denklemden

\theta

parametresinin çekilmesi

\theta = \bar{x}(\theta + 1) \implies \theta = \theta\bar{x} + \bar{x} \implies \theta - \theta\bar{x} = \bar{x} \implies \theta(1 - \bar{x}) = \bar{x} \implies \hat{\theta}_{MMT} = \frac{\bar{x}}{1 - \bar{x}}

Kurulan eşitlik çözülerek bilinmeyen parametre tahmin edicisi tek başına bırakılır.

Anahtar Kavram

Momentler Yöntemi ile Parametre Tahmini

Soru 63Soru →

Bir nükleer fizikçi, belirli bir radyoaktif izotopun bozunma enerjisi seviyelerini (MeV cinsinden) ölçmektedir. Yapılan ölçümleri temsil eden $X_1, X_2, \dots, X_n$ rastgele örnekleminin, beklenen değeri $\theta \ (\theta > 0)$ ve varyansı $\theta^2$ olan bir normal dağılımdan geldiği varsayılmaktadır.

Buna göre, Neyman Çarpanlara Ayırma Teoremi dikkate alındığında, bilinmeyen $\theta$ parametresi için yeterli istatistik aşağıdakilerden hangisidir?

\sum_{i=1}^n X_i

\sum_{i=1}^n X_i^2

\sum_{i=1}^n (X_i - \bar{X})^2

\left( \sum_{i=1}^n X_i, \sum_{i=1}^n X_i^2 \right)

\left( \min_{1 \le i \le n} X_i, \max_{1 \le i \le n} X_i \right)

Cevabı ve açıklamayı göster

Cevap: $\left( \sum_{i=1}^n X_i, \sum_{i=1}^n X_i^2 \right)$

Cevap

Doğru cevap, beklenen değer ve varyansın her ikisinin de aynı parametreye bağlı olmasından kaynaklı her iki istatistiksel toplam ifadesini de içeren

\left( \sum_{i=1}^n X_i, \sum_{i=1}^n X_i^2 \right)

vektörüdür.

Olabilirlik fonksiyonu yazıldığında

L(\theta|\mathbf{x}) = (2\pi)^{-n/2} \theta^{-n} \exp(-\frac{n}{2}) \exp\left(-\frac{1}{2\theta^2} \sum_{i=1}^n x_i^2 + \frac{1}{\theta} \sum_{i=1}^n x_i\right)

elde edilir. Neyman Çarpanlara Ayırma Teoremi uyarınca bu fonksiyon

g(T(\mathbf{x})|\theta) h(\mathbf{x})

olarak ayrıştırıldığında,

\theta

'ya bağlı

g

fonksiyonunun veriye sadece

\sum_{i=1}^n x_i

ve

\sum_{i=1}^n x_i^2

istatistikleri aracılığıyla bağlı olduğu görülür. Varyans ve beklenen değer aynı bilinmeyen parametreye bağlı olduğu için formüldeki her iki istatistik de zorunlu olarak yeterli istatistiğin birer parçasıdır.

Adım Adım Çözüm

1

Olabilirlik fonksiyonunu (Likelihood) kurmak

L(\theta|\mathbf{x}) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\theta} \exp\left( -\frac{(x_i - \theta)^2}{2\theta^2} \right)

Neyman Çarpanlara Ayırma Teoremini uygulayabilmek için öncelikle örneklemin ortak olasılık yoğunluk fonksiyonunun çarpım olarak yazılması gerekir.

2

Çarpım sembolünü ifadeye dahil edip üstel içindeki kareyi açmak

L(\theta|\mathbf{x}) = (2\pi)^{-n/2} \theta^{-n} \exp\left( -\frac{1}{2\theta^2} \sum_{i=1}^n (x_i^2 - 2\theta x_i + \theta^2) \right)

Üstel kısımdaki toplamın içindeki tam kare açılımı yapılarak veriye bağlı istatistiklerin izole edilmesi sağlanır.

3

Toplam sembolünü terimlere dağıtarak ifadeyi yeniden düzenlemek

L(\theta|\mathbf{x}) = (2\pi)^{-n/2} \theta^{-n} \exp\left(-\frac{n}{2}\right) \exp\left( -\frac{1}{2\theta^2} \sum_{i=1}^n x_i^2 + \frac{1}{\theta} \sum_{i=1}^n x_i \right)

Parametreye (

\theta

) bağlı olan terimler ile yalnızca veriye bağlı olan terimleri ayırabilmek ve çarpan formuna getirmek için matematiksel düzenleme yapılır.

4

Neyman Çarpanlara Ayırma Teoremi bileşenlerini belirlemek

Fonksiyon

g(T(\mathbf{x})|\theta) \cdot h(\mathbf{x})

olarak ayrıldığında, parametreyi içeren

g

fonksiyonunda

\theta

'ya eşlik eden veriye bağlı bileşenler

T(\mathbf{X}) = \left( \sum_{i=1}^n X_i, \sum_{i=1}^n X_i^2 \right)

olarak tanımlanır.

h(\mathbf{x}) = (2\pi)^{-n/2}

olur.

Teoreme göre, olabilirlik fonksiyonu

g

(parametre ve istatistiği içeren kısım) ile

h

(sadece veriyi içeren kısım) olarak ayrıldığında,

g

fonksiyonunun içindeki

T(\mathbf{X})

yeterli istatistik olmalıdır.

Anahtar Kavram

Yeterlilik (Sufficiency) ve Neyman Çarpanlara Ayırma Teoremi

Tahmini Süre:2m 30s

Soru 64Soru →

Bir istatistikçi, $(X_1, Y_1), (X_2, Y_2), \dots, (X_n, Y_n)$ biçimindeki $n$ adet bağımsız gözlem çiftinden oluşan bir veri seti için aşağıdaki doğrusal regresyon modelini En Küçük Kareler (EKK) yöntemiyle tahmin etmektedir:

Y_i = \alpha + \beta (X_i - \bar{X}) + \epsilon_i, \quad i = 1, 2, \dots, n

Bu modelde $\bar{X}$ , bağımsız değişkenin örneklem ortalamasını göstermektedir. Hata terimleri $\epsilon_i$ 'lerin birbirinden bağımsız, beklenen değerlerinin sıfır ( $E(\epsilon_i) = 0$ ) ve varyanslarının sabit ( $V(\epsilon_i) = \sigma^2$ ) olduğu varsayılmaktadır.

Buna göre, bu modelden elde edilen EKK tahmin edicileri $\hat{\alpha}$ ve $\hat{\beta}$ arasındaki kovaryans, yani $Cov(\hat{\alpha}, \hat{\beta})$ aşağıdakilerden hangisine eşittir?

-\frac{\bar{X} \sigma^2}{\sum_{i=1}^n (X_i - \bar{X})^2}

\frac{\sigma^2}{n}

0

\frac{\sigma^2}{\sum_{i=1}^n (X_i - \bar{X})^2}

\sigma^2 \left( \frac{1}{n} + \frac{\bar{X}^2}{\sum_{i=1}^n (X_i - \bar{X})^2} \right)

Cevabı ve açıklamayı göster

Cevap: $0$

Cevap

Doğru cevap

0

'dır.

Merkezileştirilmiş bir doğrusal regresyon modelinde, bağımsız değişken sütunu ile kesme parametresine ait birlik sütunu birbirine dik (ortogonal) hale gelir. Cebirsel olarak

\hat{\alpha} = \bar{Y}

ve

\hat{\beta} = \sum w_i Y_i

şeklinde yazılıp iki doğrusal kombinasyonun kovaryansı alındığında, formülün payında beliren

\sum_{i=1}^n (X_i - \bar{X})

çarpanı matematiksel olarak sıfır olduğundan tahmin ediciler arasındaki kovaryans sıfıra eşit çıkar.

Adım Adım Çözüm

1

EKK tahmin edicilerini veriye dayalı formüllerle tanımlamak.

Merkezileştirilmiş modelde tahmin ediciler

\hat{\alpha} = \bar{Y}

ve

\hat{\beta} = \frac{\sum (X_i - \bar{X})Y_i}{\sum (X_i - \bar{X})^2}

olarak bulunur.

Kovaryans hesaplamasına geçebilmek için tahmin edicilerin gözlemler (

Y_i

) cinsinden bağımsız değişkenlerle nasıl ağırlıklandırıldığını açıkça yazmak gerekir.

2

Tahmin ediciler için doğrusal kombinasyon kovaryans denklemini kurmak.

Cov(\hat{\alpha}, \hat{\beta}) = Cov\left( \frac{1}{n}\sum_{i=1}^n Y_i, \sum_{j=1}^n w_j Y_j \right)

ifadesi oluşturulur. Burada hesaplama kolaylığı için

w_j = \frac{X_j - \bar{X}}{\sum (X_k - \bar{X})^2}

şeklinde tanımlanır.

Her iki tahmin edici de

Y_i

değişkenlerinin birer doğrusal fonksiyonudur.

Y_i

'ler bağımsız olduğundan toplamların kovaryansı doğrudan varyanslar üzerinden hesaplanabilir.

3

Bağımsızlık varsayımı ile ifadeyi sadeleştirip matematiksel sonucu bulmak.

Çapraz terimler sıfır olduğu için ifade

\frac{1}{n} \sum w_i V(Y_i) = \frac{\sigma^2}{n \sum (X_k - \bar{X})^2} \sum_{i=1}^n (X_i - \bar{X})

halini alır. Örneklemde

\sum_{i=1}^n (X_i - \bar{X}) = 0

eşitliği geçerli olduğundan sonuç doğrudan

0

çıkar.

Değişkenlerin kendi örneklem ortalaması etrafındaki sapmalarının toplamı sıfır olmak zorundadır.

Anahtar Kavram

Merkezileştirilmiş Regresyon Modellerinde Tahmin Edicilerin Bağımsızlığı

Alternatif Yöntem

Matris gösterimiyle ispat yapmak daha pratiktir. Modelin tasarım matrisi

X

'in ilk sütunu

1

'lerden, ikinci sütunu

(X_i - \bar{X})

'lerden oluşur.

X^T X

çarpımı hesaplandığında köşegen dışı (off-diagonal) elemanlar

\sum_{i=1}^n 1 \cdot (X_i - \bar{X}) = 0

olur.

X^T X

matrisi tamamen köşegen (diagonal) olduğu için tersi olan

(X^T X)^{-1}

matrisi de köşegendir. Bu da varyans-kovaryans matrisindeki çapraz elemanların (kovaryansların) sıfır olduğunu doğrudan kanıtlar.

Tahmini Süre:2m 0s

Soru 65Soru →

Bir fabrikada üretilen elektronik çiplerin hatalı olup olmadığı incelenmektedir. Seçilen $n$ ( $n > 2$ ) adet çipin hatalı olma durumu birbirinden bağımsız olup, her birinin hatalı olma olasılığı $p$ 'dir ( $X_i \sim Bernoulli(p)$ ).

Bir mühendis, $p$ parametresinin tahmini için yalnızca ilk iki çipin durumunu dikkate alan $T = \frac{X_1 + X_2}{2}$ yansız tahmin edicisini önermiştir. Ancak bu tahmin edicinin örneklemdeki tüm bilgiyi kullanmadığı fark edilmiş ve $S = \sum_{i=1}^n X_i$ yeterli istatistiği yardımıyla Rao-Blackwell teoremi uygulanarak daha etkin bir $T^*$ tahmin edicisi elde edilmiştir.

Buna göre, ilk önerilen $T$ tahmin edicisi ile Rao-Blackwell teoremi sonucunda elde edilen $T^*$ tahmin edicisinin varyansları arasındaki fark ( $Var(T) - Var(T^*)$ ) aşağıdakilerden hangisidir?

\frac{(n-2)p(1-p)}{2n}

\frac{p(1-p)}{2}

\frac{p(1-p)}{n}

\frac{(n-1)p(1-p)}{n}

\frac{(n-1)p(1-p)}{2n}

Cevabı ve açıklamayı göster

Cevap: $\frac{(n-2)p(1-p)}{2n}$

Cevap

Varyanslar arasındaki fark

\frac{(n-2)p(1-p)}{2n}

ifadesine eşittir.

Verilen

T = \frac{X_1 + X_2}{2}

tahmin edicisinin varyansı

\frac{p(1-p)}{2}

'dir.

S = \sum X_i

yeterli istatistiği üzerine koşullandırma yapılarak Rao-Blackwell teoremi uygulandığında, elde edilen yeni tahmin edici örneklem ortalaması olan

\bar{X}

'tir.

\bar{X}

'in varyansı ise

\frac{p(1-p)}{n}

'dir. Bizden istenen fark işlemi yapıldığında

\frac{p(1-p)}{2} - \frac{p(1-p)}{n}

ifadesinden paydalar

2n

'de eşitlenerek

\frac{n \cdot p(1-p) - 2 \cdot p(1-p)}{2n} = \frac{(n-2)p(1-p)}{2n}

sonucuna ulaşılır.

Adım Adım Çözüm

1

İlk tahmin edici olan

T = \frac{X_1 + X_2}{2}

istatistiğinin varyansını hesapla.

Var(T) = \frac{1}{4}[Var(X_1) + Var(X_2)] = \frac{1}{4}[p(1-p) + p(1-p)] = \frac{2p(1-p)}{4} = \frac{p(1-p)}{2}

Varyansın doğrusal özelliklerini kullanarak bağımsız Bernoulli değişkenlerinin varyansları toplanır ve katsayının karesi alınır.

2

Rao-Blackwell teoremini kullanarak

S

yeterli istatistiğine bağlı

T^* = E[T|S]

tahmin edicisini bul.

T^* = E\left[\frac{X_1 + X_2}{2} \Big| S\right] = \frac{1}{2}(E[X_1|S] + E[X_2|S]) = \frac{1}{2}\left(\frac{S}{n} + \frac{S}{n}\right) = \frac{S}{n} = \bar{X}

Kitle Bernoulli dağılımlı olduğundan

S = \sum X_i

tam ve yeterli istatistiktir. Herhangi bir

X_i

için beklenen değer simetriden dolayı

S/n

'dir.

3

Elde edilen yeni

T^*

tahmin edicisinin varyansını hesapla.

Var(T^*) = Var(\bar{X}) = \frac{Var(X_1)}{n} = \frac{p(1-p)}{n}

Örneklem ortalamasının varyansı, kitle varyansının örneklem çapına bölümüne eşittir.

4

İki varyans arasındaki farkı bul.

Var(T) - Var(T^*) = \frac{p(1-p)}{2} - \frac{p(1-p)}{n} = p(1-p)\left(\frac{1}{2} - \frac{1}{n}\right) = p(1-p)\left(\frac{n-2}{2n}\right)

Teorem gereği yeni tahmin edicinin varyansı her zaman daha küçük veya eşittir. Fark, ne kadarlık bir iyileşme sağlandığını gösterir.

Anahtar Kavram

Rao-Blackwell Teoremi ve Varyans İyileştirmesi

Soru 66Soru →

İstatistiksel sonuç çıkarımında parametre tahminleri elde edilirken, gözlemlerin özellikleri tahmin edicinin asimptotik davranışını doğrudan etkiler. Bağımsız $Y_1, Y_2, \dots, Y_n$ rastgele değişkenlerinin beklenen değerleri her bir gözlem için $E(Y_i) = \theta$ ve varyansları indeksine bağlı olarak $Var(Y_i) = i \cdot \sigma^2$ (burada $\sigma^2 > 0$ ) şeklinde verilmiştir.

Bilinmeyen $\theta$ parametresini tahmin etmek için örneklem ortalaması olan $T_n = \frac{1}{n} \sum_{i=1}^n Y_i$ istatistiği önerilmiştir.

Buna göre, $T_n$ tahmin edicisinin yansızlık ve tutarlılık özellikleri hakkında aşağıdakilerden hangisi doğrudur?

Her

n

örneklem çapı için yansızdır, ancak varyansının limiti sıfır olmadığı için tutarlı değildir.

Her

n

örneklem çapı için yansızdır ve varyansı

n

ile birlikte sürekli azaldığı için tutarlı bir tahmin edicidir.

Sonlu örneklemlerde yanlıdır ancak asimptotik olarak yansızlaşır ve varyansı sıfıra gittiği için tutarlıdır.

Yansız bir tahmin edicidir ancak asimptotik varyansı sonsuza ıraksadığı için tutarlı değildir.

Yanlı bir tahmin edicidir ve asimptotik varyans limiti

\sigma^2

olduğu için tutarsızdır.

Cevabı ve açıklamayı göster

Cevap: Her $n$ örneklem çapı için yansızdır, ancak varyansının limiti sıfır olmadığı için tutarlı değildir.

Cevap

Her

n

örneklem çapı için yansızdır, ancak varyansının limiti sıfır olmadığı için tutarlı değildir.

Tahmin edicinin yansızlık ve tutarlılık özellikleri sırasıyla beklenen değer ve limit varyans koşullarıyla incelenir. Matematiksel olarak

E(T_n) = \theta

hesaplandığından tahmin edici yansızdır. Yansız tahmin edicilerde Hata Kareler Ortalaması (MSE) doğrudan varyansa eşittir. Varyans hesaplandığında

Var(T_n) = \sigma^2 \frac{n+1}{2n}

bulunur.

n

sonsuza giderken bu ifadenin limiti

\frac{\sigma^2}{2}

'dir. MSE asimptotik olarak sıfıra gitmediği için bu tahmin edici tutarlı değildir.

Adım Adım Çözüm

1

Tahmin edicinin beklenen değerini hesaplayarak yansızlık durumunu kontrol edin.

E(T_n) = E\left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \frac{1}{n} \sum_{i=1}^n E(Y_i) = \frac{1}{n} \sum_{i=1}^n \theta = \frac{n\theta}{n} = \theta

.

Bir tahmin edicinin yansız olabilmesi için her

n

değeri için beklenen değerinin tahmin edilen parametreye eşit olması gerekir.

2

Değişkenlerin bağımsızlığını kullanarak tahmin edicinin varyansını hesaplayın.

Var(T_n) = Var\left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \frac{1}{n^2} \sum_{i=1}^n Var(Y_i) = \frac{1}{n^2} \sum_{i=1}^n (i \cdot \sigma^2) = \frac{\sigma^2}{n^2} \frac{n(n+1)}{2} = \sigma^2 \frac{n+1}{2n}

.

Bağımsız rastgele değişkenlerin toplamının varyansı, varyanslarının toplamına eşittir. Burada Gauss toplam formülü (

\sum_{i=1}^n i = \frac{n(n+1)}{2}

) kullanılır.

3

Tutarlılık için gerekli koşulu değerlendirmek üzere

n \to \infty

iken varyansın limitini alın.

\lim_{n \to \infty} Var(T_n) = \lim_{n \to \infty} \sigma^2 \frac{n+1}{2n} = \frac{\sigma^2}{2}

. Limit sıfırdan farklıdır (

\frac{\sigma^2}{2} \neq 0

).

Yansız bir tahmin edicinin tutarlı olabilmesi için yeter koşul, varyansının (aynı zamanda Hata Kareler Ortalaması - MSE'sinin) limit durumunda sıfıra gitmesidir. Sıfıra gitmediği için olasılıkta yakınsama garanti edilemez, tutarlı değildir.

Anahtar Kavram

Tahmin edicilerde yansızlık ve tutarlılık için yeter koşul (MSE'nin limiti)

Soru 67Soru →

Bir endüstriyel kalite kontrol sürecinde, üretilen parçaların dayanıklılık ömürlerinin beklenen değeri ( $\mu$ ) tahmin edilmek istenmektedir. Sürecin varyansının $\sigma^2$ ( $\sigma^2 > 0$ ) olduğu bilinmektedir. Kalite kontrol mühendisi, rastgele seçilen $n$ adet parçanın dayanıklılık sürelerinden ( $X_1, X_2, \dots, X_n$ ) yararlanarak $\mu$ parametresi için aşağıdaki üç tahmin ediciyi önermiştir:

W_1 = \bar{X} + \frac{10}{n}

W_2 = \frac{X_1 + X_2}{2}

W_3 = \left( 1 - \frac{3}{n} \right) \bar{X}

Burada $\bar{X}$ , örneklem ortalamasını ifade etmektedir.

Bu tahmin edicilerin yansızlık ve tutarlılık özellikleri incelendiğinde, aşağıdakilerden hangisi kesinlikle doğrudur?

W_1

ve

W_3

tahmin edicileri yanlı olmalarına karşın varyansları ve yan miktarları asimptotik olarak sıfıra gittiği için tutarlıdır;

W_2

ise yansız olmasına rağmen tutarlı değildir.

Bir tahmin edicinin tutarlı olması için öncelikle her örneklem çapında yansız olması gerektiğinden, yalnızca yansızlık şartını sağlayan

W_2

tutarlı bir tahmin edicidir.

W_1

ve

W_3

tahmin edicilerinin Hata Kareler Ortalaması (MSE) hesaplanırken varyanslarına eklenen yan miktarları asimptotik olarak sıfıra gitmediği için her ikisi de tutarsızdır.

W_2

tahmin edicisinin beklenen değeri tam olarak

\mu

'ye eşit olduğu için asimptotik varyansının sıfıra gidip gitmediğine bakılmaksızın tutarlılık şartını sağlar.

W_3

tahmin edicisinin içerdiği çarpan nedeniyle asimptotik beklenen değeri kitle ortalamasından farklı olacağından, olasılıkta

\mu

'ye yakınsamaz ve tutarsızdır.

Cevabı ve açıklamayı göster

Cevap: $W_1$ ve $W_3$ tahmin edicileri yanlı olmalarına karşın varyansları ve yan miktarları asimptotik olarak sıfıra gittiği için tutarlıdır; $W_2$ ise yansız olmasına rağmen tutarlı değildir.

Cevap

W_1

ve

W_3

tahmin edicilerinin yanlı fakat tutarlı,

W_2

tahmin edicisinin ise yansız fakat tutarsız olduğunu belirten ifadedir.

Tutarlılık için yeter koşul, tahmin edicinin Hata Kareler Ortalamasının (MSE)

n \to \infty

iken sıfıra gitmesidir. MSE = Varyans + (Yan)

^2

formülüne göre;

W_1

tahmin edicisinin varyansı

\sigma^2/n

ve yan miktarı

10/n

'dir. Her ikisi de limit durumunda sıfıra gittiği için MSE sıfıra yakınsar ve

W_1

tutarlıdır. Benzer şekilde,

W_3

'ün varyansı

(1-3/n)^2 \sigma^2/n

ve yan miktarı

-3\mu/n

olup, asimptotik limitleri sıfırdır; yani

W_3

de tutarlıdır. Her iki tahmin edici de sonlu örneklemlerde yanlıdır. Öte yandan,

W_2

tahmin edicisinin beklenen değeri

\mu

olduğu için tam yansızdır. Ancak varyansı

n

'den bağımsız olarak

\sigma^2/2

sabit değerine eşittir. Varyansı sıfıra gitmediğinden olasılıkta

\mu

'ye yakınsamaz ve tutarsızdır. Dolayısıyla

W_1

ve

W_3

yanlı fakat tutarlı,

W_2

ise yansız fakat tutarsızdır.

Adım Adım Çözüm

1

W_1

tahmin edicisinin yansızlık ve tutarlılık analizinin yapılması

Beklenen değer

E(W_1) = \mu + 10/n

(Yanlı). Asimptotik varyans

\lim (\sigma^2/n) = 0

ve asimptotik yan

\lim (10/n) = 0

. MSE

\to 0

olduğu için tutarlıdır.

Tutarlılığın yeter koşulu olan MSE'nin sıfıra gitme prensibini kontrol etmek.

2

W_2

tahmin edicisinin yansızlık ve tutarlılık analizinin yapılması

Beklenen değer

E(W_2) = (\mu + \mu)/2 = \mu

(Yansız). Varyans

Var(W_2) = \sigma^2/2

'dir. Varyans

n

'e bağlı olmadığı için sıfıra gitmez, dolayısıyla tutarsızdır.

Sadece ilk iki gözlemi kullanan bir tahmin edicinin büyük örneklem özelliklerini incelemek.

3

W_3

tahmin edicisinin yansızlık ve tutarlılık analizinin yapılması

Beklenen değer

E(W_3) = (1 - 3/n)\mu = \mu - 3\mu/n

(Yanlı). Asimptotik varyans ve yan miktarı sıfıra gittiği için MSE

\to 0

'dır ve tutarlıdır.

Örneklem ortalamasının ölçeklendirilmiş bir versiyonunun asimptotik davranışını değerlendirmek.

4

Bulguların karşılaştırılarak doğru seçeneğin belirlenmesi

W_1

ve

W_3

yanlı fakat tutarlı,

W_2

yansız fakat tutarsızdır.

Seçenekler arasında yansızlık ve tutarlılık kavramlarını doğru sentezleyen ifadeyi bulmak.

Anahtar Kavram

Hata Kareler Ortalamasının (MSE) sıfıra yakınsaması durumu, bir tahmin edicinin tutarlı olması için yeter koşuldur. MSE hem varyansı hem de yanlılık miktarını içerir. Yansızlık, tutarlılık için zorunlu bir koşul değildir.

Soru 68Soru →

Bir sigorta şirketinde çalışan aktüer, belirli bir poliçe türü için günlük gelen hasar taleplerinin sayısının ( $X$ ), $\theta$ parametreli Poisson dağılımına uyduğunu varsaymaktadır. Aktüerin $\theta$ parametresi hakkındaki önsel (prior) bilgisi, şekil parametresi $\alpha = 4$ ve oran (rate) parametresi $\beta = 2$ olan Gamma dağılımı ile ifade edilmektedir.

Rastgele seçilen $n=3$ günlük bir dönemde gelen hasar talepleri sırasıyla $5$ , $4$ ve $6$ olarak gözlemlenmiştir.

Buna göre, aktüerin "sıfır-bir (zero-one) kayıp fonksiyonu" kullandığı varsayıldığında $\theta$ parametresinin Bayes tahmin edicisi aşağıdakilerden hangisidir?

(Not: Şekil parametresi $\alpha$ ve oran parametresi $\beta$ olan Gamma dağılımının olasılık yoğunluk fonksiyonu $f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}, x>0$ şeklindedir.)

3,6

3,8

5,0

3,0

4,0

Cevabı ve açıklamayı göster

Cevap: $3,6$

Cevap

Sıfır-bir kayıp fonksiyonu altında Bayes tahmin edicisi sonsal (posterior) dağılımın moduna eşittir ve bu değer

3,6

'dır.

Doğru yanıt olan

3,6

,

\alpha=19

ve

\beta=5

parametrelerine sahip sonsal Gamma dağılımının mod değeridir. Sürekli parametre uzaylarında sıfır-bir kayıp fonksiyonu (zero-one loss), sonsal riski minimize etmek için sonsal dağılım olasılığının en yüksek olduğu noktayı, yani MAP (Maximum A Posteriori) tahmin edicisi olan modu seçer. Bu soruda Gamma(19, 5) dağılımının modu

(19-1)/5 = 3,6

'dır.

Adım Adım Çözüm

1

Olabilirlik (Likelihood) fonksiyonunu oluştur.

L(\theta) \propto \prod_{i=1}^3 e^{-\theta} \theta^{x_i} \propto e^{-3\theta} \theta^{15}

Örneklemdeki

n=3

gözlemin (5, 4 ve 6) toplamı

\sum x_i = 15

'tir. Ortak olasılık fonksiyonu (olabilirlik), Bayes teoreminin veri kanıtı kısmıdır.

2

Önsel (Prior) dağılımın çekirdeğini belirle.

\pi(\theta) \propto \theta^{\alpha-1} e^{-\beta\theta} = \theta^{4-1} e^{-2\theta} = \theta^3 e^{-2\theta}

Sonsal dağılımı bulmak için önsel dağılımın

\theta

'ya bağlı kısmı olabilirlik ile çarpılacaktır.

3

Sonsal (Posterior) dağılımı hesapla.

\pi(\theta|x) \propto (\theta^3 e^{-2\theta}) (e^{-3\theta} \theta^{15}) = \theta^{18} e^{-5\theta}

. Bu dağılım şekil parametresi

\alpha_{post} = 19

ve oran parametresi

\beta_{post} = 5

olan bir Gamma(19, 5) dağılımıdır.

Bayes teoremine göre sonsal dağılım, önsel dağılım ile olabilirlik fonksiyonunun çarpımıyla orantılıdır.

4

Sıfır-bir kayıp fonksiyonuna göre Bayes tahmin edicisini bul.

Sıfır-bir kayıp fonksiyonu sonsal modu (MAP - Maximum A Posteriori) gerektirir. Gamma dağılımının modu

\frac{\alpha_{post}-1}{\beta_{post}}

formülüyle bulunur:

\frac{19-1}{5} = \frac{18}{5} = 3,6

.

Kayıp fonksiyonunun türü, sonsal dağılımdan hangi istatistiğin (ortalama, mod, medyan) seçileceğini belirler. Sıfır-bir kayıp fonksiyonu dağılımın tepe noktasını seçer.

Anahtar Kavram

Bayes Tahmin Yöntemi ve Kayıp Fonksiyonları

Soru 69Soru →

Bir otonom aracın direksiyon açısındaki sapma hataları (derece cinsinden) $X$ rastgele değişkeni ile modellenmektedir. Sistemin kalibrasyonu gereği bu hataların $(-\theta, \theta)$ aralığında sürekli düzgün dağılıma (Uniform dağılım) sahip olduğu varsayılmaktadır. Burada $\theta > 0$ bilinmeyen bir parametredir.

Rastgele seçilen $n$ adet sapma hatası ölçümü $X_1, X_2, \dots, X_n$ olduğuna göre, $\theta$ parametresinin momentler yöntemi (MoM) tahmin edicisi $\tilde{\theta}$ aşağıdakilerden hangisidir?

(Burada $M_k = \frac{1}{n}\sum_{i=1}^n X_i^k$ , örneklemin $k$ . momentini göstermektedir.)

\sqrt{3 M_2}

\sqrt{12 M_2}

2 M_1

\sqrt{\frac{M_2}{3}}

3 M_2

Cevabı ve açıklamayı göster

Cevap: $\sqrt{3 M_2}$

Cevap

Momentler yöntemi tahmin edicisi

\sqrt{3 M_2}

ifadesidir.

Momentler yönteminde temel kural, kitlenin teorik momentlerini örneklemin momentlerine eşitleyerek parametreleri çekmektir.

U(-\theta, \theta)

dağılımında birinci kitle momenti (beklenen değer)

E[X] = 0

'dır ve

\theta

parametresini içermez. Bu nedenle birinci momentten tahmin yapılamaz ve ikinci momente geçilir. Dağılımın ikinci kitle momenti

E[X^2] = Var(X) + (E[X])^2 = \frac{(\theta - (-\theta))^2}{12} + 0 = \frac{4\theta^2}{12} = \frac{\theta^2}{3}

şeklindedir. Bu değer, ikinci örneklem momenti olan

M_2

'ye eşitlendiğinde

\frac{\theta^2}{3} = M_2

denklemi elde edilir. Buradan

\theta

çekilerek

\tilde{\theta} = \sqrt{3 M_2}

doğru sonucuna ulaşılır.

Adım Adım Çözüm

1

Birinci kitle momentinin (beklenen değer) hesaplanması.

E[X] = \frac{-\theta + \theta}{2} = 0

bulunur.

Dağılım orijine göre simetrik olduğu için beklenen değer sıfırdır ve bilinmeyen

\theta

parametresi hakkında bilgi vermez. Bu nedenle ikinci momente geçilmelidir.

2

İkinci kitle momentinin hesaplanması.

E[X^2] = \int_{-\theta}^{\theta} x^2 \frac{1}{2\theta} dx = \frac{1}{2\theta} \left[ \frac{x^3}{3} \right]_{-\theta}^{\theta} = \frac{\theta^2}{3}

olarak hesaplanır.

Parametreyi tahmin edebilmek için, parametreyi içeren en küçük dereceli sıfırdan farklı momente ihtiyaç vardır.

3

Kitle momenti ile örneklem momentinin eşitlenmesi ve tahmin edicinin çekilmesi.

\frac{\theta^2}{3} = M_2 \implies \theta^2 = 3 M_2 \implies \tilde{\theta} = \sqrt{3 M_2}

elde edilir.

Momentler yönteminin temel prensibi gereği kitle momenti, karşılık gelen örneklem momentine (

M_2

) eşitlenerek denklem çözülür.

Anahtar Kavram

Momentler Yöntemi ve Beklenen Değeri Sıfır Olan Dağılımlarda Parametre Tahmini

Soru 70Soru →

Bir bulut depolama sisteminde, kullanıcıların yüklediği büyük boyutlu dosyaların boyutu (GB cinsinden) $X$ rassal değişkeni ile modellenmektedir. $X$ 'in olasılık yoğunluk fonksiyonu, $\theta > 0$ bilinmeyen bir parametre olmak üzere aşağıdaki gibi verilmiştir:

f(x;\theta) = \begin{cases} \frac{3\theta^3}{x^4}, & x > \theta \\ 0, & \text{diğer durumlarda} \end{cases}

Bu dağılımdan çekilen $n$ çaplı bağımsız bir rastgele örneklem $X_1, X_2, \dots, X_n$ olsun. Sistem analisti, bilinmeyen $\theta$ parametresini tahmin etmek için örneklem ortalaması $T = \bar{X}$ tahmin edicisini önermiştir.

Buna göre, $T$ tahmin edicisinin $\theta$ parametresi için Hata Kareler Ortalaması (MSE) aşağıdakilerden hangisidir?

\frac{(n+3)\theta^2}{4n}

\frac{3\theta^2}{4n}

\frac{(9n+3)\theta^2}{4n}

\theta^2

\frac{(3-n)\theta^2}{4n}

Cevabı ve açıklamayı göster

Cevap: $\frac{(n+3)\theta^2}{4n}$

Cevap

Hata Kareler Ortalaması (MSE),

\frac{(n+3)\theta^2}{4n}

değerine eşittir.

Hata Kareler Ortalaması (MSE), tahmin edicinin varyansı ile yan miktarının karesinin toplamına eşittir. Örneklem ortalamasının beklenen değeri

E[\bar{X}] = \frac{3\theta}{2}

hesaplandığından tahmin edici yanlıdır ve yan miktarı

\frac{3\theta}{2} - \theta = \frac{\theta}{2}

olur. Örneklem ortalamasının varyansı ise kitle varyansının

n

'e bölümü ile

Var(\bar{X}) = \frac{3\theta^2}{4n}

olarak bulunur. Bu iki değer

MSE = Var + Yan^2

formülünde yerine konulduğunda

\frac{3\theta^2}{4n} + \frac{\theta^2}{4} = \frac{(n+3)\theta^2}{4n}

sonucuna ulaşılır.

Adım Adım Çözüm

1

X

rassal değişkeninin beklenen değerini (

E[X]

) hesaplama.

E[X] = \int_{\theta}^{\infty} x \frac{3\theta^3}{x^4} dx = 3\theta^3 \int_{\theta}^{\infty} x^{-3} dx = 3\theta^3 \left[ \frac{x^{-2}}{-2} \right]_{\theta}^{\infty} = \frac{3\theta}{2}

Tahmin edici olan örneklem ortalamasının beklenen değerini bulmak için kitle ortalamasına ihtiyaç vardır.

2

X

rassal değişkeninin varyansını (

Var(X)

) hesaplama.

E[X^2] = \int_{\theta}^{\infty} x^2 \frac{3\theta^3}{x^4} dx = 3\theta^2

. Buradan

Var(X) = E[X^2] - (E[X])^2 = 3\theta^2 - \left(\frac{3\theta}{2}\right)^2 = \frac{3\theta^2}{4}

Örneklem ortalamasının varyansını bulabilmek için kitle varyansı bilinmelidir.

3

T = \bar{X}

tahmin edicisinin beklenen değerini ve varyansını belirleme.

E[\bar{X}] = E[X] = \frac{3\theta}{2}

ve

Var(\bar{X}) = \frac{Var(X)}{n} = \frac{3\theta^2}{4n}

MSE hesaplamasında kullanılacak olan tahmin ediciye ait istatistiksel özelliklerin türetilmesi gerekir.

4

Tahmin edicinin yan miktarını (

Yan(\hat{\theta})

) hesaplama.

Yan(\bar{X}) = E[\bar{X}] - \theta = \frac{3\theta}{2} - \theta = \frac{\theta}{2}

Tahmin edici yansız olmadığından (

E[\bar{X}] \neq \theta

), formüle eklenecek sapma (yan) miktarı bulunmalıdır.

5

Hata Kareler Ortalamasını (MSE) formül üzerinden elde etme.

MSE(\bar{X}) = Var(\bar{X}) + (Yan(\bar{X}))^2 = \frac{3\theta^2}{4n} + \left(\frac{\theta}{2}\right)^2 = \frac{3\theta^2}{4n} + \frac{n\theta^2}{4n} = \frac{(n+3)\theta^2}{4n}

Bir tahmin edicinin Hata Kareler Ortalaması, varyansı ile yan miktarının karesinin toplamına eşittir.

Anahtar Kavram

Tahmin edicilerde MSE (Hata Kareler Ortalaması) hesaplaması:

MSE(\hat{\theta}) = Var(\hat{\theta}) + [Yan(\hat{\theta})]^2

Soru 71Soru →

Bir üretim sürecinde elde edilen parçaların ağırlıkları, ortalaması $\mu$ ve varyansı $1$ olan normal dağılıma ( $N(\mu, 1)$ ) sahiptir. Ağırlığı $0$ 'dan küçük veya eşit olan parçalar "standart dışı" kabul edilmektedir. Üretim sürecindeki standart dışı parça oranını, yani $\theta = P(X \le 0) = \Phi(-\mu)$ parametresini tahmin etmek için rastgele $n$ ( $n > 1$ ) adet parça seçilmiştir. (Burada $\Phi(\cdot)$ , standart normal dağılımın birikimli dağılım fonksiyonudur.)

İlk gözlemin standart dışı olup olmadığını gösteren gösterge fonksiyonu $T = I(X_1 \le 0)$ , $\theta$ için yansız bir tahmin edicidir. Rao-Blackwell teoremi ve yeterli istatistik olan örneklem ortalaması $S = \bar{X}$ kullanılarak, $T$ 'ye göre varyansı daha küçük olan yeni bir $T^*$ tahmin edicisi elde edilmektedir.

Buna göre, Rao-Blackwell teoremi ile elde edilen yeni tahmin edici $T^*$ ve başlangıç tahmin edicisi $T$ 'nin varyansı ( $Var(T)$ ) aşağıdakilerin hangisinde sırasıyla doğru verilmiştir?

T^* = \Phi\left( -\bar{X} \sqrt{\frac{n}{n-1}} \right)

ve

Var(T) = \Phi(-\mu)[1 - \Phi(-\mu)]

T^* = \Phi(-\bar{X})

ve

Var(T) = \Phi(-\mu)[1 - \Phi(-\mu)]

T^* = \Phi\left( -\bar{X} \sqrt{\frac{n}{n-1}} \right)

ve

Var(T) = \frac{\Phi(-\mu)[1 - \Phi(-\mu)]}{n}

T^* = \Phi(-\bar{X})

ve

Var(T) = \frac{\Phi(-\mu)[1 - \Phi(-\mu)]}{n}

T^* = \Phi\left( -\bar{X} \sqrt{\frac{n-1}{n}} \right)

ve

Var(T) = \Phi(-\mu)[1 - \Phi(-\mu)]

Cevabı ve açıklamayı göster

Cevap: $T^* = \Phi\left( -\bar{X} \sqrt{\frac{n}{n-1}} \right)$ ve $Var(T) = \Phi(-\mu)[1 - \Phi(-\mu)]$

Cevap

Doğru seçenek

T^* = \Phi\left( -\bar{X} \sqrt{\frac{n}{n-1}} \right)

ve

Var(T) = \Phi(-\mu)[1 - \Phi(-\mu)]

değerlerini içeren seçenektir.

Rao-Blackwell teoremi uyarınca, geliştirilmiş tahmin edici

T^* = E[T | S]

şeklinde bulunur.

T = I(X_1 \le 0)

Bernoulli dağıldığı için başlangıç varyansı

Var(T) = P(X_1 \le 0)(1 - P(X_1 \le 0)) = \Phi(-\mu)[1 - \Phi(-\mu)]

olur.

T^*

'ı hesaplamak için

\bar{X}

verildiğinde

X_1

'in dağılımına ihtiyaç vardır. Normal dağılım özelliklerinden

X_1 | \bar{X}

dağılımının ortalaması

\bar{X}

, varyansı ise

\frac{n-1}{n}

olarak elde edilir. Dolayısıyla

P(X_1 \le 0 | \bar{X})

olasılığı standartlaştırma işlemiyle

\Phi\left( \frac{0 - \bar{X}}{\sqrt{(n-1)/n}} \right)

olarak bulunur.

Adım Adım Çözüm

1

Başlangıç tahmin edicisi

T

'nin varyansını hesaplama

Var(T) = \Phi(-\mu)[1 - \Phi(-\mu)]

T = I(X_1 \le 0)

gösterge fonksiyonu, başarı olasılığı

\theta = \Phi(-\mu)

olan bir Bernoulli rastgele değişkeni tanımlar. Bernoulli dağılımının varyansı

\theta(1-\theta)

'dır.

2

X_1

ve

\bar{X}

arasındaki kovaryansı bulma

Cov(X_1, \bar{X}) = \frac{1}{n}

Cov(X_1, \frac{1}{n}\sum X_i) = \frac{1}{n}Cov(X_1, X_1) = \frac{1}{n}Var(X_1) = \frac{1}{n}

olarak hesaplanır. Bu, koşullu dağılımı bulmak için gereklidir.

3

\bar{X}

verildiğinde

X_1

'in koşullu dağılımını belirleme

X_1 | \bar{X} \sim N\left(\bar{X}, \frac{n-1}{n}\right)

İki değişkenli normal dağılım kurallarına göre

E[X_1|\bar{X}] = \mu + \frac{1/n}{1/n}(\bar{X}-\mu) = \bar{X}

ve

Var(X_1|\bar{X}) = 1 - \frac{(1/n)^2}{1/n} = 1 - \frac{1}{n} = \frac{n-1}{n}

bulunur.

4

Rao-Blackwell teoremi ile

T^*

değerini elde etme

T^* = \Phi\left( -\bar{X} \sqrt{\frac{n}{n-1}} \right)

T^* = E[I(X_1 \le 0) | \bar{X}] = P(X_1 \le 0 | \bar{X})

'dir. Bu olasılık standart normal dağılıma çevrilerek

P\left( Z \le \frac{0 - \bar{X}}{\sqrt{(n-1)/n}} \right)

şeklinde hesaplanır.

Anahtar Kavram

Rao-Blackwell teoremi ile koşullu beklenen değer hesabı ve başlangıç tahmin edicilerinin özellikleri

Soru 72Soru →

Türkiye Meteoroloji Genel Müdürlüğü (MGM), belirli bir bölgede meydana gelen şiddetli lodos fırtınaları arasındaki süreyi (gün cinsinden) analiz etmektedir. İki fırtına arasındaki bekleme süresi, şekil parametresi $\alpha = 2$ ve ölçek parametresi $\beta$ (bilinmeyen) olan Gamma dağılımına (olasılık yoğunluk fonksiyonu: $f(x) = \frac{x}{\beta^2} e^{-x/\beta}, \ x > 0$ ) sahip $X$ rastgele değişkeni ile modellenmektedir. Araştırmacılar, bölgesel afet hazırlık planı için fırtınalar arası sürenin varyansını tahmin etmek istemektedir.

Rastgele seçilen $n$ adet fırtına arası bekleme süresi $X_1, X_2, \dots, X_n$ ve örneklem ortalaması $\bar{X}$ olmak üzere, ardışık iki fırtına arasındaki sürenin varyansı olan $Var(X) = 2\beta^2$ parametresi için Düzgün En Küçük Varyanslı Yansız Tahmin Edici (UMVUE) aşağıdakilerden hangisidir?

\frac{1}{2}\bar{X}^2

S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2

\frac{n}{2n+1}\bar{X}^2

\frac{1}{3n} \sum_{i=1}^n X_i^2

\frac{2n}{n+1}\bar{X}^2

Cevabı ve açıklamayı göster

Cevap: $\frac{n}{2n+1}\bar{X}^2$

Cevap

Düzgün En Küçük Varyanslı Yansız Tahmin Edici (UMVUE), tam ve yeterli istatistiğin varyansı düzeltecek yansız bir fonksiyonu olan

\frac{n}{2n+1}\bar{X}^2

ifadesidir.

Doğru cevap, Lehmann-Scheffe teoremini uygulayarak tam ve yeterli istatistiğin (

T = \sum X_i

) yansız fonksiyonunu doğru türeten seçenektir.

X_i \sim Gamma(2, \beta)

iken toplam istatistiğinin dağılımı

Gamma(2n, \beta)

olur. Bu dağılımın ikinci momenti

E[T^2] = 2n(2n+1)\beta^2

'dir. Hedefimiz varyans olan

2\beta^2

'ye yansız ulaşmak olduğundan ifade

\frac{E[T^2]}{n(2n+1)}

biçiminde düzenlenir.

T

yerine

n\bar{X}

yazılarak katsayı sadeleştirmesi yapıldığında benzersiz UMVUE olan

\frac{n}{2n+1}\bar{X}^2

bulunur.

Adım Adım Çözüm

1

Olabilirlik fonksiyonundan yeterli istatistiğin belirlenmesi.

Neyman çarpanlara ayırma teoremi ve üstel aile (exponential family) özelliğinden dolayı

T = \sum_{i=1}^n X_i

tam ve yeterli istatistiktir.

Lehmann-Scheffe teoremine göre UMVUE, tam ve yeterli istatistiğin bir fonksiyonu olmak zorundadır.

2

Yeterli istatistik T'nin dağılımının ve momentlerinin bulunması.

X_i \sim Gamma(2, \beta)

bağımsız ve özdeş dağılımlı olduğundan,

T \sim Gamma(n \times 2, \beta) = Gamma(2n, \beta)

olur. Buradan

E[T] = 2n\beta

ve

Var(T) = 2n\beta^2

bulunur.

Yansızlık koşulunu (hedef parametreye eşitliği) sağlamak için T'nin karesel momentine ihtiyacımız vardır.

3

T^2

'nin beklenen değerinin (E[T^2]) hesaplanması.

E[T^2] = Var(T) + (E[T])^2 = 2n\beta^2 + (2n\beta)^2 = 2n(2n+1)\beta^2

olarak elde edilir.

Varyans parametresini (

2\beta^2

) barındıran katsayıları izole etmek ve tahmin ediciyi yapılandırmak için gereklidir.

4

Lehmann-Scheffe teoremi ile UMVUE formunun oluşturulması.

E[T^2] = n(2n+1)(2\beta^2)

eşitliğinin iki tarafı

n(2n+1)

değerine bölündüğünde

E\left[\frac{T^2}{n(2n+1)}\right] = 2\beta^2

elde edilir.

T = n\bar{X}

yerine konulduğunda

\frac{n^2 \bar{X}^2}{n(2n+1)} = \frac{n}{2n+1}\bar{X}^2

bulunur.

Bu ifade yansızlık şartını sağlar ve Lehmann-Scheffe teoremine göre tam ve yeterli istatistiğe dayalı yansız tek tahmin edici benzersiz UMVUE'dir.

Anahtar Kavram

Tamlık ve Lehmann-Scheffe Teoremi

Soru 73Soru →

Bir nükleer fizik deneyinde, radyoaktif bir maddenin bozunma süreleri $X_1, X_2, \ldots, X_n$ rastgele değişkenleri ile modellenmektedir. Bu değişkenlerin, olasılık yoğunluk fonksiyonu $f(x; \lambda) = \lambda e^{-\lambda x}, \ x > 0$ olan üstel dağılıma sahip olduğu ve birbirinden bağımsız olduğu bilinmektedir.

Araştırmacılar, bir parçacığın $1$ birim zamandan daha uzun süre bozunmadan kalma olasılığı olan $p = P(X > 1) = e^{-\lambda}$ parametresi ile ilgilenmektedirler.

Buna göre, $p$ parametresinin en çok olabilirlik tahmin edicisi (MLE) $\hat{p}$ ve bu tahmin edicinin asimptotik varyansı sırasıyla aşağıdakilerden hangisinde doğru verilmiştir?

Tahmin edici

\hat{p} = e^{-\bar{X}}

, Asimptotik Varyans

= \frac{e^{-2\lambda}}{n \lambda^2}

Tahmin edici

\hat{p} = \frac{1}{n} \sum_{i=1}^n I_{(X_i > 1)}

, Asimptotik Varyans

= \frac{e^{-\lambda}(1-e^{-\lambda})}{n}

Tahmin edici

\hat{p} = e^{-1/\bar{X}}

, Asimptotik Varyans

= \frac{\lambda^2 e^{-2\lambda}}{n}

Tahmin edici

\hat{p} = e^{-1/\bar{X}}

, Asimptotik Varyans

= \frac{e^{-2\lambda}}{n}

Tahmin edici

\hat{p} = e^{-1/\bar{X}}

, Asimptotik Varyans

= \frac{\lambda^2}{n}

Cevabı ve açıklamayı göster

Cevap: Tahmin edici $\hat{p} = e^{-1/\bar{X}}$ , Asimptotik Varyans $= \frac{\lambda^2 e^{-2\lambda}}{n}$

Cevap

Tahmin edici olarak

\hat{p} = e^{-1/\bar{X}}

ve asimptotik varyans olarak

\frac{\lambda^2 e^{-2\lambda}}{n}

değerlerini veren seçenektir.

En çok olabilirlik tahmin edicisinin (MLE) değişmezlik (invariance) özelliği gereği, sorulan

p = e^{-\lambda}

fonksiyonu için önce

\lambda

'nın MLE'si bulunmalıdır. Üstel dağılımda olabilirlik fonksiyonunun maksimize edilmesiyle

\hat{\lambda} = 1/\bar{X}

bulunur. Değişmezlik özelliğinden

\hat{p} = e^{-1/\bar{X}}

elde edilir. Asimptotik varyansı bulmak için Delta yöntemi (Delta method) uygulanır:

Var(g(\hat{\lambda})) \approx [g'(\lambda)]^2 Var(\hat{\lambda})

. Burada

g(\lambda) = e^{-\lambda}

olduğundan türevi

g'(\lambda) = -e^{-\lambda}

'dır.

\hat{\lambda}

'nın asimptotik varyansı ise Cramer-Rao alt sınırı olan

1/I_n(\lambda) = \lambda^2/n

'dir. Bu değerler formülde yerine konulduğunda

(-e^{-\lambda})^2 \cdot (\lambda^2/n) = \frac{\lambda^2 e^{-2\lambda}}{n}

sonucuna ulaşılır.

Adım Adım Çözüm

1

Üstel dağılım için

\lambda

parametresinin en çok olabilirlik tahmin edicisini (MLE) bul.

\hat{\lambda} = \frac{1}{\bar{X}}

elde edilir.

Olabilirlik fonksiyonu

L(\lambda) = \lambda^n e^{-\lambda \sum X_i}

şeklindedir. Logaritması alınıp türevi sıfıra eşitlendiğinde parametre bulunur.

2

MLE'nin değişmezlik (invariance) özelliğini kullanarak

p = e^{-\lambda}

için tahmin ediciyi belirle.

\hat{p} = e^{-\hat{\lambda}} = e^{-1/\bar{X}}

elde edilir.

Bir

\theta

parametresinin MLE'si

\hat{\theta}

ise,

g(\theta)

'nın MLE'si

g(\hat{\theta})

olur.

3

Fisher Bilgi matrisini kullanarak

\hat{\lambda}

'nın asimptotik varyansını hesapla.

Var(\hat{\lambda}) \approx \frac{1}{I_n(\lambda)} = \frac{\lambda^2}{n}

bulunur.

Üstel dağılım için

I(\lambda) = -E[\frac{\partial^2}{\partial \lambda^2} \ln f(X)] = \frac{1}{\lambda^2}

'dir.

n

gözlem için

I_n(\lambda) = \frac{n}{\lambda^2}

olur.

4

Delta yöntemini uygulayarak

g(\hat{\lambda}) = e^{-\hat{\lambda}}

tahmin edicisinin asimptotik varyansını bul.

Var(\hat{p}) \approx [g'(\lambda)]^2 Var(\hat{\lambda}) = (-e^{-\lambda})^2 \left(\frac{\lambda^2}{n}\right) = \frac{\lambda^2 e^{-2\lambda}}{n}

sonucuna ulaşılır.

Asimptotik dağılımlarda fonksiyonel dönüşümlerin varyansı, fonksiyonun türevinin karesi ile orijinal tahmin edicinin varyansının çarpımına eşittir.

Anahtar Kavram

En Çok Olabilirlik Tahmin Edicilerinde Değişmezlik ve Delta Yöntemi

Tahmini Süre:2m 0s

Soru 74Soru →

Bir nükleer reaktördeki soğutma suyunun sıcaklık dalgalanmaları, $\theta > 0$ bilinmeyen bir parametre olmak üzere aşağıdaki olasılık yoğunluk fonksiyonuna sahip bir $X$ rastgele değişkeni ile modellenmektedir:

f(x; \theta) = \begin{cases} \frac{x^3 e^{-x/\theta}}{6\theta^4}, & x > 0 \\ 0, & \text{diğer durumlarda} \end{cases}

Bu reaktörden alınan $n$ çaplı bağımsız ve aynı dağılımlı bir örneklem temelinde, $g(\theta) = \frac{1}{\theta}$ fonksiyonunun yansız bir tahmin edicisinin varyansı için Cramer-Rao alt sınırı aşağıdakilerden hangisidir?

\frac{1}{4\theta^2}

\frac{1}{n\theta^4}

\frac{\theta^2}{4n}

\frac{1}{4n\theta^2}

\frac{1}{n\theta^2}

Cevabı ve açıklamayı göster

Cevap: $\frac{1}{4n\theta^2}$

Cevap

İstenen yansız tahmin edici için Cramer-Rao alt sınırı

\frac{1}{4n\theta^2}

olarak bulunur.

Verilen dağılım Gamma(4,

\theta

) dağılımıdır. Bir gözlem için log-olabilirlik fonksiyonunun ikinci türevinin eksi beklenen değeri Fisher bilgisini

4/\theta^2

olarak verir.

n

çaplı örneklem için bu değer

4n/\theta^2

olur.

g(\theta) = 1/\theta

fonksiyonunun tahmin edicisine ilişkin Cramer-Rao alt sınırı ise formül gereği

[g'(\theta)]^2 / I_n(\theta)

işleminden

(1/\theta^4) / (4n/\theta^2) = 1/(4n\theta^2)

şeklinde elde edilir.

Adım Adım Çözüm

1

Verilen dağılımın log-olabilirlik fonksiyonunu tek bir gözlem için yazın.

\ln f(x; \theta) = 3\ln(x) - \frac{x}{\theta} - \ln(6) - 4\ln(\theta)

Fisher bilgi matrisine ulaşmak için öncelikle fonksiyonun logaritmasının alınması gerekir.

2

Log-olabilirlik fonksiyonunun

\theta

'ya göre birinci ve ikinci türevini alın.

\frac{\partial}{\partial \theta} \ln f = \frac{x}{\theta^2} - \frac{4}{\theta}

ve

\frac{\partial^2}{\partial \theta^2} \ln f = -\frac{2x}{\theta^3} + \frac{4}{\theta^2}

Fisher bilgi değeri

I(\theta) = -E\left[ \frac{\partial^2}{\partial \theta^2} \ln f(X; \theta) \right]

formülüyle hesaplanır.

3

X'in beklenen değerini bularak tek gözlem için Fisher Bilgisini hesaplayın.

X \sim \text{Gamma}(\alpha=4, \beta=\theta)

olduğundan

E[X] = 4\theta

'dır.

I(\theta) = -E\left[ -\frac{2X}{\theta^3} + \frac{4}{\theta^2} \right] = \frac{2(4\theta)}{\theta^3} - \frac{4}{\theta^2} = \frac{8}{\theta^2} - \frac{4}{\theta^2} = \frac{4}{\theta^2}

İkinci türevin eksi beklenen değeri, bir birimlik bilginin (Information) miktarını verir.

4

n

çaplı örneklem için toplam Fisher Bilgisini bulun.

I_n(\theta) = n \cdot I(\theta) = \frac{4n}{\theta^2}

Bağımsız örneklemlerde toplam bilgi, tekil bilgilerin toplamına (n katına) eşittir.

5

İstenen

g(\theta) = \frac{1}{\theta}

fonksiyonunun türevinin karesini alın.

g'(\theta) = -\frac{1}{\theta^2} \implies [g'(\theta)]^2 = \frac{1}{\theta^4}

Parametrenin bir fonksiyonunun tahmin edicisi söz konusu olduğunda Cramer-Rao alt sınırı payında fonksiyonun türevinin karesini barındırır.

6

Cramer-Rao alt sınırı (CRLB) formülünü uygulayın.

CRLB = \frac{[g'(\theta)]^2}{I_n(\theta)} = \frac{1/\theta^4}{4n/\theta^2} = \frac{1}{4n\theta^2}

Dönüştürülmüş parametrenin alt sınırına ulaşmak için gerekli işlemler tamamlanır.

Anahtar Kavram

Tahmin Edicilerin Özellikleri: Etkinlik ve Cramer-Rao Alt Sınırı

Soru 75Soru →

Bir kamu kurumunun veri analiz merkezinde, vatandaşlardan gelen taleplerin işlenme süreleri incelenmektedir. İlgili veri setindeki bağımsız ve aynı dağılımlı rastgele değişkenlerin, $\theta$ parametreli bir dağılımdan geldiği varsayılmaktadır. Analistler, $\theta$ parametresinin en çok olabilirlik tahmin edicisinin (MLE) $\hat{\theta}$ olduğunu ve bu tahmin edicinin $\theta$ için yansız (unbiased) ve tutarlı (consistent) olduğunu ispatlamışlardır.

Kurum yönetimi, raporlama standartları gereği parametrenin kendisi yerine, bu parametrenin doğrusal olmayan $\gamma = \theta^2 + \ln(\theta)$ fonksiyonu ile tanımlanan yeni bir performans göstergesinin tahmin edilmesini talep etmektedir.

Buna göre, $\gamma$ parametresinin en çok olabilirlik tahmin edicisi olan $\hat{\gamma}$ 'nın elde edilişi ve özellikleri hakkında aşağıdakilerden hangisi kesinlikle doğrudur?

Değişmezlik (invariance) özelliği gereği

\hat{\gamma} = \hat{\theta}^2 + \ln(\hat{\theta})

olur;

\hat{\theta}

yansız olsa da doğrusal olmayan dönüşüm nedeniyle

\hat{\gamma}

genellikle yanlıdır ancak tutarlılığını korur.

Değişmezlik özelliği yalnızca doğrusal dönüşümler için tanımlandığından,

\gamma

parametresinin en çok olabilirlik tahmin edicisi

\hat{\theta}^2 + \ln(\hat{\theta})

formülü kullanılarak elde edilemez.

\hat{\theta}

tahmin edicisi yansız ve tutarlı olduğundan,

\hat{\gamma} = \hat{\theta}^2 + \ln(\hat{\theta})

tahmin edicisi de

\gamma

için her örneklem çapında kesinlikle yansız ve tutarlıdır.

\hat{\gamma} = \hat{\theta}^2 + \ln(\hat{\theta})

tahmin edicisi yanlı bir tahmin ediciye dönüştüğünden, hata kareler ortalaması (MSE) doğrudan varyansına eşit olur ve tahmin edici asimptotik özelliklerini yitirir.

Fonksiyonun içerdiği logaritma teriminin türevinden kaynaklanan sapmalar nedeniyle,

\hat{\gamma}

tahmin edicisi asimptotik normallik özelliğini kaybeder ve varyansı Cramer-Rao alt sınırının daima altına düşer.

Cevabı ve açıklamayı göster

Cevap: Değişmezlik (invariance) özelliği gereği $\hat{\gamma} = \hat{\theta}^2 + \ln(\hat{\theta})$ olur; $\hat{\theta}$ yansız olsa da doğrusal olmayan dönüşüm nedeniyle $\hat{\gamma}$ genellikle yanlıdır ancak tutarlılığını korur.

Cevap

Doğru cevap, değişmezlik özelliği gereği yeni tahmin edicinin fonksiyonun içine

\hat{\theta}

yazılarak elde edileceğini, sürekli fonksiyonlarda tutarlılığın korunacağını ancak doğrusal olmayan fonksiyonlarda yansızlığın genellikle bozulacağını ifade eden seçenektir.

En çok olabilirlik tahmin edicilerinin en güçlü yanlarından biri değişmezlik (invariance) özelliğidir. Bu özellik sayesinde

\gamma = g(\theta)

'nın tahmin edicisi doğrudan

g(\hat{\theta})

olur. Olasılıkta 'Sürekli Dönüşüm Teoremi' (Continuous Mapping Theorem) gereğince,

\hat{\theta}

tutarlıysa ve fonksiyon sürekliyse yeni tahmin edici de tutarlılığını korur. Ancak, istatistikte beklenen değer operatörü doğrusal olmayan fonksiyonların içine dağıtılamayacağından (Jensen Eşitsizliği), yansızlık özelliği genellikle kaybolur ve tahmin edici yanlı (biased) hale gelir.

Adım Adım Çözüm

1

En çok olabilirlik tahmin edicilerinin değişmezlik (invariance) özelliğini uygula.

\hat{\gamma} = g(\hat{\theta}) = \hat{\theta}^2 + \ln(\hat{\theta})

bulunur.

Değişmezlik özelliği,

g(\theta)

'nın MLE'sinin

g(\hat{\theta})

olmasını sağlar; fonksiyonun doğrusal olup olmaması fark etmez.

2

Elde edilen tahmin edicinin yansızlığını incele.

E[\hat{\gamma}] = E[\hat{\theta}^2 + \ln(\hat{\theta})] \neq E[\hat{\theta}]^2 + \ln(E[\hat{\theta}])

olduğu görülür.

Jensen Eşitsizliği gereği,

g

doğrusal olmayan bir fonksiyon ise

E[g(X)]

genellikle

g(E[X])

'e eşit değildir. Dolayısıyla

\hat{\theta}

yansız olsa bile

g(\hat{\theta})

genellikle yanlıdır.

3

Elde edilen tahmin edicinin tutarlılığını incele.

Sürekli fonksiyonların limiti korunacağı (Continuous Mapping Theorem) için

\hat{\gamma}

,

\gamma

için tutarlıdır.

\hat{\theta}

tutarlı bir tahmin ediciyse ve

g

sürekli bir fonksiyonsa,

g(\hat{\theta})

da tutarlı bir tahmin edici olur.

Anahtar Kavram

En Çok Olabilirlik Tahmin Edicilerinin Özellikleri (Değişmezlik, Yansızlık, Tutarlılık)

Soru 76Soru →

Bir araştırma laboratuvarında, bir malzemenin dayanıklılığını ölçen bir cihazın ölçüm hatalarının standart sapması $1$ olan normal dağılıma sahip olduğu bilinmektedir. Bu cihaz ile yapılan bağımsız $n=4$ ölçüm $X_1, X_2, X_3, X_4 \sim N(\mu, 1)$ rastgele örneklemini oluşturmaktadır. Bilinmeyen $\mu$ parametresinin karesi olan $\theta = \mu^2$ değerini tahmin etmek için $T = X_1 X_2$ yansız tahmin edicisi önerilmiştir.

Bu tahmin edici, $\mu$ için yeterli (sufficient) ve tam (complete) bir istatistik olan $S = \sum_{i=1}^4 X_i$ kullanılarak Rao-Blackwell teoremi gereğince $T^* = E[T \mid S]$ şeklinde geliştirilmiştir.

Buna göre, ilk önerilen tahmin edicinin varyansı ile Rao-Blackwell teoremi ile elde edilen yeni tahmin edicinin varyansı arasındaki fark ( $Var(T) - Var(T^*)$ ) aşağıdakilerden hangisidir?

\frac{7}{8} + \mu^2

1 + 2\mu^2

\frac{1}{8} + \mu^2

\frac{7}{8}

\frac{15}{16} + 2\mu^2

Cevabı ve açıklamayı göster

Cevap: $\frac{7}{8} + \mu^2$

Cevap

İlk tahmin edicinin varyansı ile geliştirilmiş tahmin edicinin varyansı arasındaki fark

\frac{7}{8} + \mu^2

ifadesidir.

Rao-Blackwell teoremi ile elde edilen

T^*

tahmin edicisi,

S

istatistiğinin tamlığından dolayı

\mu^2

için UMVUE'dir. Bağımsız normal dağılım örneklerinden yola çıkarak

Var(X_1 X_2) = 1 + 2\mu^2

olarak bulunur. UMVUE olan

T^* = \bar{X}^2 - 1/n

tahmin edicisinin varyansı

n=4

için

Var(\bar{X}^2) = 1/8 + \mu^2

'dir. İyileştirme miktarı (fark) ise bu iki değerin birbirinden çıkarılmasıyla

\frac{7}{8} + \mu^2

olarak doğru şekilde hesaplanır.

Adım Adım Çözüm

1

T = X_1 X_2

yansız tahmin edicisinin varyansını (

Var(T)

) hesaplama.

Var(T) = 1 + 2\mu^2

X_1

ve

X_2

bağımsız olduğundan

E[T] = \mu^2

'dir.

Var(T) = E[X_1^2 X_2^2] - (E[X_1 X_2])^2 = E[X_1^2]E[X_2^2] - \mu^4

. Normal dağılım için

E[X_i^2] = Var(X_i) + E[X_i]^2 = 1 + \mu^2

'dir. Buradan

(1+\mu^2)^2 - \mu^4 = 1 + 2\mu^2 + \mu^4 - \mu^4 = 1 + 2\mu^2

bulunur.

2

Lehmann-Scheffe teoremini kullanarak

T^*

tahmin edicisinin yapısını belirleme.

T^*

,

\mu^2

için Düzgün En Küçük Varyanslı Yansız Tahmin Edicidir (UMVUE).

Rao-Blackwell teoremi gereği

T^* = E[T \mid S]

yansızdır.

S

istatistiği tam (complete) ve yeterli (sufficient) olduğundan, Lehmann-Scheffe teoremine göre bu koşullu beklenen değer fonksiyonu eşsiz UMVUE'yi verir.

3

\mu^2

için UMVUE olan

T^*

'ı açık olarak elde etme.

T^* = \bar{X}^2 - \frac{1}{4}

n=4

için

\bar{X} \sim N(\mu, 1/4)

'tür.

E[\bar{X}^2] = Var(\bar{X}) + E[\bar{X}]^2 = \frac{1}{4} + \mu^2

'dir. Bu nedenle

\bar{X}^2 - 1/4

ifadesi

\mu^2

için yansızdır. Tam istatistiğin bir fonksiyonu olduğu için benzersiz UMVUE, yani

T^*

'dır.

4

T^*

'ın varyansını (

Var(T^*)

) hesaplama.

Var(T^*) = \frac{1}{8} + \mu^2

Normal dağılımlı bir

Y \sim N(\mu, \sigma^2)

değişkeni için

Var(Y^2) = 2\sigma^4 + 4\mu^2\sigma^2

'dir.

Y = \bar{X}

ve

\sigma^2 = 1/4

koyarsak:

Var(\bar{X}^2) = 2(\frac{1}{4})^2 + 4\mu^2(\frac{1}{4}) = \frac{2}{16} + \mu^2 = \frac{1}{8} + \mu^2

olur.

5

İki varyans arasındaki farkı bulma.

Var(T) - Var(T^*) = \frac{7}{8} + \mu^2

Hesaplanan değerler birbirinden çıkarıldığında:

(1 + 2\mu^2) - (\frac{1}{8} + \mu^2) = \frac{7}{8} + \mu^2

sonucu elde edilir.

Anahtar Kavram

Rao-Blackwell Teoremi ve Lehmann-Scheffe Teoremi (UMVUE Kavramı)

Soru 77Soru →

Bir tarım araştırma enstitüsü, yeni geliştirilen bir buğday türünün hektar başına ortalama verimini ( $\mu$ ) tahmin etmek amacıyla, bu türün ekildiği birbirinden bağımsız $n$ farklı tarladan elde edilen verim miktarlarını ( $X_1, X_2, \dots, X_n$ ) gözlemlemektedir. Verim miktarının kitle varyansı $\sigma^2$ ( $0 < \sigma^2 < \infty$ ) olarak bilinmektedir.

Araştırmacılar, kitle ortalaması $\mu$ 'yü tahmin etmek için aşağıdaki iki farklı tahmin ediciyi önermişlerdir:

\hat{\mu}_1 = \frac{n}{n+5} \bar{X}_n

\hat{\mu}_2 = \frac{1}{2} X_1 + \frac{1}{2(n-1)} \sum_{i=2}^n X_i

(Burada $\bar{X}_n$ , $n$ hacimli örneklemin aritmetik ortalamasıdır.)

Bu tahmin edicilerin yansızlık ve tutarlılık özellikleri değerlendirildiğinde aşağıdakilerden hangisi doğrudur?

\hat{\mu}_1

yanlı fakat tutarlı bir tahmin edicidir;

\hat{\mu}_2

ise yansız fakat tutarlı olmayan bir tahmin edicidir.

\hat{\mu}_1

yansız ve tutarlı bir tahmin edicidir;

\hat{\mu}_2

ise yanlı ve tutarlı olmayan bir tahmin edicidir.

Her iki tahmin edici de yansızdır, ancak sadece

\hat{\mu}_1

tutarlıdır.

Her iki tahmin edici de tutarlıdır, ancak sadece

\hat{\mu}_2

yansızdır.

\hat{\mu}_1

yanlı ve tutarlı olmayan bir tahmin edicidir;

\hat{\mu}_2

ise yansız ve tutarlı bir tahmin edicidir.

Cevabı ve açıklamayı göster

Cevap: $\hat{\mu}_1$ yanlı fakat tutarlı bir tahmin edicidir; $\hat{\mu}_2$ ise yansız fakat tutarlı olmayan bir tahmin edicidir.

Cevap

\hat{\mu}_1

yanlı fakat tutarlı bir tahmin edicidir;

\hat{\mu}_2

ise yansız fakat tutarlı olmayan bir tahmin edicidir.

\hat{\mu}_1

tahmin edicisinin beklenen değeri

\frac{n}{n+5}\mu

olup yanlıdır, ancak hem asimptotik varyansı hem de yan miktarı

n \to \infty

iken sıfıra gittiği için MSE'si sıfıra yakınsar ve tutarlıdır.

\hat{\mu}_2

'nin beklenen değeri

\mu

olup yansızdır, fakat varyansının limiti

\frac{\sigma^2}{4} \neq 0

olduğundan limit durumunda olasılıkta yakınsama gerçekleşmez ve tutarlı değildir.

Adım Adım Çözüm

1

\hat{\mu}_1

tahmin edicisinin yansızlık durumunun incelenmesi.

E[\hat{\mu}_1] = \frac{n}{n+5} E[\bar{X}_n] = \frac{n}{n+5} \mu \neq \mu

olduğundan

\hat{\mu}_1

yanlı bir tahmin edicidir.

Bir tahmin edicinin yansız olması için beklenen değerinin kitle parametresine (

\mu

) eşit olması gerekir.

2

\hat{\mu}_1

tahmin edicisinin tutarlılık durumunun analizi.

Var(\hat{\mu}_1) = (\frac{n}{n+5})^2 \frac{\sigma^2}{n}

. Yan miktarı

Bias = \frac{-5}{n+5}\mu

.

n \to \infty

iken varyans ve yanın karesi sıfıra gittiği için

\lim_{n \to \infty} MSE(\hat{\mu}_1) = 0

olur ve tahmin edici tutarlıdır.

Hata kareler ortalaması (MSE) sıfıra yakınsayan tahmin ediciler parametre için tutarlıdır.

3

\hat{\mu}_2

tahmin edicisinin yansızlık durumunun incelenmesi.

E[\hat{\mu}_2] = \frac{1}{2} E[X_1] + \frac{1}{2(n-1)} \sum_{i=2}^n E[X_i] = \frac{1}{2}\mu + \frac{1}{2(n-1)}(n-1)\mu = \mu

. Dolayısıyla

\hat{\mu}_2

yansızdır.

Tahmin edicinin içerdiği rastgele değişkenlerin beklenen değerleri toplamı kitle ortalamasına eşittir.

4

\hat{\mu}_2

tahmin edicisinin tutarlılık durumunun varyans limiti ile analizi.

Var(\hat{\mu}_2) = \frac{1}{4} Var(X_1) + \frac{1}{4(n-1)^2} \sum_{i=2}^n Var(X_i) = \frac{\sigma^2}{4} + \frac{\sigma^2}{4(n-1)}

.

n \to \infty

iken

\lim_{n \to \infty} Var(\hat{\mu}_2) = \frac{\sigma^2}{4} \neq 0

. Dağılım yozlaşmadığı için tutarlı değildir.

Yansız bir tahmin edicinin tutarlı olabilmesi için örneklem hacmi artarken varyansının sıfıra yakınsaması gerekir.

Anahtar Kavram

Tahmin edicilerde yansızlık ve tutarlılık ilişkisi ile Hata Kareler Ortalaması (MSE) limiti

Soru 78Soru →

Bir endüstriyel üretim hattında üretilen belirli bir tür kablonun kopma gerilimi (kg cinsinden) $X$ rastgele değişkeni ile modellenmektedir. $X$ 'in olasılık yoğunluk fonksiyonu aşağıdaki gibi verilmiştir:

f(x; \theta) = \begin{cases} \frac{3x^2}{\theta^3}, & 0 < x \le \theta \\ 0, & \text{diğer durumlarda} \end{cases}

Burada $\theta > 0$ bilinmeyen bir parametredir. Bu üretim hattından rastgele seçilen $n$ adet kablonun kopma gerilimleri $X_1, X_2, \dots, X_n$ bağımsız ve özdeş dağılımlı bir örneklem oluşturmaktadır.

Buna göre, bu kabloların kopma gerilimlerinin beklenen değerinin ( $E(X)$ ) en çok olabilirlik tahmin edicisi (MLE) aşağıdakilerden hangisidir?
(Not: $\bar{X}$ örneklem ortalamasını ifade etmektedir.)

\frac{3}{4} \max(X_1, X_2, \dots, X_n)

\bar{X}

\max(X_1, X_2, \dots, X_n)

\frac{3}{4} \bar{X}

\frac{3}{4} \min(X_1, X_2, \dots, X_n)

Cevabı ve açıklamayı göster

Cevap: $\frac{3}{4} \max(X_1, X_2, \dots, X_n)$

Cevap

\frac{3}{4} \max(X_1, X_2, \dots, X_n)

şeklindeki ifadedir.

Beklenen değer hesabı yapıldığında

E(X) = \frac{3}{4}\theta

olduğu görülür. Verilen dağılımda olabilirlik fonksiyonu

L(\theta)

, parametrenin tanımlı olduğu aralık olan

\theta \ge x_i

koşulu altında

\theta

'nın azalan bir fonksiyondur. Bu sebeple fonksiyonu maksimize eden en küçük değer örneklemin maksimum değeri olan

\max(X_1, \dots, X_n)

olur. Değişmezlik (invariance) özelliği kullanılarak

E(X)

'in tahmini için

\theta

yerine bu değer yazılır ve sonuç

\frac{3}{4} \max(X_1, X_2, \dots, X_n)

olarak elde edilir.

Adım Adım Çözüm

1

Verilen olasılık yoğunluk fonksiyonunu kullanarak X'in beklenen değerini (

E(X)

) hesaplamak.

E(X) = \int_0^\theta x \frac{3x^2}{\theta^3} dx = \left[ \frac{3x^4}{4\theta^3} \right]_0^\theta = \frac{3}{4}\theta

Soruda

E(X)

'in en çok olabilirlik tahmin edicisi sorulduğu için öncelikle parametre cinsinden beklenen değer formüle edilmelidir.

2

Verilen örneklem için olabilirlik (likelihood) fonksiyonunu

L(\theta)

oluşturmak.

L(\theta) = \prod_{i=1}^n \frac{3x_i^2}{\theta^3} = \frac{3^n}{\theta^{3n}} \prod_{i=1}^n x_i^2

, şart:

0 < x_i \le \theta

(tüm i'ler için).

En çok olabilirlik tahmin edicisini bulmak için, gözlemlerin ortak yoğunluk fonksiyonunu maksimize edecek adımın altyapısı hazırlanmalıdır.

3

Olabilirlik fonksiyonunu maksimize eden

\theta

değerini bulmak.

L(\theta)

fonksiyonu

\theta

'nın azalan bir fonksiyonudur. Tüm gözlemler için

x_i \le \theta

şartının sağlanabilmesi için

\theta

'nın alabileceği en küçük değer örneklemin maksimumudur. Bu nedenle

\hat{\theta} = \max(X_1, X_2, \dots, X_n)

olur.

Fonksiyonun türevi alınarak değil, parametrenin tanım aralığındaki sınır değerleri kullanılarak maksimizasyon yapılmalıdır.

4

Değişmezlik (invariance) özelliğini kullanarak

E(X)

'in tahmin edicisini belirlemek.

\widehat{E(X)} = \frac{3}{4} \hat{\theta} = \frac{3}{4} \max(X_1, X_2, \dots, X_n)

MLE yönteminde bir fonksiyonun tahmini, doğrudan parametrenin tahmin edicisinin fonksiyonda yerine konmasıyla bulunur.

Anahtar Kavram

En Çok Olabilirlik Yönteminde Sınır Değeri Optimizasyonu ve Değişmezlik Özelliği

Alternatif Yöntem

Alternatif olarak sıralı istatistiklerin tanımı üzerinden

X_{(n)}

değerinin

\theta

parametresine ne kadar yakınsayabileceği mantıken düşünülerek (verinin sağ kuyruğunun tamamen parametreyle sınırlandığı görülerek) doğrudan tahmin edici yakalanabilir.

Tahmini Süre:2m 0s

Soru 79Soru →

Bir kamu kurumu uzmanı, bölgesel enflasyon oranını ( $\theta$ ) tahmin etmek için istatistiksel karar teorisine dayalı bir model kurmaktadır. Parametrenin tahmini için karesel kayıp fonksiyonu, $L(\theta, \delta) = (\theta - \delta)^2$ , kullanılmaktadır.

Uzman,

\theta

parametresi için uygun gördüğü bir

\pi(\theta)

önsel dağılımını kullanarak Bayes tahmin edicisi

\delta_B

'yi elde etmiştir. Daha sonra bu tahmin edicinin risk fonksiyonunu,

R(\theta, \delta_B)

, hesaplamış ve elde ettiği sonucun tüm

\theta

değerleri için

\theta

'dan bağımsız pozitif bir

c

sabitine eşit olduğunu gözlemlemiştir:

R(\theta, \delta_B) = c

İstatistiksel karar teorisi kurallarına göre, bu tahmin edici ve önsel dağılım ile ilgili aşağıdakilerden hangisi kesinlikle doğrudur?

\delta_B

tahmin edicisi minimax tahmin edicidir ve kullanılan

\pi(\theta)

önsel dağılımı en elverişsiz (least favorable) önsel dağılımdır.

\delta_B

'nin risk fonksiyonu sabit olduğu için tahmin edicinin yansız (unbiased) ve minimum varyanslı olduğu kanıtlanmıştır, ancak minimaxlık söylenemez.

Kullanılan

\pi(\theta)

önsel dağılımı kesinlikle bilgi içermeyen (non-informative) bir dağılımdır ve

\delta_B

'nin Bayes riski sıfıra eşittir.

\delta_B

minimax tahmin edicidir, ancak

\pi(\theta)

'nın en elverişsiz önsel dağılım olması için risk fonksiyonunun

\theta

'ya göre katı dışbükey (strictly convex) olması gerekir.

Riskin parametreden bağımsız sabit bir değer olması,

\delta_B

'nin sadece tutarlı (consistent) bir tahmin edici olduğunu gösterir, minimaxlık garantisi vermez.

Cevabı ve açıklamayı göster

Cevap: $\delta_B$ tahmin edicisi minimax tahmin edicidir ve kullanılan $\pi(\theta)$ önsel dağılımı en elverişsiz (least favorable) önsel dağılımdır.

Cevap

Bayes tahmin edicisinin risk fonksiyonunun tüm parametre uzayında sabit olması durumunda bu tahmin edicinin minimax olduğu ve kullanılan önsel dağılımın en elverişsiz önsel dağılım olduğunu belirten ifadedir.

İstatistiksel karar teorisinde kanıtlanmış temel bir teorem şudur: Eğer

\delta

bir Bayes tahmin edicisi ise ve onun risk fonksiyonu

R(\theta, \delta)

tüm olası

\theta

değerleri için sabit bir

c

değerine eşitse, o zaman

\delta

kesinlikle bir minimax tahmin edicidir. Dahası,

\delta

'nın hesaplandığı

\pi(\theta)

önsel dağılımı, tüm olasılık dağılımları arasında Bayes riskini maksimize ettiği için 'en elverişsiz (least favorable) önsel dağılım' olarak adlandırılır. Sorudaki senaryo eksiksiz bir biçimde bu teoremin tanımını vermektedir.

Adım Adım Çözüm

1

Bayes tahmin edicisinin risk özelliklerini analiz etme

Senaryoda

\delta_B

'nin bir Bayes tahmin edicisi olduğu ve risk fonksiyonunun

R(\theta, \delta_B) = c

şeklinde sabit olduğu tespit edilmiştir.

İstatistiksel karar teorisindeki temel teoremleri uygulayabilmek için öncelikle hipotezlerin ve verilenlerin netleştirilmesi gerekir.

2

Minimaxlık teoremini (Bayes tahmin edicisi ilişkisi) uygulama

Bir tahmin edici Bayes tahmin edicisi ise ve risk fonksiyonu tüm parametre uzayında sabit bir değere sahipse, bu tahmin edici supremum riskini (maksimum riski) minimize ettiği için minimax bir tahmin edicidir.

Sabit riskli Bayes tahmin edicisi, kendi supremum riskinin Bayes riskine eşit olduğu tek teorik durumdur.

3

Önsel dağılımın karar teorisindeki durumunu belirleme

Sabit riske sahip bir Bayes tahmin edicisi üreten önsel dağılım, Bayes riskini (sabit risk

c

) maksimize ettiği için 'en elverişsiz (least favorable) önsel dağılım' olarak tanımlanır.

Minimax tahmin edicisinin riski, her zaman en elverişsiz önsel dağılımın Bayes riskine eşittir.

Anahtar Kavram

Sabit Riskli Bayes Tahmin Edicisi ve En Elverişsiz Önsel Dağılım Teoremi

Tahmini Süre:1m 30s

Soru 80Soru →

Bir siber güvenlik uzmanı, bir sunucuya günlük olarak yapılan siber saldırıların sayısının ( $X$ ), $\lambda$ parametreli Poisson dağılımına uyduğunu modellemektedir. Uzman, geçmiş tecrübelerine dayanarak $\lambda$ parametresinin önsel (prior) dağılımının olasılık yoğunluk fonksiyonunu,

f(\lambda) = 4\lambda e^{-2\lambda}, \quad \lambda > 0

şeklinde belirlemiştir.

Rastgele seçilen 3 gün boyunca sunucuya yapılan saldırı sayıları sırasıyla 5, 4 ve 6 olarak gözlemlenmiştir.

Buna göre, karesel hata kayıp fonksiyonu altında $\lambda$ parametresinin Bayes tahmin değeri aşağıdakilerden hangisidir?

\frac{16}{5}

\frac{17}{5}

\frac{16}{3}

5

\frac{17}{2}

Cevabı ve açıklamayı göster

Cevap: $\frac{17}{5}$

Cevap

Karesel hata kayıp fonksiyonu altındaki Bayes tahmin değeri 17/5'tir.

Karesel hata kayıp fonksiyonu kullanıldığında Bayes tahmin edicisi, sonsal (posterior) dağılımın beklenen değeridir. Verilen önsel dağılım

f(\lambda) \propto \lambda e^{-2\lambda}

ve olabilirlik fonksiyonu

L(\lambda) \propto \lambda^{15} e^{-3\lambda}

çarpıldığında, sonsal dağılım

\pi(\lambda|x) \propto \lambda^{16} e^{-5\lambda}

elde edilir. Bu form

\alpha=17

ve

\beta=5

(oran) parametreli bir Gamma dağılımına aittir. Gamma dağılımının beklenen değeri

\alpha/\beta

formülüyle hesaplandığından sonuç

17/5

olarak bulunur.

Adım Adım Çözüm

1

Verilen veriler için olabilirlik (likelihood) fonksiyonunu oluşturun.

L(\lambda | x) \propto \prod_{i=1}^3 \frac{e^{-\lambda} \lambda^{x_i}}{x_i!} \propto e^{-3\lambda} \lambda^{15}

Bayes teoreminde kullanılmak üzere örneklemin getirdiği bilgiyi matematiksel olarak ifade etmek için olabilirlik fonksiyonu gereklidir.

2

Önsel (prior) dağılım ile olabilirlik fonksiyonunu çarparak sonsal (posterior) dağılımın orantılı olduğu fonksiyonu bulun.

\pi(\lambda | x) \propto (\lambda^{15} e^{-3\lambda}) \cdot (4\lambda e^{-2\lambda}) \propto \lambda^{16} e^{-5\lambda}

Bayes teoremine göre sonsal dağılım, önsel dağılım ile olabilirlik fonksiyonunun çarpımı ile orantılıdır.

3

Elde edilen ifadenin hangi dağılıma ait olduğunu belirleyin.

\lambda^{16} e^{-5\lambda}

ifadesi,

\alpha=17

ve

\beta=5

(oran) parametreli bir Gamma dağılımının çekirdeğidir. Yani,

\lambda | x \sim Gamma(17, 5)

.

Sonsal dağılımın parametrelerini kesinleştirmek, ilgilenilen tahmin edicileri hesaplamak için şarttır.

4

Karesel hata kayıp fonksiyonuna göre Bayes tahmin edicisini hesaplayın.

\hat{\lambda}_B = E[\lambda | x] = \frac{\alpha}{\beta} = \frac{17}{5}

Karesel hata kayıp fonksiyonu altında riski minimize eden tahmin edici, sonsal dağılımın beklenen değeridir (ortalamasıdır).

Anahtar Kavram

Bayes Tahmin Yöntemi ve Karesel Hata Kayıp Fonksiyonu

Parametre Tahmin Yöntemleri

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Alternatif Yöntem

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Alternatif Yöntem

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Cevap