Parametre Tahmin Yöntemleri

228 soru

Soru 181Soru

Bir istatistiksel araştırmada, bilinmeyen bir θ>0\theta > 0 parametresinin tahmini için rassal bir örneklem üzerinden TnT_n tahmin edicisi geliştirilmiştir. TnT_n tahmin edicisinin olasılık dağılımının, örneklem hacmi nn'ye bağlı olarak aşağıdaki gibi olduğu bilinmektedir:

P(Tn=θ)=11nP(T_n = \theta) = 1 - \frac{1}{n}
P(Tn=n2)=1nP(T_n = n^2) = \frac{1}{n}

Buna göre, örneklem hacmi sonsuza giderken (nn \to \infty) TnT_n tahmin edicisinin asimptotik özellikleri (tutarlılık, yansızlık ve hata kareler ortalaması) hakkında aşağıdaki ifadelerden hangisi kesinlikle doğrudur?

Cevabı ve açıklamayı göster

Cevap: TnT_n tahmin edicisi θ\theta için tutarlıdır, ancak asimptotik olarak yansız değildir ve Hata Kareler Ortalaması (MSE) sonsuza ıraksar.

Cevap

TnT_n tutarlı bir tahmin edicidir ancak asimptotik olarak yansız değildir ve MSE değeri sonsuza ıraksar.
Doğru yanıt olan ifadede, tutarlılığın olasılıkta yakınsama üzerinden gerçekleştiği, ancak beklentinin ve MSE'nin sonsuza ıraksadığı kusursuz biçimde özetlenmiştir. Tutarlılık için limnP(Tnθ>ϵ)=0\lim_{n \to \infty} P(|T_n - \theta| > \epsilon) = 0 olmalıdır. Soru kökündeki dağılımda bu olasılık doğrudan 1n\frac{1}{n}'dir ve sıfıra gider. Bu yüzden TnT_n tutarlıdır. Ancak E(Tn)=θθn+nE(T_n) = \theta - \frac{\theta}{n} + n limit durumunda sonsuza gider. Dolayısıyla asimptotik yansız değildir ve MSE sonsuza ıraksar.

Adım Adım Çözüm

1
Tutarlılık (Olasılıkta Yakınsama) kontrolü yapılır.
Her ϵ>0\epsilon > 0 için limnP(Tnθ>ϵ)=limnP(Tn=n2)=limn1n=0\lim_{n \to \infty} P(|T_n - \theta| > \epsilon) = \lim_{n \to \infty} P(T_n = n^2) = \lim_{n \to \infty} \frac{1}{n} = 0 bulunur.
Tutarlılığın tanımı gereği, tahmin edicinin gerçek parametreden sapma olasılığının asimptotik olarak sıfır olması gerekir. Bu şart sağlandığı için TnT_n tutarlıdır.
2
Asimptotik yansızlık için beklenen değer E(Tn)E(T_n) hesaplanır.
E(Tn)=θ(11n)+n2(1n)=θθn+nE(T_n) = \theta(1 - \frac{1}{n}) + n^2(\frac{1}{n}) = \theta - \frac{\theta}{n} + n. Limit alındığında limnE(Tn)=\lim_{n \to \infty} E(T_n) = \infty olur.
Yansızlık incelemesi için istatistiğin beklenen değeri hesaplanmalıdır. Sonuç sonsuza gittiği için tahmin edici asimptotik yansız değildir.
3
Hata Kareler Ortalaması (MSE) hesaplanır.
MSE(Tn)=E[(Tnθ)2]=02(11n)+(n2θ)2(1n)=(n2θ)2nMSE(T_n) = E[(T_n - \theta)^2] = 0^2(1 - \frac{1}{n}) + (n^2 - \theta)^2(\frac{1}{n}) = \frac{(n^2 - \theta)^2}{n}. Limit alındığında limnMSE(Tn)=\lim_{n \to \infty} MSE(T_n) = \infty elde edilir.
Tutarlılık ve yansızlık arasındaki teorik farkı göstermek adına MSE değerinin asimptotik davranışını bilmek gerekir. MSE sıfıra gitmese bile tahmin edici tutarlı olabilir.

Anahtar Kavram

Hata Kareler Ortalaması (MSE) ile Tutarlılık Arasındaki İlişki ve Olasılıkta Yakınsama
Tahmini Süre:2m 30s
Soru 182Soru

İstatistiksel sonuç çıkarım sürecinde, standart analitik varsayımları (türevlenebilirlik, integral ve türev sırasının değiştirilebilmesi vb.) sağlayan bir f(x;α)f(x;\alpha) dağılımından çekilen nn hacimli bağımsız bir örneklem üzerinden α\alpha parametresinin en çok olabilirlik tahmin edicisi TnT_n olarak bulunmuştur. g(α)g(\alpha), α\alpha'nın sürekli ve birinci türevi sıfırdan farklı bir fonksiyonu olmak üzere, g(α)g(\alpha) için en çok olabilirlik tahmin edicisi Yn=g(Tn)Y_n = g(T_n) şeklinde tanımlanmıştır.

Buna göre, TnT_n ve YnY_n tahmin edicilerinin özellikleri dikkate alındığında aşağıdaki ifadelerden hangisi kesinlikle doğrudur?

Cevabı ve açıklamayı göster

Cevap: Dönüşüm prensibi gereği YnY_n, g(α)g(\alpha) için en çok olabilirlik tahmin edicisidir; sürekli eşleştirme teoremi sayesinde TnT_n'nin tutarlılığı YnY_n'ye aktarılırken, TnT_n yansız olsa dahi gg fonksiyonu doğrusal olmadığında YnY_n genellikle yansızlık özelliğini yitirir.

Cevap

Dönüşüm prensibi (invariance) sayesinde YnY_n'nin g(α)g(\alpha) için geçerli bir tahmin edici olduğu, tutarlılığın korunduğu ancak doğrusal olmayan fonksiyonlar altında yansızlığın bozulabildiği ifade edilmektedir.
En çok olabilirlik tahmin edicilerinin dönüşüm kuralı, dönüşüm fonksiyonunun birebir olmasını gerektirmez ve hesaplanan değer doğrudan fonksiyonda yerine yazılabilir. Bununla birlikte, sürekli eşleştirme teoremi sayesinde tutarlılık özelliği dönüşüm sonrasına taşınırken; beklenti operatörünün doğrusal olmayan fonksiyonlar karşısındaki asimetrisi (Jensen eşitsizliği) nedeniyle, başlangıçtaki yansızlık durumu bozulur.

Adım Adım Çözüm

1
En çok olabilirlik tahmin edicilerinde dönüşüm kuralının kapsamı ve geçerlilik şartları değerlendirilir.
gg fonksiyonu birebir olmasa dahi g(Tn)g(T_n)'nin g(α)g(\alpha) için en çok olabilirlik tahmin edicisi olduğu sonucuna varılır.
Zehna teoremi, olabilirlik maksimizasyonunun parametre uzayının herhangi bir fonksiyonel eşlemesi altında da geçerli olduğunu kanıtlamıştır.
2
Tahmin edicilerin asimptotik özellikleri ve bu özelliklerin fonksiyonel dönüşüm altındaki davranışları incelenir.
Sürekli eşleştirme (continuous mapping) teoremi sayesinde TnT_n'nin tutarlılığının g(Tn)g(T_n)'ye doğrudan aktarıldığı görülür.
Olasılıkta yakınsama özelliği, limit işleminin sürekli fonksiyonlarla yer değiştirebilmesi kuralı gereği korunmaktadır.
3
Yansızlık özelliğinin doğrusal ve doğrusal olmayan dönüşümler altındaki matematiksel yapısı analiz edilir.
Beklenen değer operatörünün doğrusal olmayan fonksiyonlarla yer değiştirememesi nedeniyle yansızlığın genellikle kaybolduğu tespit edilir.
Jensen eşitsizliğine göre, gg doğrusal bir fonksiyon değilse E[g(Tn)]g(E[Tn])E[g(T_n)] \neq g(E[T_n]) eşitliği geçerlidir ve bu da sapmaya (bias) yol açar.

Anahtar Kavram

En Çok Olabilirlik Tahmin Edicilerinin Dönüşüm Özelliği ve Asimptotik Davranışları
Soru 183Soru

Bir ölçüm cihazından elde edilen bağımsız hata miktarları X1,X2,,XnX_1, X_2, \dots, X_n rastgele örneklemi ile modellenmektedir. Bu hataların olasılık yoğunluk fonksiyonu aşağıda verilmiştir:

f(x;θ)={12θ,θ<x<θ0,dig˘er durumlarf(x; \theta) = \begin{cases} \frac{1}{2\theta}, & -\theta < x < \theta \\ 0, & \text{diğer durumlar} \end{cases}

Bir araştırmacı, dağılımın yayılımını yansıtan θ2\theta^2 parametresini tahmin etmek amacıyla aşağıdaki TT istatistiğini önermiştir:

T=1ni=1nXi2T = \frac{1}{n} \sum_{i=1}^n X_i^2

Buna göre, TT tahmin edicisinin θ2\theta^2 parametresi için Hata Kareler Ortalaması (MSE) aşağıdakilerden hangisidir?

Cevabı ve açıklamayı göster

Cevap: 4(5n+1)45nθ4\frac{4(5n+1)}{45n} \theta^4

Cevap

TT tahmin edicisinin beklenen değeri ve varyansı hesaplandıktan sonra, yanlı olduğu tespit edilerek formülde yan karesi eklendiğinde sonuç 4(5n+1)45nθ4\frac{4(5n+1)}{45n} \theta^4 olarak bulunur.
MSE hesaplamak için varyans ve yan karesi (Bias^2) toplamı bulunmalıdır. T'nin beklenen değeri düzgün dağılımın integrali alınarak E[T] = \theta^2/3 olarak bulunur. Tahmin edilmesi istenen parametre \theta^2 olduğu için yan miktarı (Bias) = E[T] - \theta^2 = -2\theta^2/3'tür. T'nin varyansı ise Var(T) = 4\theta^4 / 45n olarak hesaplanır. MSE = Var(T) + Bias^2 işlemi yapıldığında sonuç 4(5n+1)\theta^4 / 45n olacaktır.

Adım Adım Çözüm

1
XX'in karesinin beklenen değerini düzgün dağılımın integralini kullanarak bulmak.
E[X2]=θθx212θdx=12θ[x33]θθ=12θ(2θ33)=θ23E[X^2] = \int_{-\theta}^\theta x^2 \frac{1}{2\theta} dx = \frac{1}{2\theta} \left[ \frac{x^3}{3} \right]_{-\theta}^\theta = \frac{1}{2\theta} \left( \frac{2\theta^3}{3} \right) = \frac{\theta^2}{3}
TT tahmin edicisinin beklenen değerini bulmak için öncelikle Xi2X_i^2'nin beklenen değeri gereklidir.
2
TT'nin beklenen değerini hesaplayıp, tahmin edilen θ2\theta^2 parametresinden çıkararak yan miktarını (Bias) belirlemek.
E[T]=E[1nXi2]=θ23E[T] = E\left[\frac{1}{n} \sum X_i^2\right] = \frac{\theta^2}{3}. Yan (Bias) = E[T]θ2=θ23θ2=2θ23E[T] - \theta^2 = \frac{\theta^2}{3} - \theta^2 = -\frac{2\theta^2}{3}
Hata kareler ortalaması (MSE) hesaplamasında yan miktarının karesi (Bias^2) formülün bir parçasıdır.
3
E[X4]E[X^4] değerini bulup, Var(X2)=E[X4](E[X2])2Var(X^2) = E[X^4] - (E[X^2])^2 formülünü uygulamak.
E[X4]=θθx412θdx=θ45E[X^4] = \int_{-\theta}^\theta x^4 \frac{1}{2\theta} dx = \frac{\theta^4}{5}. Buradan Var(X2)=θ45(θ23)2=4θ445Var(X^2) = \frac{\theta^4}{5} - \left(\frac{\theta^2}{3}\right)^2 = \frac{4\theta^4}{45}
TT tahmin edicisinin varyansına ulaşmak için örneklemi oluşturan her bir terimin varyansını bulmak zorunludur.
4
Var(T)Var(T)'yi bulduktan sonra MSE(T)=Var(T)+[Bias(T)]2MSE(T) = Var(T) + [Bias(T)]^2 denklemini çözmek.
Var(T)=1n(4θ445)=4θ445nVar(T) = \frac{1}{n} \left( \frac{4\theta^4}{45} \right) = \frac{4\theta^4}{45n}. Dolayısıyla MSE(T)=4θ445n+(2θ23)2=4θ445n+4θ49=4θ4+20nθ445n=4(5n+1)45nθ4MSE(T) = \frac{4\theta^4}{45n} + \left(-\frac{2\theta^2}{3}\right)^2 = \frac{4\theta^4}{45n} + \frac{4\theta^4}{9} = \frac{4\theta^4 + 20n\theta^4}{45n} = \frac{4(5n+1)}{45n}\theta^4
MSE formülüne göre elde edilen tüm değerler yerine konularak nihai sonuca ulaşılır.

Anahtar Kavram

Hata Kareler Ortalaması (MSE), tahmin edicinin varyansı ile yan miktarının karesinin toplamına eşittir.

İpuçları

1
Hata Kareler Ortalaması (MSE) hesaplamasında her zaman varyans ile yan miktarının karesinin toplamı kullanılmalıdır: MSE(T)=Var(T)+[Bias(T)]2MSE(T) = Var(T) + [Bias(T)]^2.
2
Öncelikle E[X2]E[X^2] ve E[X4]E[X^4] değerlerini, verilen (θ,θ)(-\theta, \theta) aralığındaki düzgün dağılımın integralini hesaplayarak bulunuz.

Daha Fazla Pratik

Bu kavramı pekiştirmek için üstel (exponential) veya normal dağılımdan çekilmiş örneklemler üzerinden çeşitli yanlı tahmin edicilerin MSE'lerini karşılaştıran problemler çözülebilir.

Alternatif Yöntem

Alternatif olarak MSE'yi doğrudan beklenen değer üzerinden hesaplayabilirsiniz: MSE(T)=E[(Tθ2)2]=E[T2]2θ2E[T]+θ4MSE(T) = E[(T - \theta^2)^2] = E[T^2] - 2\theta^2 E[T] + \theta^4. Bu yaklaşım da aynı sonucu verecektir ancak E[T2]E[T^2]'yi bulmak ek işlem gerektirir.
Tahmini Süre:3m 30s
Soru 184Soru

Bir endüstriyel süreçte üretilen parçaların ağırlıklarındaki sapmaların, ortalaması 00 ve varyansı θ\theta (θ>0\theta > 0) olan normal dağılıma uyduğu bilinmektedir. Dağılımın olasılık yoğunluk fonksiyonu şu şekildedir:

f(x;θ)=12πθexp(x22θ)f(x; \theta) = \frac{1}{\sqrt{2\pi\theta}} \exp\left(-\frac{x^2}{2\theta}\right)

Süreçten nn adet parça rastgele seçilmiş ve sapma değerleri X1,X2,,XnX_1, X_2, \dots, X_n olarak ölçülmüştür. Kalite kontrol uzmanı, sürecin standart sapmasını ifade eden g(θ)=θg(\theta) = \sqrt{\theta} değeri için yansız bir tahmin edici önermiştir.

Buna göre, g(θ)g(\theta) parametresinin herhangi bir yansız tahmin edicisinin varyansı için Cramer-Rao alt sınırı aşağıdakilerden hangisine eşittir?

Cevabı ve açıklamayı göster

Cevap: θ2n\frac{\theta}{2n}

Cevap

İlgili yansız tahmin edicinin varyansı için Cramer-Rao alt sınırı θ2n\frac{\theta}{2n} ifadesidir.
Verilen olasılık yoğunluk fonksiyonundan tek bir gözlem için Fisher bilgisi I(θ)=12θ2I(\theta) = \frac{1}{2\theta^2} olarak hesaplanır. Toplam Fisher bilgisi ise In(θ)=n2θ2I_n(\theta) = \frac{n}{2\theta^2} olur. Tahmin edilmek istenen büyüklük standart sapma yani g(θ)=θg(\theta) = \sqrt{\theta} olduğundan, bu fonksiyonun türevi g(θ)=12θg'(\theta) = \frac{1}{2\sqrt{\theta}} dir. Cramer-Rao eşitsizliği formülü olan [g(θ)]2/In(θ)[g'(\theta)]^2 / I_n(\theta) uygulandığında sonuç 1/(4θ)n/(2θ2)=θ2n\frac{1/(4\theta)}{n/(2\theta^2)} = \frac{\theta}{2n} olarak bulunur.

Adım Adım Çözüm

1
Tek bir gözlem için olasılık yoğunluk fonksiyonunun doğal logaritmasını (log-olabilirlik fonksiyonu) yazın.
lnf(x;θ)=12ln(2π)12ln(θ)x22θ\ln f(x; \theta) = -\frac{1}{2}\ln(2\pi) - \frac{1}{2}\ln(\theta) - \frac{x^2}{2\theta}
Fisher bilgi matrisini bulabilmek için fonksiyonun parametreye göre değişim hızını incelemeliyiz.
2
Log-olabilirlik fonksiyonunun θ\theta'ya göre birinci ve ikinci mertebeden türevlerini hesaplayın.
Birinci türev: θlnf(x;θ)=12θ+x22θ2\frac{\partial}{\partial \theta} \ln f(x; \theta) = -\frac{1}{2\theta} + \frac{x^2}{2\theta^2}
İkinci türev: 2θ2lnf(x;θ)=12θ2x2θ3\frac{\partial^2}{\partial \theta^2} \ln f(x; \theta) = \frac{1}{2\theta^2} - \frac{x^2}{\theta^3}
Fisher bilgisi, ikinci türevin beklenen değerinin negatif işaretlisine eşittir.
3
İkinci türevin beklenen değerini alarak tek bir gözlem için Fisher bilgisini (I(θ)I(\theta)) bulun.
E[X2]=Var(X)+(E[X])2=θ+0=θE[X^2] = \text{Var}(X) + (E[X])^2 = \theta + 0 = \theta olduğundan;
I(θ)=E[12θ2X2θ3]=(12θ2θθ3)=(12θ21θ2)=12θ2I(\theta) = -E\left[\frac{1}{2\theta^2} - \frac{X^2}{\theta^3}\right] = -\left(\frac{1}{2\theta^2} - \frac{\theta}{\theta^3}\right) = -\left(\frac{1}{2\theta^2} - \frac{1}{\theta^2}\right) = \frac{1}{2\theta^2}
Kitle ortalaması 00 ve varyansı θ\theta olarak verildiğinden E[X2]=θE[X^2] = \theta eşitliği kullanılmıştır.
4
nn birimlik örneklem için Fisher bilgisini (In(θ)I_n(\theta)) hesaplayın ve tahmin edilmek istenen parametrenin (g(θ)=θg(\theta) = \sqrt{\theta}) türevini alın.
In(θ)=nI(θ)=n2θ2I_n(\theta) = n \cdot I(\theta) = \frac{n}{2\theta^2}
g(θ)=12θg'(\theta) = \frac{1}{2\sqrt{\theta}}
Bağımsız örneklemler için toplam Fisher bilgisi tekil bilginin nn katıdır. Cramer-Rao alt sınırı ise, parametre fonksiyonunun türevinin karesiyle orantılıdır.
5
Cramer-Rao alt sınırı formülünü uygulayarak sonucu hesaplayın.
CRLB=[g(θ)]2In(θ)=(12θ)2n2θ2=14θn2θ2=2θ24nθ=θ2n\text{CRLB} = \frac{[g'(\theta)]^2}{I_n(\theta)} = \frac{\left(\frac{1}{2\sqrt{\theta}}\right)^2}{\frac{n}{2\theta^2}} = \frac{\frac{1}{4\theta}}{\frac{n}{2\theta^2}} = \frac{2\theta^2}{4n\theta} = \frac{\theta}{2n}
Bir fonksiyonun yansız tahmin edicisi için elde edilebilecek en küçük varyans değerine ulaşılmıştır.

Anahtar Kavram

Bir parametrenin fonksiyonuna (g(θ)g(\theta)) ait tahmin ediciler için Cramer-Rao alt sınırının hesaplanması ve Fisher Bilgisi matrisi özellikleri.
Soru 185Soru

Bir sistemde belirli bir zaman aralığında gerçekleşen olay sayısı, parametresi θ\theta olan Poisson dağılımına uymaktadır. θ\theta parametresinin önsel (prior) dağılımı, α,β>0\alpha, \beta > 0 olmak üzere aşağıdaki olasılık yoğunluk fonksiyonuna sahip Gamma dağılımı olarak verilmiştir:

π(θ)=βαΓ(α)θα1eβθ,θ>0 \pi(\theta) = \frac{\beta^\alpha}{\Gamma(\alpha)} \theta^{\alpha-1} e^{-\beta\theta}, \quad \theta > 0

Bu sistemden nn birimlik rastgele bir örneklem alınmış (X1,X2,,XnX_1, X_2, \dots, X_n) ve örneklem değerlerinin toplamı i=1nXi=y\sum_{i=1}^n X_i = y olarak elde edilmiştir.

Tahmin edici δ\delta olmak üzere, θ\theta parametresi için belirlenen kayıp fonksiyonu L(θ,δ)=θ(θδ)2L(\theta, \delta) = \theta (\theta - \delta)^2 şeklindedir.

Buna göre, verilen kayıp fonksiyonu altında θ\theta parametresinin Bayes tahmin edicisi aşağıdakilerden hangisidir?

Cevabı ve açıklamayı göster

Cevap: α+y+1β+n\frac{\alpha + y + 1}{\beta + n}

Cevap

α+y+1β+n\frac{\alpha + y + 1}{\beta + n}
Bayes tahmin edicisi, sonsal beklenen riski (E[L(θ,δ)X]E[L(\theta, \delta)|X]) minimize eden δ\delta değeridir. Verilen L(θ,δ)=θ(θδ)2L(\theta, \delta) = \theta(\theta - \delta)^2 kayıp fonksiyonu için riskin türevi alınıp sıfıra eşitlendiğinde optimum tahmin edici δ=E[θ2X]E[θX]\delta = \frac{E[\theta^2|X]}{E[\theta|X]} olarak bulunur. Poisson olabilirlik fonksiyonu ve Gamma önsel dağılımı çarpıldığında sonsal dağılım Gamma (α+y,β+n)(\alpha+y, \beta+n) olur. Bu dağılımın teorik momentleri formülde yerine konulduğunda, Bayes tahmin edicisi (α+y)(α+y+1)/(β+n)2(α+y)/(β+n)=α+y+1β+n\frac{(\alpha+y)(\alpha+y+1)/(\beta+n)^2}{(\alpha+y)/(\beta+n)} = \frac{\alpha+y+1}{\beta+n} olarak elde edilir.

Adım Adım Çözüm

1
Olabilirlik fonksiyonu ile önsel dağılımı çarparak sonsal (posterior) dağılımı elde edin.
Poisson olabilirlik fonksiyonu L(θx)enθθxi=enθθyL(\theta|x) \propto e^{-n\theta} \theta^{\sum x_i} = e^{-n\theta} \theta^y ve Gamma önsel dağılımı π(θ)θα1eβθ\pi(\theta) \propto \theta^{\alpha-1} e^{-\beta\theta} çarpıldığında sonsal dağılım π(θx)θα+y1e(β+n)θ\pi(\theta|x) \propto \theta^{\alpha+y-1} e^{-(\beta+n)\theta} olur. Bu, Gamma (α+y,β+n)(\alpha+y, \beta+n) dağılımıdır.
Bayes teoremine göre sonsal dağılım, önsel dağılım ve olabilirlik fonksiyonunun çarpımıyla orantılıdır.
2
Verilen kayıp fonksiyonu için beklenen risk (expected risk) denklemini yazın.
Beklenen risk R(δ)=E[L(θ,δ)X]=E[θ(θδ)2X]=E[θ32δθ2+δ2θX]R(\delta) = E[L(\theta, \delta)|X] = E[\theta(\theta - \delta)^2 | X] = E[\theta^3 - 2\delta\theta^2 + \delta^2\theta | X] şeklindedir. Doğrusallık özelliğiyle: R(δ)=E[θ3X]2δE[θ2X]+δ2E[θX]R(\delta) = E[\theta^3|X] - 2\delta E[\theta^2|X] + \delta^2 E[\theta|X].
Bayes tahmin edicisi, seçilen kayıp fonksiyonunun sonsal dağılım altındaki beklenen değerini minimize eden δ\delta değeridir.
3
Risk fonksiyonunu δ\delta'ya göre minimize edin.
Risk fonksiyonunun δ\delta'ya göre birinci türevi alınıp sıfıra eşitlenir: dRdδ=2E[θ2X]+2δE[θX]=0\frac{d R}{d \delta} = -2E[\theta^2|X] + 2\delta E[\theta|X] = 0. Buradan optimum tahmin edici δ=E[θ2X]E[θX]\delta = \frac{E[\theta^2|X]}{E[\theta|X]} olarak bulunur.
Optimum değeri bulmak için fonksiyonun türevi alınıp kökleri incelenmelidir. İkinci türev 2E[θX]>02E[\theta|X] > 0 olduğundan bu nokta bir minimumdur.
4
Sonsal dağılımın momentlerini hesaplayarak tahmin ediciyi son haline getirin.
Gamma (α+y,β+n)(\alpha+y, \beta+n) dağılımı için E[θX]=α+yβ+nE[\theta|X] = \frac{\alpha+y}{\beta+n} ve E[θ2X]=(α+y)(α+y+1)(β+n)2E[\theta^2|X] = \frac{(\alpha+y)(\alpha+y+1)}{(\beta+n)^2} değerleri yerine yazıldığında; δ=(α+y)(α+y+1)/(β+n)2(α+y)/(β+n)=α+y+1β+n\delta = \frac{(\alpha+y)(\alpha+y+1)/(\beta+n)^2}{(\alpha+y)/(\beta+n)} = \frac{\alpha+y+1}{\beta+n} elde edilir.
Risk minimizasyonundan elde edilen oran, sonsal Gamma dağılımının bilinen moment özelliklerinin uygulanmasıyla analitik çözüme ulaştırır.

Anahtar Kavram

Özel Kayıp Fonksiyonları Altında Bayes Tahmin Edicisi ve Sonsal Risk Minimizasyonu
Soru 186Soru

Bir araştırmacı, gerçekleşme süreleri sürekli olan ve belirli bir θ>0\theta > 0 parametresine sahip üstel dağılım ile modellenen bağımsız bir X1,X2,,XnX_1, X_2, \dots, X_n örneklemini incelemektedir. İlgili kitleye ait gözlemlerin olasılık yoğunluk fonksiyonu aşağıdaki gibidir:

f(x;θ)=θeθx,x>0f(x; \theta) = \theta e^{-\theta x}, \quad x > 0

Araştırmacı, bu kitlede gerçekleşecek yeni bir gözlem değerinin 2'yi aşma olasılığını (P(X>2)P(X > 2)) tahmin etmek istemektedir.

Buna göre, araştırmacının ilgilendiği bu olasılık değeri için kullanması gereken en çok olabilirlik tahmin edicisi aşağıdakilerden hangisidir?

Cevabı ve açıklamayı göster

Cevap: e2/Xˉe^{-2/\bar{X}}

Cevap

Doğru tahmin edici e2/Xˉe^{-2/\bar{X}} olmalıdır. MLE'nin değişmezlik özelliği gereği, önce θ\theta'nın tahmin edicisi bulunmalı ve bu değer ilgili olasılık fonksiyonunda yerine yazılmalıdır.
En çok olabilirlik tahmin edicisi (MLE) bulunurken önce olabilirlik fonksiyonu oluşturulup türevi sıfıra eşitlenerek üstel dağılım için tahmin edici θ^=1/Xˉ\hat{\theta} = 1/\bar{X} olarak elde edilir. Ardından soruda istenen olasılık değeri integral işlemi ile P(X>2)=e2θP(X>2) = e^{-2\theta} şeklinde hesaplanır. Son olarak, MLE'nin değişmezlik (invariance) özelliği gereği θ^\hat{\theta} değeri bu olasılık fonksiyonunda yerine konularak doğru sonuç e2/Xˉe^{-2/\bar{X}} şeklinde elde edilir.

Adım Adım Çözüm

1
Olabilirlik (Likelihood) fonksiyonunu oluşturma
L(θ)=i=1nθeθxi=θneθi=1nxiL(\theta) = \prod_{i=1}^n \theta e^{-\theta x_i} = \theta^n e^{-\theta \sum_{i=1}^n x_i}
Örneklemdeki gözlemlerin ortak olasılık yoğunluk fonksiyonu üzerinden parametrenin olabilirliğini modellemek.
2
Log-olabilirlik fonksiyonunu yazma ve θ\theta'ya göre türev alma
lnL(θ)=nlnθθi=1nxi    lnL(θ)θ=nθi=1nxi\ln L(\theta) = n \ln \theta - \theta \sum_{i=1}^n x_i \implies \frac{\partial \ln L(\theta)}{\partial \theta} = \frac{n}{\theta} - \sum_{i=1}^n x_i
Çarpım durumundaki fonksiyonun maksimizasyonunu toplam durumuna getirerek türev işlemini kolaylaştırmak.
3
Türevi sıfıra eşitleyerek en çok olabilirlik tahmin edicisini (MLE) bulma
nθi=1nxi=0    θ^=ni=1nXi=1Xˉ\frac{n}{\theta} - \sum_{i=1}^n x_i = 0 \implies \hat{\theta} = \frac{n}{\sum_{i=1}^n X_i} = \frac{1}{\bar{X}}
Fonksiyonun maksimum noktasını bularak parametre tahmin edicisini elde etmek.
4
İstenen olasılık değerini (P(X>2)P(X>2)) parametre (θ\theta) cinsinden ifade etme
P(X>2)=2θeθxdx=[eθx]2=e2θP(X > 2) = \int_2^\infty \theta e^{-\theta x} dx = \left[ -e^{-\theta x} \right]_2^\infty = e^{-2\theta}
Tahmin edilecek fonksiyonun parametrik formunu belirleyerek değişmezlik özelliğine hazırlık yapmak.
5
Değişmezlik (Invariance) özelliğini kullanarak tahmini olasılığı bulma
P(X>2)^=e2θ^=e2/Xˉ\widehat{P(X > 2)} = e^{-2\hat{\theta}} = e^{-2/\bar{X}}
En çok olabilirlik yönteminin, parametrenin herhangi bir fonksiyonunun tahmininde de geçerli olma özelliğinden faydalanmak.

Anahtar Kavram

En Çok Olabilirlik Tahmininde Değişmezlik (Invariance) Özelliği
Soru 187Soru

Bir veri analitik modelleme sürecinde, bir dağılıma ait bilinmeyen bir λ\lambda parametresini tahmin etmek amacıyla nn birimlik bir rastgele örneklem üzerinden TnT_n tahmin edicisi tanımlanmıştır. Yapılan matematiksel incelemeler sonucunda TnT_n tahmin edicisinin beklenen değerinin E(Tn)=λ(12n)E(T_n) = \lambda \left(1 - \frac{2}{n}\right) ve varyansının Var(Tn)=4λ2nVar(T_n) = \frac{4\lambda^2}{n} olduğu bulunmuştur.

Buna göre, TnT_n tahmin edicisinin özellikleri hakkında aşağıdakilerden hangisi kesinlikle doğrudur?

Cevabı ve açıklamayı göster

Cevap: Sonlu örneklemlerde yanlı bir tahmin edicidir, ancak hata kareler ortalaması sıfıra yakınsadığı için tutarlıdır.

Cevap

Verilen tahmin edici sonlu örneklemler için yanlıdır, ancak örneklem çapı büyüdükçe hata kareler ortalaması (MSE) sıfıra gittiği için tutarlı bir tahmin edicidir.
Bir tahmin edicinin hata kareler ortalaması (MSE), varyansı ile yan miktarının karesinin toplamıdır. Soruda verilen tahmin edici için yan miktarı 2λn-\frac{2\lambda}{n}'dir. Dolayısıyla tahmin edici yanlıdır. Ancak nn \to \infty iken hem varyans (4λ2n)\left(\frac{4\lambda^2}{n}\right) hem de yanın karesi (4λ2n2)\left(\frac{4\lambda^2}{n^2}\right) sıfıra yakınsar. Limit durumunda MSE sıfır olduğundan, bu durum tutarlılık için yeterli bir koşuldur ve tahmin edici tutarlıdır.

Adım Adım Çözüm

1
Tahmin edicinin yan (bias) miktarını hesapla.
Yan(Tn)=E(Tn)λ=λ(12n)λ=2λnYan(T_n) = E(T_n) - \lambda = \lambda \left(1 - \frac{2}{n}\right) - \lambda = -\frac{2\lambda}{n}. Yan sıfırdan farklı olduğu için TnT_n yanlı bir tahmin edicidir.
Bir tahmin edicinin yansız olup olmadığını belirlemek için beklenen değeri ile gerçek parametre değeri arasındaki farka bakılır.
2
Tahmin edicinin asimptotik yansızlığını kontrol et.
limnYan(Tn)=limn(2λn)=0\lim_{n \to \infty} Yan(T_n) = \lim_{n \to \infty} \left(-\frac{2\lambda}{n}\right) = 0. Tahmin edici asimptotik olarak yansızdır.
Örneklem çapı sonsuza giderken yan miktarının sıfıra gidip gitmediği incelenmelidir.
3
Hata Kareler Ortalamasının (MSE) limitini hesapla.
MSE(Tn)=Var(Tn)+[Yan(Tn)]2=4λ2n+(2λn)2=4λ2n+4λ2n2MSE(T_n) = Var(T_n) + [Yan(T_n)]^2 = \frac{4\lambda^2}{n} + \left(-\frac{2\lambda}{n}\right)^2 = \frac{4\lambda^2}{n} + \frac{4\lambda^2}{n^2}. limnMSE(Tn)=0+0=0\lim_{n \to \infty} MSE(T_n) = 0 + 0 = 0.
Tutarlılık için yeterli koşul, tahmin edicinin hata kareler ortalamasının nn \to \infty iken sıfıra yakınsamasıdır.
4
Tutarlılık sonucuna var.
limnMSE(Tn)=0\lim_{n \to \infty} MSE(T_n) = 0 olduğu için TnT_n tahmin edicisi λ\lambda için tutarlı bir tahmin edicidir.
Markov veya Chebyshev eşitsizliği gereği, MSE sıfıra yakınsıyorsa tahmin edici parametreye olasılıkta yakınsar (tutarlıdır).

Anahtar Kavram

Hata Kareler Ortalaması (MSE) ile Tutarlılık İlişkisi
Soru 188Soru

Bir istatistikçi, ortalaması μ\mu ve varyansı σ2=16\sigma^2 = 16 olan normal dağılıma sahip bir kitleden n=16n = 16 hacimli bir rastgele örneklem (X1,X2,,X16X_1, X_2, \dots, X_{16}) almıştır.

İstatistikçi, μ\mu parametresini tahmin etmek için yansız bir tahmin edici olan T=X1T = X_1 istatistiğini kullanmayı önermiştir. Ancak bu tahmin edicinin varyansının büyük olduğunu fark edince, Rao-Blackwell teoremini uygulayarak TT istatistiğini μ\mu için yeterli bir istatistik olan S=i=116XiS = \sum_{i=1}^{16} X_i üzerine koşullandırmış ve T=E[TS]T^* = E[T|S] şeklinde yeni bir tahmin edici elde etmiştir.

Buna göre, Rao-Blackwell teoremi sonucunda elde edilen TT^* tahmin edicisinin varyansı, ilk tahmin edici TT'nin varyansına göre ne kadar azalmıştır?

Cevabı ve açıklamayı göster

Cevap: 15

Cevap

Rao-Blackwell işlemi sonucunda varyanstaki azalma miktarı 15'tir.
Rao-Blackwell teoremine göre T=E[X1S]T^* = E[X_1|S] işlemi, yeterli istatistiğin yansız bir fonksiyonu olan örneklem ortalamasını (Xˉ\bar{X}) verir. İlk tahmin edicinin varyansı Var(X1)=16Var(X_1) = 16 iken, yeni tahmin edicinin varyansı Var(Xˉ)=σ2n=1616=1Var(\bar{X}) = \frac{\sigma^2}{n} = \frac{16}{16} = 1 olur. Buna göre varyanstaki azalma miktarı 161=1516 - 1 = 15 olarak bulunur.

Adım Adım Çözüm

1
İlk tahmin edici olan T = X_1'in varyansını hesapla.
Var(T) = Var(X_1) = \sigma^2 = 16 olarak bulunur.
Örneklemdeki her bir gözlem kitle ile aynı dağılıma ve varyansa sahiptir.
2
Rao-Blackwell teoremini uygulayarak yeni T^* tahmin edicisini belirle.
T^* = E[X_1 | \sum X_i] = \bar{X} (Örneklem ortalaması) elde edilir.
Normal dağılımda gözlemlerin toplamı (veya ortalaması) yeterli istatistiktir. Simetri gereği bir gözlemin toplama göre beklenen değeri, örneklem ortalamasına eşittir.
3
Yeni tahmin edici T^*'ın varyansını hesapla.
Var(T^*) = Var(\bar{X}) = \frac{\sigma^2}{n} = \frac{16}{16} = 1 olarak bulunur.
Örneklem ortalamasının varyansı, kitle varyansının örneklem hacmine bölümüne eşittir.
4
İlk varyans ile yeni varyans arasındaki azalma miktarını bul.
Var(T) - Var(T^*) = 16 - 1 = 15 sonucuna ulaşılır.
Soru bizden yeni varyansın kendisini değil, varyansta meydana gelen düşüş (azalma) miktarını istemektedir.

Anahtar Kavram

Rao-Blackwell Teoremi ve Varyans Küçültme (Variance Reduction)

Alternatif Yöntem

Rao-Blackwell teoremindeki varyans ayrıştırma formülünü kullanabilirsiniz: Var(T) = Var(E[T|S]) + E[Var(T|S)]. Azalma miktarı Var(T) - Var(T*) doğrudan E[Var(T|S)] değerine yani E[Var(X_1|S)]'e eşittir. Verilen normal dağılım özelliklerinden bu beklenen değerin de 15'e eşit olduğu kanıtlanabilir.
Tahmini Süre:1m 30s
Soru 189Soru

X1,X2,,XnX_1, X_2, \dots, X_n rastgele örneklemi, (0,θ)(0, \theta) aralığında düzgün (uniform) dağılıma sahip bir kitleden alınmıştır. θ>0\theta > 0 bilinmeyen parametresini tahmin etmek için aşağıdaki ölçeklenmiş hata kareler (scaled squared error) kayıp fonksiyonu kullanılmaktadır:

L(θ,δ)=(δθ1)2L(\theta, \delta) = \left( \frac{\delta}{\theta} - 1 \right)^2

δ(X)=cX(n)\delta(X) = c X_{(n)} (burada X(n)X_{(n)} örneklem maksimumu ve cc bir sabittir) biçimindeki tahmin ediciler sınıfı dikkate alındığında, bu sınıf içindeki minimax tahmin edici ve bu tahmin ediciye ait sabit risk değeri aşağıdakilerden hangisinde doğru olarak verilmiştir?

Cevabı ve açıklamayı göster

Cevap: Tahmin Edici: n+2n+1X(n)\frac{n+2}{n+1} X_{(n)} , Risk: 1(n+1)2\frac{1}{(n+1)^2}

Cevap

Minimax tahmin edici n+2n+1X(n)\frac{n+2}{n+1} X_{(n)} ve bu tahmin edicinin riski 1(n+1)2\frac{1}{(n+1)^2}'dir.
Verilen kayıp fonksiyonu L(θ,δ)=(δθ1)2L(\theta, \delta) = (\frac{\delta}{\theta} - 1)^2 altında δ(X)=cX(n)\delta(X) = cX_{(n)} biçimindeki tahmin edicilerin riski θ\theta'dan bağımsızdır ve R(c)=c2nn+22cnn+1+1R(c) = c^2 \frac{n}{n+2} - 2c \frac{n}{n+1} + 1 şeklindedir. Risk, θ\theta'ya bağlı olmadığı için doğrudan cc'ye göre minimize edilebilir. Türev alınıp sıfıra eşitlendiğinde c=n+2n+1c = \frac{n+2}{n+1} bulunur. Bu katsayı ile tahmin edici n+2n+1X(n)\frac{n+2}{n+1}X_{(n)} olur. Bu cc değeri risk denkleminde yerine konulduğunda minimum risk değeri 1(n+1)2\frac{1}{(n+1)^2} olarak elde edilir.

Adım Adım Çözüm

1
X(n)X_{(n)} (örneklem maksimumu) istatistiğinin olasılık yoğunluk fonksiyonunu belirle.
f(y)=nyn1θn,0<y<θf(y) = \frac{n y^{n-1}}{\theta^n}, \quad 0 < y < \theta
Risk fonksiyonunu hesaplayabilmek için X(n)X_{(n)}'in dağılımına ve beklenen değerlerine ihtiyaç vardır.
2
X(n)X_{(n)}'in birinci ve ikinci momentlerini (beklenen değerlerini) hesapla.
E[X(n)]=nn+1θE[X_{(n)}] = \frac{n}{n+1}\theta ve E[X(n)2]=nn+2θ2E[X_{(n)}^2] = \frac{n}{n+2}\theta^2
Kayıp fonksiyonunda δ(X)2\delta(X)^2 ve δ(X)\delta(X) terimleri yer aldığından bu momentler kullanılacaktır.
3
Verilen kayıp fonksiyonu için Risk fonksiyonunu R(θ,cX(n))R(\theta, cX_{(n)}) oluştur.
R(θ,cX(n))=E[(cX(n)θ1)2]=c2θ2E[X(n)2]2cθE[X(n)]+1R(\theta, c X_{(n)}) = E\left[ \left( \frac{c X_{(n)}}{\theta} - 1 \right)^2 \right] = \frac{c^2}{\theta^2} E[X_{(n)}^2] - \frac{2c}{\theta} E[X_{(n)}] + 1
Risk, kayıp fonksiyonunun beklenen değeridir ve minimax tahmin ediciyi bulmak için bu fonksiyon analiz edilmelidir.
4
Moment değerlerini Risk fonksiyonunda yerine koy.
R(c)=c2θ2(nn+2θ2)2cθ(nn+1θ)+1=c2nn+22cnn+1+1R(c) = \frac{c^2}{\theta^2} \left( \frac{n}{n+2}\theta^2 \right) - \frac{2c}{\theta} \left( \frac{n}{n+1}\theta \right) + 1 = c^2 \frac{n}{n+2} - 2c \frac{n}{n+1} + 1
Görüldüğü üzere, ölçeklenmiş kayıp fonksiyonu sayesinde Risk değeri θ\theta'dan bağımsız sabit bir değere dönüşmüştür.
5
Riski minimize eden cc sabitini bulmak için fonksyionun cc'ye göre türevini al ve sıfıra eşitle.
dRdc=2cnn+22nn+1=0    c=n+2n+1\frac{d R}{d c} = 2c \frac{n}{n+2} - 2 \frac{n}{n+1} = 0 \implies c = \frac{n+2}{n+1}
Tahmin edicilerin riski sabit olduğundan, bu sınıf içindeki minimax tahmin edici basitçe riski en küçük yapan cc değerine karşılık gelir.
6
Bulunan cc değerini Risk fonksiyonunda yerine koyarak minimum riski hesapla.
Rmin=(n+2n+1)2nn+22(n+2n+1)nn+1+1=n(n+2)(n+1)22n(n+2)(n+1)2+1=1n2+2n(n+1)2=1(n+1)2R_{min} = \left(\frac{n+2}{n+1}\right)^2 \frac{n}{n+2} - 2\left(\frac{n+2}{n+1}\right)\frac{n}{n+1} + 1 = \frac{n(n+2)}{(n+1)^2} - \frac{2n(n+2)}{(n+1)^2} + 1 = 1 - \frac{n^2+2n}{(n+1)^2} = \frac{1}{(n+1)^2}
Soruda hem tahmin edici hem de ona ait sabit minimax risk değeri istenmektedir.

Anahtar Kavram

Ölçeklenmiş Kayıp Fonksiyonları Altında Minimax Tahmin
Soru 190Soru

Bir kamu kurumunun analiz biriminde, belirli bir hizmet noktasına gelen günlük başvuru sayıları λ\lambda parametreli Poisson dağılımına uygun olarak modellenmektedir. Kurum uzmanları, nn günlük bağımsız gözlem sonuçlarının ortalaması olan Xˉ\bar{X} istatistiğini λ\lambda parametresi için tahmin edici olarak kullanmaktadır.

Tahmin sürecinde, hataların parametre büyüklüğüne göre oransal etkisini dikkate alan ağırlıklandırılmış karesel kayıp fonksiyonu L(λ,Xˉ)=(Xˉλ)2λL(\lambda, \bar{X}) = \frac{(\bar{X} - \lambda)^2}{\lambda} olarak tanımlanmıştır.

Buna göre, uzmanların kullandığı Xˉ\bar{X} tahmin edicisinin risk fonksiyonu R(λ,Xˉ)R(\lambda, \bar{X}) aşağıdakilerden hangisine eşittir?

Cevabı ve açıklamayı göster

Cevap: 1n\frac{1}{n}

Cevap

Risk fonksiyonunun değeri 1n\frac{1}{n} olarak hesaplanır.
Risk fonksiyonu R(θ,θ^)R(\theta, \hat{\theta}), tanımlanan kayıp fonksiyonunun beklenen değerine eşittir. Verilen L(λ,Xˉ)L(\lambda, \bar{X}) fonksiyonunun beklenen değerini aldığımızda, 1/λ1/\lambda sabit çarpanı dışarı çıkar. Geriye kalan E[(Xˉλ)2]E[(\bar{X} - \lambda)^2] ifadesi, Xˉ\bar{X} yansız bir tahmin edici olduğu için doğrudan Xˉ\bar{X}'in varyansını (Var(Xˉ\bar{X})) verir. Poisson dağılımında kitle varyansı λ\lambda'dır; dolayısıyla nn hacimli örneklemin ortalamasının varyansı λ/n\lambda/n'dir. Bu değeri risk formülünde yerine yazdığımızda 1/λ(λ/n)1/\lambda \cdot (\lambda/n) sadeleşerek geriye 1/n1/n kalır. Bu durum, bu tahmin edicinin riskinin parametre değerinden bağımsız ve sabit olduğunu gösterir.

Adım Adım Çözüm

1
Risk fonksiyonunun tanımını kayıp fonksiyonunun beklenen değeri olarak yazın.
R(λ,Xˉ)=E[L(λ,Xˉ)]R(\lambda, \bar{X}) = E[L(\lambda, \bar{X})]
Risk fonksiyonu, kullanılan kayıp fonksiyonunun örneklem uzayı üzerindeki beklenen (ortalaması alınan) değeridir.
2
Verilen L(λ,Xˉ)L(\lambda, \bar{X}) fonksiyonunu beklenen değer formülünde yerine koyun.
R(λ,Xˉ)=E[(Xˉλ)2λ]R(\lambda, \bar{X}) = E\left[\frac{(\bar{X} - \lambda)^2}{\lambda}\right]
Soru kökünde ağırlıklandırılmış karesel kayıp fonksiyonu tanımlanmıştır.
3
Beklenen değer operatörünün doğrusal özelliğini kullanarak sabiti (1λ\frac{1}{\lambda}) dışarı alın.
R(λ,Xˉ)=1λE[(Xˉλ)2]R(\lambda, \bar{X}) = \frac{1}{\lambda} E[(\bar{X} - \lambda)^2]
λ\lambda bilinen bir parametredir ve beklenen değer işlemi rastgele değişken olan Xˉ\bar{X} üzerinden yapılmaktadır.
4
E[(Xˉλ)2]E[(\bar{X} - \lambda)^2] ifadesinin istatistiksel karşılığını belirleyin.
E[(XˉE[Xˉ])2]=Var(Xˉ)E[(\bar{X} - E[\bar{X}])^2] = Var(\bar{X})
Xˉ\bar{X}, λ\lambda için yansız bir tahmin edicidir (E[Xˉ]=λE[\bar{X}] = \lambda). Bu nedenle tahmin hatasının karesinin beklenen değeri doğrudan Xˉ\bar{X}'in varyansına eşittir.
5
Poisson dağılımı için örneklem ortalamasının varyansını hesaplayın ve yerine koyarak işlemi tamamlayın.
Var(Xˉ)=Var(X)n=λnVar(\bar{X}) = \frac{Var(X)}{n} = \frac{\lambda}{n} olduğundan; R(λ,Xˉ)=1λλn=1nR(\lambda, \bar{X}) = \frac{1}{\lambda} \cdot \frac{\lambda}{n} = \frac{1}{n} bulunur.
Risk değerini λ\lambda ve nn cinsinden sadeleştirmek sonuca ulaşmayı sağlar.

Anahtar Kavram

Risk Fonksiyonunun Beklenen Değer ile Hesaplanması
Soru 191Soru
X1,X2,,XnX_1, X_2, \ldots, X_n rastgele örneklemi, olasılık yoğunluk fonksiyonu
f(x;θ)={e(xθ),x>θ0,dig˘erf(x; \theta) = \begin{cases} e^{-(x-\theta)}, & x > \theta \\ 0, & \text{diğer} \end{cases}
olan dağılımdan alınmıştır.

Lehmann-Scheffe teoremi kullanılarak θ2\theta^2 parametresi için Düzgün En Küçük Varyanslı Yansız Tahmin Edici (UMVUE) aşağıdakilerden hangisidir?
(Burada X(1)=min(X1,X2,,Xn)X_{(1)} = \min(X_1, X_2, \ldots, X_n) ve Xˉ=1ni=1nXi\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i olarak tanımlanmıştır.)

Cevabı ve açıklamayı göster

Cevap: X(1)22nX(1)X_{(1)}^2 - \frac{2}{n}X_{(1)}

Cevap

θ2\theta^2 için Düzgün En Küçük Varyanslı Yansız Tahmin Edici (UMVUE) X(1)22nX(1)X_{(1)}^2 - \frac{2}{n}X_{(1)} ifadesidir.
Lehmann-Scheffe teoremine göre, tam ve yeterli bir istatistiğin yansız herhangi bir fonksiyonu, o parametre için benzersiz Düzgün En Küçük Varyanslı Yansız Tahmin Edicidir (UMVUE). Burada X(1)X_{(1)} tam ve yeterlidir. Moment özelliklerinden E[X(1)22nX(1)]=θ2E[X_{(1)}^2 - \frac{2}{n}X_{(1)}] = \theta^2 eşitliği sağlanır, bu nedenle doğru tahmin edici budur.

Adım Adım Çözüm

1
Yeterli ve tam istatistiği belirlemek.
Neyman Çarpanlara Ayırma Teoremi'ne göre, gösterge fonksiyonu I(x(1)>θ)I(x_{(1)} > \theta) olabilirlik fonksiyonunda yer aldığından, X(1)=min(Xi)X_{(1)} = \min(X_i) tam ve yeterli istatistiktir.
Lehmann-Scheffe teoremini uygulamak için tam ve yeterli bir istatistiğe ihtiyaç vardır.
2
X(1)X_{(1)}'in olasılık dağılımını ve beklenen değerini bulmak.
X(1)X_{(1)}'in dağılımı fX(1)(t)=nen(tθ), t>θf_{X_{(1)}}(t) = n e^{-n(t-\theta)}, \ t > \theta şeklindedir. Buradan E[X(1)]=θ+1nE[X_{(1)}] = \theta + \frac{1}{n} ve Var(X(1))=1n2Var(X_{(1)}) = \frac{1}{n^2} elde edilir.
Yansız bir tahmin edici oluşturmak için istatistiğin momentleri gereklidir.
3
X(1)2X_{(1)}^2'nin beklenen değerini (ikinci momenti) hesaplamak.
E[X(1)2]=Var(X(1))+(E[X(1)])2=1n2+(θ+1n)2=θ2+2θn+2n2E[X_{(1)}^2] = Var(X_{(1)}) + (E[X_{(1)}])^2 = \frac{1}{n^2} + (\theta + \frac{1}{n})^2 = \theta^2 + \frac{2\theta}{n} + \frac{2}{n^2} bulunur.
θ2\theta^2 parametresine ulaşabilmek için X(1)X_{(1)}'in karesinin beklenen değer açılımına bakılmalıdır.
4
θ2\theta^2 için yansız fonksiyonu oluşturmak.
Elde edilen denklemde θ2\theta^2 yalnız bırakıldığında θ2=E[X(1)2]2θn2n2\theta^2 = E[X_{(1)}^2] - \frac{2\theta}{n} - \frac{2}{n^2} olur. Denklemdeki θ\theta yerine yansız tahmin edicisi olan (X(1)1n)(X_{(1)} - \frac{1}{n}) yazılırsa: θ2=E[X(1)22n(X(1)1n)2n2]=E[X(1)22nX(1)]\theta^2 = E\left[X_{(1)}^2 - \frac{2}{n}(X_{(1)} - \frac{1}{n}) - \frac{2}{n^2}\right] = E\left[X_{(1)}^2 - \frac{2}{n}X_{(1)}\right] elde edilir. Bu nedenle UMVUE X(1)22nX(1)X_{(1)}^2 - \frac{2}{n}X_{(1)} dir.
Lehmann-Scheffe teoremine göre, tam ve yeterli istatistiğin yansız fonksiyonu benzersiz Düzgün En Küçük Varyanslı Yansız Tahmin Edicidir (UMVUE).

Anahtar Kavram

Lehmann-Scheffe Teoremi ve Beklenen Değer Özellikleri
Soru 192Soru

Bir araştırmacı, nn gözlemden oluşan bir veri setinde YY bağımlı değişkeni ile bilinen pozitif xx sabitleri arasındaki ilişkiyi orijinden geçen doğrusal regresyon modeli olan Yi=βxi+ϵi(i=1,2,,n)Y_i = \beta x_i + \epsilon_i \quad (i=1,2,\dots,n) denklemi ile tanımlamaktadır.

Bu modelde β\beta bilinmeyen bir parametredir. Hata terimleri (ϵi\epsilon_i) birbirinden bağımsız olup, beklenen değerleri E(ϵi)=0E(\epsilon_i) = 0 ve değişen varyanslılık (heteroskedastisite) göstererek varyansları Var(ϵi)=σ2xiVar(\epsilon_i) = \sigma^2 x_i özelliğine sahiptir.

Araştırmacı, bu model için iki farklı tahmin edici hesaplamaktadır:
1. Sıradan (ağırlıksız) En Küçük Kareler (EKK) tahmin edicisi: β^EKK\hat{\beta}_{EKK}
2. Gauss-Markov teoremi uyarınca bu değişen varyanslı model için elde edilebilecek En İyi Doğrusal Yansız Tahmin Edici (BLUE): β~\tilde{\beta}

Buna göre, sıradan EKK tahmin edicisinin varyansının, BLUE'nun varyansına oranı olan Var(β^EKK)Var(β~)\frac{Var(\hat{\beta}_{EKK})}{Var(\tilde{\beta})} değeri aşağıdakilerden hangisine eşittir?

Cevabı ve açıklamayı göster

Cevap: (i=1nxi)(i=1nxi3)(i=1nxi2)2\frac{(\sum_{i=1}^n x_i)(\sum_{i=1}^n x_i^3)}{(\sum_{i=1}^n x_i^2)^2}

Cevap

Sıradan EKK varyansının, BLUE varyansına oranı (i=1nxi)(i=1nxi3)(i=1nxi2)2\frac{(\sum_{i=1}^n x_i)(\sum_{i=1}^n x_i^3)}{(\sum_{i=1}^n x_i^2)^2} ifadesine eşittir.
Sıradan EKK tahmin edicisi hata kareler toplamını minimize ederek β^EKK=xiYixi2\hat{\beta}_{EKK} = \frac{\sum x_i Y_i}{\sum x_i^2} olarak bulunur. Bu tahmin edicinin varyansı heteroskedastik yapı (Var(ϵi)=σ2xiVar(\epsilon_i) = \sigma^2 x_i) dikkate alınarak hesaplandığında σ2xi3(xi2)2\sigma^2 \frac{\sum x_i^3}{(\sum x_i^2)^2} olur. Model, Gauss-Markov şartlarını sağlayacak şekilde xi\sqrt{x_i} değerine bölündüğünde elde edilen En İyi Doğrusal Yansız Tahmin Edici (BLUE) β~=Yixi\tilde{\beta} = \frac{\sum Y_i}{\sum x_i} şeklindedir ve varyansı σ2xi\frac{\sigma^2}{\sum x_i}'dir. Bu iki varyans birbirine oranlandığında doğru ifade olan (i=1nxi)(i=1nxi3)(i=1nxi2)2\frac{(\sum_{i=1}^n x_i)(\sum_{i=1}^n x_i^3)}{(\sum_{i=1}^n x_i^2)^2} değerine ulaşılır.

Adım Adım Çözüm

1
Sıradan EKK tahmin edicisinin (β^EKK\hat{\beta}_{EKK}) katsayısını türet.
(Yiβxi)2\sum (Y_i - \beta x_i)^2 minimize edilerek β^EKK=i=1nxiYii=1nxi2\hat{\beta}_{EKK} = \frac{\sum_{i=1}^n x_i Y_i}{\sum_{i=1}^n x_i^2} elde edilir.
Sıradan EKK yöntemi, hata terimlerinin varyans yapısını dikkate almadan doğrudan hata kareler toplamını minimize eder.
2
Sıradan EKK tahmin edicisinin varyansını hesapla.
Var(β^EKK)=Var(xiYixi2)=xi2Var(Yi)(xi2)2=xi2(σ2xi)(xi2)2=σ2i=1nxi3(i=1nxi2)2Var(\hat{\beta}_{EKK}) = Var\left(\frac{\sum x_i Y_i}{\sum x_i^2}\right) = \frac{\sum x_i^2 Var(Y_i)}{(\sum x_i^2)^2} = \frac{\sum x_i^2 (\sigma^2 x_i)}{(\sum x_i^2)^2} = \sigma^2 \frac{\sum_{i=1}^n x_i^3}{(\sum_{i=1}^n x_i^2)^2}
Var(ciYi)=ci2Var(Yi)Var(\sum c_i Y_i) = \sum c_i^2 Var(Y_i) bağımsızlık kuralı gereğidir ve soruda Var(Yi)=Var(ϵi)=σ2xiVar(Y_i) = Var(\epsilon_i) = \sigma^2 x_i olarak verilmiştir.
3
Değişen varyansı (heteroskedastisite) düzeltmek için Gauss-Markov koşullarını sağlayan dönüştürülmüş modeli ve BLUE (β~\tilde{\beta}) tahmin edicisini türet.
Model denklemi xi\sqrt{x_i}'ye bölünür: Yixi=βxi+ϵixi\frac{Y_i}{\sqrt{x_i}} = \beta \sqrt{x_i} + \frac{\epsilon_i}{\sqrt{x_i}}. Yeni varyans Var(ϵixi)=1xiσ2xi=σ2Var\left(\frac{\epsilon_i}{\sqrt{x_i}}\right) = \frac{1}{x_i}\sigma^2 x_i = \sigma^2 sabit olur. Bu modele EKK uygulandığında: β~=(xi)(Yixi)(xi)2=i=1nYii=1nxi\tilde{\beta} = \frac{\sum (\sqrt{x_i})\left(\frac{Y_i}{\sqrt{x_i}}\right)}{\sum (\sqrt{x_i})^2} = \frac{\sum_{i=1}^n Y_i}{\sum_{i=1}^n x_i} elde edilir.
Sabit varyans (homoskedastisite) varsayımını sağlamak için Ağırlıklı En Küçük Kareler (WLS) yaklaşımı ile Gauss-Markov teoremine uygun BLUE elde edilmelidir.
4
BLUE tahmin edicisinin (β~\tilde{\beta}) varyansını hesapla.
Var(β~)=Var(Yixi)=Var(Yi)(xi)2=(σ2xi)(xi)2=σ2i=1nxi(i=1nxi)2=σ2i=1nxiVar(\tilde{\beta}) = Var\left(\frac{\sum Y_i}{\sum x_i}\right) = \frac{\sum Var(Y_i)}{(\sum x_i)^2} = \frac{\sum (\sigma^2 x_i)}{(\sum x_i)^2} = \sigma^2 \frac{\sum_{i=1}^n x_i}{(\sum_{i=1}^n x_i)^2} = \frac{\sigma^2}{\sum_{i=1}^n x_i}
Yeni katsayılar üzerinden klasik varyans operatörü özellikleri uygulanır.
5
Bulunan varyansların oranını hesapla.
Var(β^EKK)Var(β~)=σ2xi3/(xi2)2σ2/xi=(i=1nxi)(i=1nxi3)(i=1nxi2)2\frac{Var(\hat{\beta}_{EKK})}{Var(\tilde{\beta})} = \frac{\sigma^2 \sum x_i^3 / (\sum x_i^2)^2}{\sigma^2 / \sum x_i} = \frac{(\sum_{i=1}^n x_i)(\sum_{i=1}^n x_i^3)}{(\sum_{i=1}^n x_i^2)^2}
İstenen etkinlik (efficiency) oranı, elde edilen iki varyans değerinin birbirine bölünmesiyle bulunur.

Anahtar Kavram

Değişen varyans (Heteroskedastisite) altında En Küçük Kareler ve BLUE özellikleri
Soru 193Soru

Sürekli bir kitleye ait olasılık yoğunluk fonksiyonu aşağıdaki biçimde tanımlanmıştır:

f(x;θ)={2xθ,0xθ0,dig˘er durumlardaf(x; \theta) = \begin{cases} \frac{2x}{\theta}, & 0 \leq x \leq \sqrt{\theta} \\ 0, & \text{diğer durumlarda} \end{cases}

Bu kitleye ait nn çaplı bağımsız rastgele örneklem üzerinden θ\theta parametresi (θ>0{\theta > 0}) için

T=1ni=1nXi2T = \frac{1}{n} \sum_{i=1}^n X_i^2

istatistiği oluşturulmuştur.

Buna göre, TT istatistiğinin Hata Kareler Ortalaması (MSE) aşağıdakilerden hangisine eşittir?

Cevabı ve açıklamayı göster

Cevap: 3n+112nθ2\frac{3n+1}{12n}\theta^2

Cevap

3n+112nθ2\frac{3n+1}{12n}\theta^2
MSE (Hata Kareler Ortalaması), tahmin edicinin varyansı ile yan miktarının (bias) karesinin toplamına eşittir. Verilen olasılık yoğunluk fonksiyonu üzerinden integral alınarak E[X2]=θ/2E[X^2] = \theta/2 bulunur. Örneklem ortalaması yapısındaki TT istatistiğinin beklenen değeri de θ/2\theta/2 olup, yan miktarı θ/2-\theta/2 olarak hesaplanır. Ardından E[X4]=θ2/3E[X^4] = \theta^2/3 bulunarak X2X^2'nin varyansı θ2/12\theta^2/12 elde edilir. Bu durumda TT'nin varyansı θ2/(12n)\theta^2/(12n) olur. MSE formülü uygulandığında, θ2/(12n)+(θ/2)2=3n+112nθ2\theta^2/(12n) + (\theta/2)^2 = \frac{3n+1}{12n}\theta^2 sonucuna ulaşılır.

Adım Adım Çözüm

1
X2X^2'nin beklenen değerini hesaplayarak TT tahmin edicisinin yan miktarını (Bias) bul.
E[X2]=0θx22xθdx=2θ[x44]0θ=θ2E[X^2] = \int_0^{\sqrt{\theta}} x^2 \frac{2x}{\theta} dx = \frac{2}{\theta} \left[ \frac{x^4}{4} \right]_0^{\sqrt{\theta}} = \frac{\theta}{2}. Buradan E[T]=θ2E[T] = \frac{\theta}{2} ve Yan =E[T]θ=θ2= E[T] - \theta = -\frac{\theta}{2} elde edilir.
MSE formülünde kullanılacak olan yan miktarını (Bias) belirlemek için tahmin edicinin beklenen değeri gereklidir.
2
X4X^4'ün beklenen değerini hesaplayarak X2X^2'nin varyansını bul.
E[X4]=0θx42xθdx=2θ[x66]0θ=θ23E[X^4] = \int_0^{\sqrt{\theta}} x^4 \frac{2x}{\theta} dx = \frac{2}{\theta} \left[ \frac{x^6}{6} \right]_0^{\sqrt{\theta}} = \frac{\theta^2}{3}. Varyans formülünden Var(X2)=E[X4](E[X2])2=θ23θ24=θ212Var(X^2) = E[X^4] - (E[X^2])^2 = \frac{\theta^2}{3} - \frac{\theta^2}{4} = \frac{\theta^2}{12} bulunur.
Tahmin edicinin varyansını hesaplayabilmek için öncelikle örneği oluşturan Xi2X_i^2 terimlerinin varyansına ihtiyaç vardır.
3
TT tahmin edicisinin varyansını hesapla.
Var(T)=Var(1nXi2)=1n2nVar(X2)=1nθ212=θ212nVar(T) = Var\left(\frac{1}{n} \sum X_i^2\right) = \frac{1}{n^2} \cdot n \cdot Var(X^2) = \frac{1}{n} \cdot \frac{\theta^2}{12} = \frac{\theta^2}{12n}.
Bağımsız rastgele değişkenlerin toplamının varyansı, varyansların toplamına eşittir ve katsayı karesi alınarak dışarı çıkar.
4
Varyans ile yan miktarının karesini toplayarak MSE değerini elde et.
MSE(T)=Var(T)+Bias2=θ212n+(θ2)2=θ212n+θ24=1+3n12nθ2MSE(T) = Var(T) + Bias^2 = \frac{\theta^2}{12n} + \left(-\frac{\theta}{2}\right)^2 = \frac{\theta^2}{12n} + \frac{\theta^2}{4} = \frac{1+3n}{12n}\theta^2.
Hata Kareler Ortalaması, teorik olarak Var(T)+[E[T]θ]2Var(T) + [E[T]-\theta]^2 formülü ile ifade edilir.

Anahtar Kavram

Tahmin Edicilerde Hata Kareler Ortalaması (MSE) ve Yan-Varyans Ayrışımı
Soru 194Soru

Bir kamu kurumu uzmanı, bir hizmetin işlem sürelerini analiz ederken verilerin f(x;θ)=θxθ1f(x; \theta) = \theta x^{\theta-1} (0<x<1,θ>00 < x < 1, \theta > 0) olasılık yoğunluk fonksiyonuna sahip bir dağılımdan geldiğini öngörmektedir. Rastgele seçilen nn hacimli bir örneklem (X1,X2,,XnX_1, X_2, \dots, X_n) üzerinden θ\theta parametresini tahmin etmek amacıyla,

Tn=ni=1nlnXiT_n = -\frac{n}{\sum_{i=1}^n \ln X_i}

istatistiği önerilmiştir. (Bilgi: XX belirtilen dağılıma sahipken lnX-\ln X rastgele değişkeni üstel dağılıma uymaktadır.)

Bu TnT_n tahmin edicisinin özellikleri ve tutarlılığı (consistency) incelendiğinde, aşağıdakilerden hangisi doğrudur?

Cevabı ve açıklamayı göster

Cevap: Belirli bir nn hacminde beklenen değeri θ\theta'dan farklı olduğundan yanlıdır; buna karşın örneklem çapı büyüdükçe parametreye olasılıkta yakınsadığı için tutarlıdır.

Cevap

Doğru yanıt, tahmin edicinin belirli bir n hacmi için yanlı olduğunu ancak örneklem çapı büyüdükçe parametreye olasılıkta yakınsadığı için tutarlı olduğunu belirten ifadedir.
Verilen dağılımdan Yi=lnXiY_i = -\ln X_i dönüşümü yapıldığında YiY_i değişkeninin üstel dağılıma (Exp(θ)Exp(\theta)) sahip olduğu görülür. TnT_n tahmin edicisi, örneklem ortalamasının tersi olan 1/Yˉ1/\bar{Y} formundadır. Zayıf Büyük Sayılar Yasası gereği Yˉ\bar{Y} olasılıkta 1/θ1/\theta'ya yakınsar. Sürekli Dönüşüm Teoremi kullanıldığında 1/Yˉ1/\bar{Y}'nin de olasılıkta θ\theta'ya yakınsadığı, dolayısıyla TnT_n'nin tutarlı bir tahmin edici olduğu kanıtlanır. Ancak, Gamma dağılımı özellikleri üzerinden beklenen değeri hesaplandığında E(Tn)=nn1θE(T_n) = \frac{n}{n-1}\theta bulunur ki bu, tahmin edicinin sonlu örneklemlerde yanlı olduğunu kesinleştirir.

Adım Adım Çözüm

1
Verilen f(x;θ)f(x; \theta) yoğunluk fonksiyonu üzerinden Yi=lnXiY_i = -\ln X_i dönüşümü yapılarak YiY_i'nin dağılımının belirlenmesi.
YiExp(θ)Y_i \sim Exp(\theta) olduğu ve E(Yi)=1/θE(Y_i) = 1/\theta olduğu bulunur.
TnT_n tahmin edicisinin paydasındaki toplamın olasılıksal davranışını analiz edebilmek için dönüşüm gereklidir.
2
Zayıf Büyük Sayılar Yasası (WLLN) kullanılarak Yˉ\bar{Y}'nin asimptotik davranışının incelenmesi.
Yˉ=1nYiP1/θ\bar{Y} = \frac{1}{n} \sum Y_i \xrightarrow{P} 1/\theta şeklinde olasılıkta yakınsama tespit edilir.
Tahmin edicinin tutarlılığını kanıtlamak için örneklem ortalamasının limit durumu temel alınmalıdır.
3
Sürekli Dönüşüm Teoremi (Continuous Mapping Theorem - CMT) uygulanarak TnT_n'nin limitinin hesaplanması.
Tn=1YˉT_n = \frac{1}{\bar{Y}} sürekli bir fonksiyon olduğundan TnP11/θ=θT_n \xrightarrow{P} \frac{1}{1/\theta} = \theta bulunur. Dolayısıyla TnT_n tutarlıdır.
Bir istatistiğin sürekli bir fonksiyonunun olasılık limiti, o istatistiğin limitinin fonksiyonuna eşittir.
4
Tahmin edicinin beklenen değerinin (yansızlığının) Gamma dağılımı özellikleri ile incelenmesi.
YiGamma(n,θ)\sum Y_i \sim Gamma(n, \theta) olduğundan E(Tn)=nE((Yi)1)=nn1θθE(T_n) = n E((\sum Y_i)^{-1}) = \frac{n}{n-1}\theta \neq \theta hesaplanır. Tahmin edici yanlıdır.
Tutarlılık ile yansızlık kavramlarının farkını ortaya koymak için sonlu örneklem hacminde beklenti kontrol edilmelidir.

Anahtar Kavram

Tahmin Edicilerin Tutarlılığı (Consistency) ve Sürekli Dönüşüm Teoremi

Alternatif Yöntem

Tutarlılık ispatı için Chebyshev Eşitsizliği de kullanılabilir, ancak bunun için Var(Tn)Var(T_n) değerinin limit durumunda sıfıra gittiğini ispatlamak gerekir ki bu yol daha fazla cebirsel işlem gerektirir. CMT yaklaşımı çok daha analitik ve hızlıdır.
Tahmini Süre:2m 30s
Soru 195Soru

Bir kalite kontrol mühendisi, yeni nesil bir elektronik parçanın dayanım süresini saat cinsinden incelemektedir. Bu dayanım sürelerinin, θ>0\theta > 0 bilinmeyen bir parametre olmak üzere, (θ,2θ)(\theta, 2\theta) aralığında sürekli üniform dağılıma sahip olduğu varsayılmaktadır. Mühendis, nn adet parçayı test ederek X1,X2,,XnX_1, X_2, \dots, X_n rastgele örneklem değerlerini elde etmiştir.

Buna göre, Neyman Çarpanlara Ayırma Teoremi kullanıldığında θ\theta parametresi için ortak yeterli (sufficient) istatistik aşağıdakilerden hangisidir? (Burada X(1)X_{(1)} en küçük sıra istatistiğini, X(n)X_{(n)} ise en büyük sıra istatistiğini göstermektedir.)

Cevabı ve açıklamayı göster

Cevap: (X(1),X(n))(X_{(1)}, X_{(n)})

Cevap

θ\theta parametresi için ortak yeterli istatistik (X(1),X(n))(X_{(1)}, X_{(n)}) vektörüdür.
Verilen dağılımda alt sınır θ\theta, üst sınır ise 2θ2\theta'dır. Olasılık yoğunluk fonksiyonundaki gösterge fonksiyonları çarpıldığında, parametrenin sınırladığı bölge I(θX(1))I(\theta \leq X_{(1)}) ve I(X(n)2θ)I(X_{(n)} \leq 2\theta) olarak karşımıza çıkar. Neyman Çarpanlara Ayırma Teoremi uygulandığında olabilirlik fonksiyonu g(X(1),X(n),θ)g(X_{(1)}, X_{(n)}, \theta) ve h(x)h(\mathbf{x}) olarak ayrılır. θ\theta sadece en küçük ve en büyük sıra istatistikleri ile birlikte bulunduğu için her iki istatistik de zorunludur ve ortak yeterli istatistik (X(1),X(n))(X_{(1)}, X_{(n)}) vektörüdür.

Adım Adım Çözüm

1
Kitleden alınan tek bir gözlemin olasılık yoğunluk fonksiyonunu (pdf) gösterge (indicator) fonksiyonu yardımıyla ifade et.
f(x;θ)=12θθ=1θI(θx2θ)f(x; \theta) = \frac{1}{2\theta - \theta} = \frac{1}{\theta} \cdot I(\theta \leq x \leq 2\theta)
Dağılımın sınırları bilinmeyen θ\theta parametresine bağlı olduğunda, yeterli istatistiği bulabilmek için sınırların gösterge fonksiyonu ile açıkça yazılması şarttır.
2
nn çaplı örneklem için olabilirlik (likelihood) fonksiyonunu oluştur.
L(θ;x)=i=1nf(xi;θ)=1θni=1nI(θxi2θ)L(\theta; \mathbf{x}) = \prod_{i=1}^{n} f(x_i; \theta) = \frac{1}{\theta^n} \prod_{i=1}^{n} I(\theta \leq x_i \leq 2\theta)
Neyman Çarpanlara Ayırma Teoremi, ortak olasılık (olabilirlik) fonksiyonunun incelenmesine dayanır.
3
Gösterge fonksiyonlarının çarpımını, sıra istatistikleri cinsinden tek bir ifadeye dönüştür.
Tüm xix_i değerlerinin θ\theta ile 2θ2\theta arasında olması, en küçük değerin θ\theta'dan büyük veya eşit, en büyük değerin ise 2θ2\theta'dan küçük veya eşit olmasını gerektirir: I(θX(1))I(X(n)2θ)I(\theta \leq X_{(1)}) \cdot I(X_{(n)} \leq 2\theta). Buna göre L(θ;x)=1θnI(X(n)2θX(1))L(\theta; \mathbf{x}) = \frac{1}{\theta^n} \cdot I(\frac{X_{(n)}}{2} \leq \theta \leq X_{(1)}) elde edilir.
Çarpım durumundaki gösterge fonksiyonlarının sınır şartları, örneklemin sadece minimum ve maksimum değerlerine indirgenebilir.
4
Neyman Çarpanlara Ayırma Teoremini uygulayarak istatistiği belirle.
L(θ;x)=g(T(x),θ)h(x)L(\theta; \mathbf{x}) = g(T(\mathbf{x}), \theta) \cdot h(\mathbf{x}) formatında; h(x)=1h(\mathbf{x}) = 1 ve g(T(x),θ)=1θnI(X(n)2θX(1))g(T(\mathbf{x}), \theta) = \frac{1}{\theta^n} I(\frac{X_{(n)}}{2} \leq \theta \leq X_{(1)}) olarak bulunur. Fonksiyon θ\theta'ya X(1)X_{(1)} ve X(n)X_{(n)} aracılığıyla bağlandığından ortak yeterli istatistik (X(1),X(n))(X_{(1)}, X_{(n)})'dir.
Teoreme göre θ\theta'yı ve veriyi bir arada barındıran gg fonksiyonunun veriye bağlı kısmı yeterli istatistiktir.

Anahtar Kavram

Neyman Çarpanlara Ayırma Teoremi (Neyman Factorization Theorem) ve Gösterge Fonksiyonları
Soru 196Soru

Bir sigorta şirketine belirli bir branşta günlük gelen hasar ihbar sayısının XPoisson(λ)X \sim \text{Poisson}(\lambda) dağılımına uyduğu varsayılmaktadır. Bu branşta herhangi bir günde *hiç hasar ihbarı gelmeme* olasılığı olan η=P(X=0)=eλ\eta = P(X=0) = e^{-\lambda} parametresi, birbirinden bağımsız nn günlük rastgele bir örneklem (X1,X2,,XnX_1, X_2, \ldots, X_n) kullanılarak tahmin edilmek istenmektedir.

Buna göre, η\eta parametresinin en çok olabilirlik tahmin edicisi (MLE) η^\hat{\eta} ve bu tahmin edicinin özellikleri hakkında aşağıdaki ifadelerden hangisi kesinlikle doğrudur?

Cevabı ve açıklamayı göster

Cevap: η^=eXˉ\hat{\eta} = e^{-\bar{X}} şeklinde elde edilir; değişmezlik (invariance) özelliği gereği tutarlı bir tahmin edici olmasına rağmen sonlu örneklemlerde yanlıdır ve asimptotik varyansı λe2λn\frac{\lambda e^{-2\lambda}}{n} olarak hesaplanır.

Cevap

η^=eXˉ\hat{\eta} = e^{-\bar{X}} tahmin edicisi tutarlıdır, ancak sonlu örneklemlerde yanlıdır ve asimptotik varyansı λe2λn\frac{\lambda e^{-2\lambda}}{n}'dir.
Poisson dağılımında parametre λ\lambda'nın en çok olabilirlik tahmin edicisi (MLE) Xˉ\bar{X}'tir. Değişmezlik (invariance) prensibi kullanılarak η=eλ\eta = e^{-\lambda} parametresinin MLE'si η^=eXˉ\hat{\eta} = e^{-\bar{X}} olarak bulunur. exe^{-x} dışbükey (konveks) bir fonksiyon olduğu için Jensen Eşitsizliği uyarınca E[eXˉ]>eλE[e^{-\bar{X}}] > e^{-\lambda}'dır, dolayısıyla sonlu örneklemlerde yanlıdır (biased). Ancak Sürekli Dönüşüm Teoremi uyarınca tutarlıdır (consistent). Asimptotik varyansı ise Delta Metodu (Avar(g(θ^))=[g(θ)]2Avar(θ^)Avar(g(\hat{\theta})) = [g'(\theta)]^2 \cdot Avar(\hat{\theta})) ile hesaplanır: g(λ)=eλg'(\lambda) = -e^{-\lambda}'nın karesi e2λe^{-2\lambda} ve Xˉ\bar{X}'in asimptotik varyansı λ/n\lambda/n çarpıldığında sonuç λe2λn\frac{\lambda e^{-2\lambda}}{n} olarak elde edilir.

Adım Adım Çözüm

1
λ\lambda parametresi için En Çok Olabilirlik Tahmin Edicisini (MLE) bul.
Poisson dağılımı için olabilirlik fonksiyonunun logaritması alınıp türevlendiğinde λ^=Xˉ\hat{\lambda} = \bar{X} (örneklem ortalaması) bulunur.
MLE'nin değişmezlik özelliğini kullanmadan önce temel parametrenin tahmin edicisine ihtiyaç vardır.
2
MLE'nin değişmezlik (invariance) prensibini uygula.
η=eλ\eta = e^{-\lambda} olduğundan, tahmin edici doğrudan η^=eλ^=eXˉ\hat{\eta} = e^{-\hat{\lambda}} = e^{-\bar{X}} olarak elde edilir.
Değişmezlik kuralı, τ(θ)\tau(\theta)'nın MLE'sinin τ(θ^)\tau(\hat{\theta}) olduğunu söyler.
3
Tahmin edicinin yansızlık (unbiasedness) özelliğini kontrol et.
f(x)=exf(x) = e^{-x} fonksiyonu kesin dışbükeydir (strictly convex). Jensen Eşitsizliği gereği E[eXˉ]>eE[Xˉ]=eλE[e^{-\bar{X}}] > e^{-E[\bar{X}]} = e^{-\lambda} olur. Bu nedenle sonlu örneklemlerde yanlıdır (bias içerir).
Yansız bir tahmin edicinin doğrusal olmayan bir fonksiyonu genel olarak yansızlık özelliğini korumaz.
4
Tahmin edicinin tutarlılığını (consistency) Sürekli Dönüşüm Teoremi (Continuous Mapping Theorem) ile değerlendir.
Zayıf Büyük Sayılar Yasası'na göre XˉPλ\bar{X} \xrightarrow{P} \lambda dır. g(t)=etg(t) = e^{-t} sürekli bir fonksiyon olduğundan eXˉPeλe^{-\bar{X}} \xrightarrow{P} e^{-\lambda} olur. Tahmin edici tutarlıdır.
MLE'ler asimptotik olarak yansız ve tutarlıdır; sürekli fonksiyonları da tutarlılığı korur.
5
Delta Metodu ile asimptotik varyansı hesapla.
Avar(η^)=[g(λ)]2Avar(λ^)\text{Avar}(\hat{\eta}) = [g'(\lambda)]^2 \cdot \text{Avar}(\hat{\lambda}). Burada g(λ)=eλg(\lambda) = e^{-\lambda} ve türevi g(λ)=eλg'(\lambda) = -e^{-\lambda}'dır. XPoisson(λ)X \sim \text{Poisson}(\lambda) için Avar(Xˉ)=λn\text{Avar}(\bar{X}) = \frac{\lambda}{n}'dir. Sonuç: (eλ)2λn=λe2λn(-e^{-\lambda})^2 \cdot \frac{\lambda}{n} = \frac{\lambda e^{-2\lambda}}{n}
Büyük örneklemlerde doğrusal olmayan fonksiyonların varyansını Cramer-Rao alt sınırına ulaştıran asimptotik teorem Delta Metodudur.

Anahtar Kavram

MLE Değişmezliği, Delta Metodu ve Jensen Eşitsizliği
Soru 197Soru

Bir kimyasal sürecin reaksiyon süresi XX (dakika), ortalaması μ\mu ve varyansı σ2=10\sigma^2 = 10 olan normal dağılıma uymaktadır. μ\mu parametresi için önsel (prior) dağılımın, ortalaması 4040 ve varyansı 55 olan normal dağılım olduğu varsayılmaktadır.

Bu süreçten bağımsız olarak gözlemlenen n=8n = 8 farklı reaksiyonun ortalama süresi xˉ=45\bar{x} = 45 dakika olarak elde edilmiştir.

Buna göre, karesel hata kayıp fonksiyonu (squared error loss) kullanıldığında μ\mu parametresinin Bayes tahmini aşağıdakilerden hangisidir?

Cevabı ve açıklamayı göster

Cevap: 44

Cevap

44
Karesel hata kayıp fonksiyonu (squared error loss) söz konusu olduğunda μ\mu parametresinin Bayes tahmini, sonsal (posterior) dağılımın beklenen değeridir. Normal önsel ve normal örneklem dağılımının olduğu eşlenik (conjugate) modellerde sonsal ortalama, önsel ortalama ile örneklem ortalamasının hassasiyet (varyansın tersi) ağırlıklı ortalaması olarak hesaplanır. Formül ile hesaplandığında bu değer (1/5×40)+(8/10×45)1/5+8/10=8+361=44\frac{(1/5 \times 40) + (8/10 \times 45)}{1/5 + 8/10} = \frac{8 + 36}{1} = 44 olarak bulunur.

Adım Adım Çözüm

1
Önsel dağılım ve örneklem parametrelerini belirle.
Önsel parametreler: μN(θ0=40,τ2=5)\mu \sim N(\theta_0 = 40, \tau^2 = 5). Örneklem parametreleri: σ2=10\sigma^2 = 10, n=8n = 8, xˉ=45\bar{x} = 45.
Sonsal dağılım parametrelerini hesaplamak için modeldeki bilinen tüm değerleri sistemli şekilde tanımlamak gerekir.
2
Karesel hata kayıp fonksiyonu altındaki hedefi belirle.
Bayes tahmin edicisi, sonsal (posterior) dağılımın beklenen değeridir (E[μxˉ]E[\mu | \bar{x}]).
Karesel hata kayıp fonksiyonu (MSE) kullanıldığında, beklenen riski minimum yapan değer matematiksel olarak her zaman sonsal dağılımın ortalamasına eşittir.
3
Önsel dağılımın ve örneklem verisinin hassasiyet (precision) değerlerini hesapla.
Önsel hassasiyet =1/τ2=1/5=0.2= 1/\tau^2 = 1/5 = 0.2. Örneklem hassasiyeti (bilgi miktarı) =n/σ2=8/10=0.8= n/\sigma^2 = 8/10 = 0.8.
Normal-Normal modelinde sonsal ortalama, bu hassasiyetlerin ağırlık olarak kullanıldığı bir doğrusal birleşimdir.
4
Sonsal dağılımın ortalamasını hesapla.
μ1=(0.2×40)+(0.8×45)0.2+0.8=8+361=44\mu_1 = \frac{(0.2 \times 40) + (0.8 \times 45)}{0.2 + 0.8} = \frac{8 + 36}{1} = 44.
Sonsal ortalama formülü, önceden sahip olunan bilgi ile veriden gelen yeni bilgiyi güvenilirliklerine (hassasiyetlerine) göre birleştirir.

Anahtar Kavram

Normal Dağılım için Bayes Tahmini (Normal-Normal Eşlenik Model)
Soru 198Soru

Bir kamu araştırma merkezinde yürütülen istatistiksel çalışmada, ilgilenilen rassal değişkenin normal dağılıma sahip olduğu ve kitle varyansının σ2=1\sigma^2 = 1 olduğu bilinmektedir. Kitle ortalaması μ\mu ise bilinmeyen bir parametredir.

Bu kitleden rastgele seçilen nn birimlik X1,X2,,XnX_1, X_2, \ldots, X_n örneklemi kullanılarak, μ2\mu^2 parametresi için düzgün en küçük varyanslı yansız tahmin edici (UMVUE) elde edilmek istenmektedir. (Xˉ\bar{X}, örneklem ortalamasını göstermektedir.)

Buna göre, Lehmann-Scheffe teoremi uyarınca μ2\mu^2 parametresi için elde edilecek UMVUE aşağıdakilerden hangisidir?

Cevabı ve açıklamayı göster

Cevap: Xˉ21n\bar{X}^2 - \frac{1}{n}

Cevap

Xˉ21n\bar{X}^2 - \frac{1}{n}
Varyansı bilinen normal dağılımda örneklem ortalaması (Xˉ\bar{X}), kitle ortalaması (μ\mu) için tam ve yeterli bir istatistiktir. Varyansın tanımı gereği E[Xˉ2]=V(Xˉ)+(E[Xˉ])2E[\bar{X}^2] = V(\bar{X}) + (E[\bar{X}])^2 eşitliği geçerlidir. Örneklem ortalamasının varyansı 1n\frac{1}{n} olduğundan E[Xˉ2]=1n+μ2E[\bar{X}^2] = \frac{1}{n} + \mu^2 olur. Bu eşitlikten μ2\mu^2 çekildiğinde E[Xˉ21n]=μ2E[\bar{X}^2 - \frac{1}{n}] = \mu^2 bulunur. Lehmann-Scheffe teoremine göre, tam ve yeterli istatistiğin yansız bir fonksiyonu aranılan parametre için eşsiz UMVUE'dir. Bu nedenle doğru tahmin edici Xˉ21n\bar{X}^2 - \frac{1}{n} olmalıdır.

Adım Adım Çözüm

1
Kitle ortalaması μ\mu için tam ve yeterli istatistiği belirlemek.
Varyansı bilinen normal dağılımda, kitle ortalaması μ\mu için örneklem ortalaması Xˉ\bar{X} tam ve yeterli istatistiktir.
Lehmann-Scheffe teoremine göre UMVUE bulmak için öncelikle tam ve yeterli bir istatistik bulunmalıdır.
2
Tam ve yeterli istatistiğin dağılımını ve varyansını ifade etmek.
XiN(μ,1)X_i \sim N(\mu, 1) olduğundan, XˉN(μ,1n)\bar{X} \sim N(\mu, \frac{1}{n}) olur ve V(Xˉ)=1nV(\bar{X}) = \frac{1}{n} olarak bulunur.
μ2\mu^2 parametresine ulaşabilmek için Xˉ\bar{X}'in ikinci momentine (beklenen değerinin karesi ile ilişkisine) ihtiyaç vardır.
3
Xˉ2\bar{X}^2'nin beklenen değerini hesaplamak.
V(Xˉ)=E[Xˉ2](E[Xˉ])2V(\bar{X}) = E[\bar{X}^2] - (E[\bar{X}])^2 formülünden, 1n=E[Xˉ2]μ2\frac{1}{n} = E[\bar{X}^2] - \mu^2 denklemi yazılır ve E[Xˉ2]=μ2+1nE[\bar{X}^2] = \mu^2 + \frac{1}{n} elde edilir.
Xˉ2\bar{X}^2'nin beklenen değeri kitle parametresi ile ilişkilendirilerek yan miktarı tespit edilir.
4
Yansız tahmin ediciyi oluşturarak Lehmann-Scheffe teoremini uygulamak.
E[Xˉ21n]=μ2E[\bar{X}^2 - \frac{1}{n}] = \mu^2 elde edilir. Bu istatistik, tam ve yeterli istatistiğin bir fonksiyonu olduğu için benzersiz UMVUE'dir.
Lehmann-Scheffe teoremi gereğince, tam ve yeterli istatistiğin yansız bir fonksiyonu her zaman düzgün en küçük varyanslı yansız tahmin edicidir.

Anahtar Kavram

Tam ve yeterli istatistiklere dayalı Lehmann-Scheffe Teoremi kullanılarak en iyi yansız tahmin edicinin (UMVUE) bulunması
Tahmini Süre:2m 0s
Soru 199Soru

Bir araştırmacı, kitleye ait bilinmeyen bir θ\theta parametresini tahmin etmek amacıyla nn çaplı rastgele bir örneklem üzerinden TnT_n tahmin edicisini önermiştir.

İstatistiksel analizler sonucunda bu tahmin edicinin beklenen değeri ve varyansı sırasıyla aşağıdaki gibi elde edilmiştir:
E(Tn)=nθ3nE(T_n) = \frac{n\theta - 3}{n}
V(Tn)=4θ2nV(T_n) = \frac{4\theta^2}{n}

Buna göre, TnT_n tahmin edicisinin yansızlık ve tutarlılık özellikleri hakkında aşağıdaki ifadelerden hangisi doğrudur?

Cevabı ve açıklamayı göster

Cevap: TnT_n yanlı bir tahmin edicidir; ancak örneklem çapı sonsuza giderken hata kareler ortalaması (MSE) sıfıra yaklaştığı için θ\theta'nın tutarlı bir tahmin edicisidir.

Cevap

Verilen tahmin edici küçük örneklemlerde yanlıdır, ancak örneklem çapı sonsuza giderken hata kareler ortalaması (MSE) sıfıra yaklaştığından dolayı tutarlı bir tahmin edicidir.
Verilen beklenen değer ifadesi E(Tn)=θ3nE(T_n) = \theta - \frac{3}{n} şeklinde düzenlendiğinde, yan miktarının 3n-\frac{3}{n} olduğu görülür. Bu nedenle TnT_n küçük örneklemlerde yanlıdır. Tutarlılık için yeterli şart olan Hata Kareler Ortalamasının (MSE) limitine bakıldığında; MSE=V(Tn)+Bias2=4θ2n+9n2MSE = V(T_n) + Bias^2 = \frac{4\theta^2}{n} + \frac{9}{n^2} elde edilir. Örneklem çapı sonsuza giderken (nn \to \infty) bu ifadenin limiti 00'dır. MSE0MSE \to 0 şartı sağlandığından, TnT_n tahmin edicisi θ\theta için tutarlıdır. Doğru ifade, bu iki temel çıkarımı tam olarak karşılamaktadır.

Adım Adım Çözüm

1
Tahmin edicinin yan miktarını (Bias) hesapla.
Bias(Tn)=E(Tn)θ=(θ3n)θ=3nBias(T_n) = E(T_n) - \theta = \left(\theta - \frac{3}{n}\right) - \theta = -\frac{3}{n}
Yansızlık özelliğini kontrol etmek için beklenen değerden gerçek parametre değeri çıkarılmalıdır. Sonuç sıfırdan farklı olduğu için tahmin edici yanlıdır.
2
Örneklem çapı sonsuza giderken asimptotik yansızlığı kontrol et.
limnBias(Tn)=limn(3n)=0\lim_{n \to \infty} Bias(T_n) = \lim_{n \to \infty} \left(-\frac{3}{n}\right) = 0
Yan limitinin sıfır olması, tahmin edicinin asimptotik olarak yansız olduğunu gösterir.
3
Hata Kareler Ortalaması (MSE) değerini formüle et.
MSE(Tn)=V(Tn)+[Bias(Tn)]2=4θ2n+(3n)2=4θ2n+9n2MSE(T_n) = V(T_n) + [Bias(T_n)]^2 = \frac{4\theta^2}{n} + \left(-\frac{3}{n}\right)^2 = \frac{4\theta^2}{n} + \frac{9}{n^2}
Bir tahmin edicinin tutarlılığını göstermenin yeter koşulu, MSE değerinin limitinin sıfır olmasıdır.
4
MSE'nin nn \to \infty için limitini hesapla.
limnMSE(Tn)=limn(4θ2n+9n2)=0+0=0\lim_{n \to \infty} MSE(T_n) = \lim_{n \to \infty} \left(\frac{4\theta^2}{n} + \frac{9}{n^2}\right) = 0 + 0 = 0
Hem varyans limiti hem de yan miktarının karesinin limiti sıfır olduğundan, MSE sıfıra yakınsar. Bu durum tahmin edicinin θ\theta için tutarlı olduğunu ispatlar.

Anahtar Kavram

Hata Kareler Ortalaması (MSE) Yoluyla Tutarlılık Analizi
Soru 200Soru

Bir devlet hastanesinin acil servisine gece vardiyasında saatlik gelen acil vaka sayısı λ\lambda parametreli Poisson dağılımına uymaktadır. Acil servisin kaynak planlama modelinde, personel ihtiyacının varyansını modelleyebilmek için λ2\lambda^2 değerinin yansız olarak tahmin edilmesi gerekmektedir. Bu amaçla nn saatlik rastgele bir örneklem seçilmiş ve saatlik vaka sayıları X1,X2,,XnX_1, X_2, \ldots, X_n olarak gözlemlenmiştir.

Buna göre, Lehmann-Scheffe teoremi bağlamında λ2\lambda^2 parametresi için Düzgün En Küçük Varyanslı Yansız Tahmin Edici (UMVUE) aşağıdakilerden hangisidir?

Cevabı ve açıklamayı göster

Cevap: (i=1nXi)2i=1nXin2\frac{\left(\sum_{i=1}^n X_i\right)^2 - \sum_{i=1}^n X_i}{n^2}

Cevap

Düzgün En Küçük Varyanslı Yansız Tahmin Edici (UMVUE), tam ve yeterli istatistik olan T=i=1nXiT = \sum_{i=1}^n X_i değerinin yansızlık şartını sağlayan tek fonksiyonu olan T2Tn2\frac{T^2 - T}{n^2} ifadesidir.
Doğru tahmin edici, Poisson dağılımı için tam ve yeterli olan istatistiğin (T=XiT = \sum X_i) yansız bir fonksiyonudur. TT'nin Poisson dağılımı özelliklerinden yararlanılarak E[T2T]=n2λ2E[T^2 - T] = n^2\lambda^2 olduğu matematiksel olarak kanıtlanmıştır. Lehmann-Scheffe teoremine göre tam ve yeterli bir istatistiğin yansız tek bir fonksiyonu UMVUE olabilir.

Adım Adım Çözüm

1
Poisson dağılımı için tam ve yeterli istatistiği belirleme
Neyman çarpanlara ayırma teoremi ve üstel aile özelliklerinden T=i=1nXiT = \sum_{i=1}^n X_i istatistiğinin λ\lambda için tam ve yeterli olduğu bulunur. TPoisson(nλ)T \sim \text{Poisson}(n\lambda) dağılımına sahiptir.
Lehmann-Scheffe teoremine göre UMVUE bulabilmek için yansız tahmin edicinin yalnızca tam ve yeterli istatistiğin bir fonksiyonu olması gerekir.
2
Yeterli istatistiğin beklenen değer ve varyansını hesaplama
Poisson dağılımının özelliği gereği E[T]=nλE[T] = n\lambda ve Var(T)=nλVar(T) = n\lambda elde edilir.
Varyans ve beklenen değer özelliklerini kullanarak E[T2]E[T^2] ifadesine ulaşmak için.
3
İkinci moment (T^2) üzerinden yansız bir fonksiyon kurma
E[T2]=Var(T)+(E[T])2=nλ+n2λ2E[T^2] = Var(T) + (E[T])^2 = n\lambda + n^2\lambda^2 olur. Hedefimiz λ2\lambda^2 olduğu için denklem düzenlendiğinde n2λ2=E[T2]nλ=E[T2]E[T]=E[T2T]n^2\lambda^2 = E[T^2] - n\lambda = E[T^2] - E[T] = E[T^2 - T] bulunur.
Tam ve yeterli istatistik TT'nin, beklenen değeri λ2\lambda^2'ye eşit olan bir fonksiyonunu (h(T)h(T)) matematiksel olarak türetmek için.
4
Lehmann-Scheffe teoremini uygulayarak UMVUE'yi tanımlama
E[T2Tn2]=λ2E\left[\frac{T^2 - T}{n^2}\right] = \lambda^2 eşitliği sağlanır. Lehmann-Scheffe gereği bu fonksiyon UMVUE'dir. TT yerine konduğunda sonuç (Xi)2Xin2\frac{(\sum X_i)^2 - \sum X_i}{n^2} olur.
Teorem, tam ve yeterli istatistiğin yansız olan herhangi bir fonksiyonunun eşsiz (unique) UMVUE olduğunu garanti eder.

Anahtar Kavram

Tamlık, Lehmann-Scheffe Teoremi ve UMVUE
ÖncekiSayfa 10 / 12Sonraki
Parametre Tahmin Yöntemleri Alıştırma Soruları — KPSS İstatistik — Sayfa 10 | Examkin