Examkin

Soru

Zorluk: OrtaEn Küçük Kareler Yöntemi (Least Squares Estimation)

Orijinden geçen basit doğrusal regresyon modelinde (Yi=βXi+ϵiY_i = \beta X_i + \epsilon_i), β\beta parametresinin tahmini için En Küçük Kareler (EKK) yöntemi uygulanmıştır. Bu yöntemle elde edilen kalıntılar ei=Yi−Y^ie_i = Y_i - \hat{Y}_i (i=1,2,…,ni = 1, 2, \dots, n) şeklinde tanımlandığına göre, normal denklemlerin bir sonucu olarak aşağıdakilerden hangisi her zaman doğrudur?

  1. A
    Kalıntıların toplamı sıfıra eşittir (∑i=1nei=0\sum_{i=1}^{n} e_i = 0).
  2. B
    Tahmin edilen regresyon doğrusu mutlaka değişkenlerin ortalamasından (Xˉ,Yˉ\bar{X}, \bar{Y}) geçer.
  3. Bağımsız değişken değerleri ile kalıntıların çarpımlarının toplamı sıfıra eşittir (∑i=1nXiei=0\sum_{i=1}^{n} X_i e_i = 0).Cevap
  4. D
    Kalıntıların toplamı, bağımsız değişken değerlerinin toplamına eşittir (∑ei=∑Xi\sum e_i = \sum X_i).
  5. E
    Kalıntıların varyansı her zaman hata terimlerinin varyansından büyüktür.

Cevap

Bağımsız değişken değerleri ile kalıntıların çarpımlarının toplamı sıfıra eşittir (∑Xiei=0\sum X_i e_i = 0)
En Küçük Kareler yöntemi, hata kareler toplamının (SS) parametrelere göre kısmi türevlerinin alınması ve sıfıra eşitlenmesi prensibine dayanır. Yi=βXi+ϵiY_i = \beta X_i + \epsilon_i modelinde sadece β\beta parametresi bulunduğundan, dSdβ=0\frac{dS}{d\beta} = 0 koşulu −2∑(Yi−βXi)Xi=0-2\sum(Y_i - \beta X_i)X_i = 0 denklemini verir. Bu denklemde Yi−β^XiY_i - \hat{\beta}X_i ifadesi kalıntıyı (eie_i) temsil ettiğinden, doğrudan ∑Xiei=0\sum X_i e_i = 0 sonucuna ulaşılır. Bu, bağımsız değişken ile kalıntıların ortogonal (dik) olduğunu gösteren temel bir cebirsel özelliktir.

Adım Adım Çözüm

1
Minimize edilecek olan hata kareler toplamı fonksiyonunu (S) tanımla.
S(β)=∑i=1n(Yi−βXi)2S(\beta) = \sum_{i=1}^{n} (Y_i - \beta X_i)^2
En Küçük Kareler yöntemi, gözlenen değerler ile tahmin edilen değerler arasındaki farkların karelerinin toplamını minimize eder.
2
Fonksiyonun β\beta parametresine göre türevini al ve sıfıra eşitle.
dSdβ=−2∑i=1n(Yi−βXi)Xi=0\frac{dS}{d\beta} = -2 \sum_{i=1}^{n} (Y_i - \beta X_i) X_i = 0
Bir fonksiyonun minimum noktasında birinci türev sıfıra eşittir.
3
Elde edilen denklemi kalıntılar (eie_i) cinsinden yeniden düzenle.
∑i=1nXi(Yi−β^Xi)=0⇒∑i=1nXiei=0\sum_{i=1}^{n} X_i (Y_i - \hat{\beta} X_i) = 0 \Rightarrow \sum_{i=1}^{n} X_i e_i = 0
ei=Yi−β^Xie_i = Y_i - \hat{\beta} X_i olduğu için parantez içi kalıntı değerini ifade eder ve sonuç sıfır olur.

Anahtar Kavram

Normal denklemlerin türetilmesi ve cebirsel özellikleri
Bu soruyu puanla

Konular

En Küçük Kareler Yöntemi (Least Squares Estimation)

Bu konudan daha fazla soru