Büyük boyutlu bir veri seti üzerinde öznitelik çıkarımı çalışmaları yapan bir veri bilimci… — KPSS İstatistik

Büyük boyutlu bir veri seti üzerinde öznitelik çıkarımı çalışmaları yapan bir veri bilimci, $n$ gözlem ve $p$ değişkenden oluşan çok değişkenli bir veri matrisi için örneklem kovaryans matrisini kullanarak Temel Bileşenler Analizi (TBA) uygulamaktadır. İlgili analist, kovaryans matrisinin özdeğerlerini ( $\lambda_j$ ) ve bu özdeğerlere karşılık gelen ortogonal özvektörlerden oluşan matrisi ( $E$ ) hatasız bir şekilde elde etmiştir.

Analizin son aşamasında temel bileşen skorlarını hesaplarken dikkatsizlik sonucu verileri merkezcilleştirmeyi (sütun ortalamalarını her bir gözlemden çıkarmayı) unutmuş; doğrudan ham veri matrisi ( $X$ ) ile özvektör matrisini ( $E$ ) çarparak $Y^* = XE$ şeklinde hatalı bir skor matrisi elde etmiştir. Teorik olarak doğru hesaplama ise, merkezcilleştirilmiş veri matrisi ( $X_c$ ) kullanılarak $Y = X_cE$ şeklinde yapılmalıdır.

Buna göre, veri bilimcinin hatalı hesapladığı $Y^*$ skor matrisi ile matematiksel olarak doğru hesaplanması gereken $Y$ skor matrisi karşılaştırıldığında aşağıdakilerden hangisi kesinlikle doğrudur?

A
Veri merkezcilleştirilmediği için $Y^*$ matrisindeki temel bileşen skorları ortogonallik (diklik) özelliğini kaybeder ve skorlar birbiriyle istatistiksel olarak korele hale gelir.
B
Ortalamalardan arındırma işlemi yapılmadığı için $Y^*$ matrisinin sütun varyansları, ilgili bileşenin özdeğerine ( $\lambda_j$ ) eşit olma özelliğini yitirerek yapay olarak büyür.
C
Verilerin orijine taşınmaması matris çarpımının değişme özelliğini ( $XE = EX$ ) ihlal edeceğinden, $Y^*$ matrisinde temel bileşenlerin açıklanan varyans oranları sıralaması tamamen değişir.
$Y^*$ matrisindeki temel bileşen skorlarının varyansları ve birbirleri ile olan kovaryansları $Y$ matrisi ile tamamen aynıdır, ancak $Y^*$ skorlarının serisel ortalamaları sıfırdan farklıdır.Cevap
E
Ham veri kullanıldığından $Y^*$ skorları orijinal birimlerden doğrudan etkilenir ve analiz istemsizce kovaryans yerine korelasyon matrisi üzerinden yapılmış gibi standartlaştırılmış sonuç üretir.

Cevap

Hatalı hesaplanan skorların varyansları ve kovaryansları, doğru hesaplanan skorlarla tamamen aynı kalırken, sadece ortalamaları sıfır dışı bir değer alacaktır.

Temel bileşen skorları, veri matrisinin özvektörlerle doğrusal bir dönüşümüdür. Ham veri matrisi (

X

), merkezcilleştirilmiş veri matrisi (

X_c

) ile sütun ortalamalarının toplamına eşittir (

X = X_c + \mathbf{1}\bar{X}

). Hatalı hesaplanan skor matrisi

Y^* = XE

eşitliğinde yerine konulduğunda

Y^* = (X_c + \mathbf{1}\bar{X})E = X_cE + \mathbf{1}\bar{X}E = Y + C

(C burada her bir gözlem için aynı olan sabit bir satır vektörüdür) elde edilir. İstatistik kuralları gereği, bir rassal değişkene sabit bir değer eklemek varyansını ve kovaryansını hiçbir şekilde değiştirmez. Bu nedenle hatalı hesaplanan skorların varyansları yine ilgili özdeğerlere (

\lambda_j

) eşit kalır ve kovaryansları sıfır olmaya devam eder (diklik korunur). Değişen tek istatistiksel parametre, artık sıfır olmayan beklenen değerdir (ortalama).

Adım Adım Çözüm

Hatalı skor matrisinin (

Y^*

) merkezcilleştirilmiş veriye (

X_c

) bağlı cebirsel denklemini yazmak.

X = X_c + \mathbf{1}\bar{X}

(Ham veri = Merkezcilleştirilmiş Veri + Ortalama) eşitliğini kullanarak:

Y^* = XE = (X_c + \mathbf{1}\bar{X})E = X_cE + \mathbf{1}\bar{X}E = Y + C

elde edilir. Burada

C

, her sütunu sabit bir değer olan ötelenme matrisidir.

Yapılan hatanın temel bileşen skorlarına (Y) olan matematiksel etkisini tam olarak görebilmek için.

Elde edilen

Y^* = Y + C

eşitliği üzerinden ortalamaların (beklenen değer) nasıl etkilendiğini incelemek.

E(Y^*) = E(Y + C) = E(Y) + C = 0 + C = C \neq 0

TBA'da doğru hesaplanan skorların (Y) ortalaması daima sıfırdır. Sabit bir ötelenme (

C

) eklendiğinde serilerin ortalamasının sıfırdan sapacağı kanıtlanmış olur.

Ötelenmenin varyans ve kovaryans yapılarına olan etkisini istatistiksel kurallarla değerlendirmek.

Var(Y+C) = Var(Y) = \lambda_j

Cov(Y_i+C, Y_j+C) = Cov(Y_i, Y_j) = 0

İstatistik teorisinde bir rassal değişkene veya vektöre sabit bir değer eklemek veri noktalarının kendi aralarındaki mesafeyi (yayılımı) değiştirmediği için varyansı ve diğer değişkenlerle olan kovaryansı değiştirmez.

Anahtar Kavram

Temel Bileşen Skorlarının cebirsel özellikleri ve doğrusal dönüşümlerin (ötelenme) varyans/kovaryans matrisine etkisi.

Tahmini Süre:1m 30s

Soru

Cevap

Adım Adım Çözüm

Anahtar Kavram

Sık Yapılan Hatalar

Konular

Bu konudan daha fazla soru