Examkin

Soru

Zorluk: ZorWard Yöntemi

Hiyerarşik kümeleme analizi algoritmalarından Ward yöntemi (minimum varyans yöntemi) ile gerçekleştirilen bir işlemde, algoritmanın herhangi bir adımında ağırlık merkezleri (centroid) birbirine geometrik olarak en yakın olan AA ve BB kümelerini birleştirmek yerine, ağırlık merkezleri arasındaki karesel Öklid uzaklığı nispeten daha büyük olan CC ve DD kümelerini birleştirdiği tespit edilmiştir.

Buna göre, Ward yönteminin bu birleştirme tercihini yapmasının temel matematiksel gerekçesi aşağıdakilerden hangisidir?

  1. Birleştirme kriterinin doğrudan merkezler arası uzaklığı değil, birleşme sonrası küme içi hata kareler toplamındaki (ESS) artışı minimize etmesi ve bu artışın kümelerin eleman sayılarıyla ağırlıklandırılmasıCevap
  2. B
    Algoritmanın her iterasyonda kümelerdeki tüm eleman çiftleri arasındaki uzaklıkların ortalamasını alarak varyansı en düşük iki kümeyi seçmesi
  3. C
    Yöntemin, kümelerdeki en birbirine uzak (uç) gözlem değerleri arasındaki mesafeyi referans alarak zincirleme (chaining) etkisini kırmaya çalışması
  4. D
    Veri setindeki aykırı değerlerin (outlier) merkezleri kaydırmasını önlemek amacıyla, algoritmanın uzaklık ölçüsü olarak Öklid uzaklığı yerine Mahalanobis uzaklığını kullanması
  5. E
    Merkezler arası uzaklıktan bağımsız olarak, sadece birbirine en yakın iki tekil elemana (nearest neighbor) sahip olan kümelerin birleştirilmesine öncelik verilmesi

Cevap

Ward yönteminde birleştirme kararı, doğrudan merkezler arası uzaklığa değil, birleşme sonucu hata kareler toplamında (ESS) oluşacak artışın minimize edilmesine ve bu artışın kümelerin eleman sayılarıyla ağırlıklandırılmasına dayanır.
Ward yöntemi, birleştirme kararlarını sadece kümelerin ağırlık merkezleri arasındaki karesel Öklid uzaklığına (∣∣xˉi−xˉj∣∣2||\bar{x}_i - \bar{x}_j||^2) göre vermez. Yöntemin temel amacı, birleşme sonrasında toplam küme içi varyansta (hata kareler toplamı - ESS) oluşacak artışı minimize etmektir. Bu artış miktarı, kümelerin eleman sayılarıyla ağırlıklandırılmış karesel uzaklığa eşittir: ΔESS=nAnBnA+nB∣∣xˉA−xˉB∣∣2\Delta ESS = \frac{n_A n_B}{n_A + n_B} ||\bar{x}_A - \bar{x}_B||^2. Dolayısıyla, eleman sayısı çok fazla olan ancak birbirine yakın iki kümenin birleşmesi, ESS değerini büyük oranda artırabilirken; eleman sayısı çok az olan ancak birbirine nispeten daha uzak iki kümenin birleşmesi ESS değerini daha az artırabilir. Bu matematiksel ağırlıklandırma nedeniyle algoritma, uzak ama küçük kümeleri birleştirmeyi tercih etmiştir.

Adım Adım Çözüm

1
Ward yönteminin hedef fonksiyonunu analiz etme
Ward yöntemi, her adımda küme içi hata kareler toplamındaki (Error Sum of Squares - ESS) artışı en küçük yapan iki kümeyi birleştirir.
Yöntemin temel çalışma prensibi varyans minimizasyonudur.
2
ESS artış miktarının matematiksel formülünü değerlendirme
İki kümenin (ii ve jj) birleşmesi durumunda ESS'deki artış şu formülle hesaplanır: ΔESS=ninjni+nj∣∣xˉi−xˉj∣∣2\Delta ESS = \frac{n_i n_j}{n_i + n_j} ||\bar{x}_i - \bar{x}_j||^2. Burada nn eleman sayısını, xˉ\bar{x} ise ağırlık merkezini ifade eder.
Uzaklığın eleman sayısıyla nasıl ağırlıklandırıldığını görmek için formüle ihtiyaç vardır.
3
Formülü senaryoya uygulama
Eğer AA ve BB kümelerinin eleman sayıları (nA,nBn_A, n_B) çok büyükse, merkezleri yakın olsa bile ΔESS\Delta ESS çok yüksek çıkabilir. Buna karşın CC ve DD kümelerinin eleman sayıları çok küçükse, merkezleri daha uzak olsa da ΔESS\Delta ESS daha düşük çıkabilir. Algoritma düşük olanı seçeceği için CC ve DD'yi birleştirir.
Merkezleri yakın olan kümelerin neden her zaman ilk olarak birleştirilmediğini formül üzerinden ispatlamak.

Anahtar Kavram

Ward Yöntemi Hedef Fonksiyonu ve Hata Kareler Toplamı (ESS) Artışı
Bu soruyu puanla

Konular

Ward Yöntemi

Bu konudan daha fazla soru