Çok değişkenli istatistiksel analizde yığılmalı (agglomeratif) hiyerarşik kümeleme yöntemleri, birleştirilecek kümelerin arasındaki uzaklığın (veya benzerliğin) nasıl tanımlandığına göre birbirinden ayrılır. Bir veri bilimci, elindeki sürekli değişkenlerden oluşan veri setini kullanarak homojen alt gruplar elde etmek istemekte ve bu amaçla Ward Yöntemi'ni kullanmaya karar vermektedir.
Buna göre, Ward Yöntemi'nin dayandığı temel optimizasyon ölçütü ve bu yöntemin Tek Bağlantı (Single Linkage) ve Tam Bağlantı (Complete Linkage) gibi geleneksel yöntemlerden ayrılan teorik yapısı aşağıdakilerin hangisinde doğru açıklanmıştır?
- İki kümenin birleştirilmesi kararını, birleşme sonrası oluşacak yeni kümenin hata kareler toplamındaki () artışın minimum yapılmasına dayandırır; geleneksel yöntemler belirli gözlem çiftleri arasındaki uzaklıkları temel alırken, Ward yöntemi varyans analizi (ANOVA) yaklaşımına benzer şekilde küme içi varyansı minimize etmeyi amaçlar.Cevap
- BKümeler arası uzaklığı, iki kümedeki en uzak gözlem çifti arasındaki mesafe olarak tanımlar ve her adımda bu uzaklığı minimum yapan kümeleri birleştirir; böylece Tek Bağlantı yönteminde sıkça karşılaşılan zincirleme (chaining) problemini, kümeler arası maksimum mesafeyi kullanarak çözer.
- CBirleştirme işleminde uzaklık matrisi yerine doğrudan değişkenlerin korelasyon yapısını dikkate alarak Mahalanobis uzaklığını minimize eder; diğer yöntemlerin sadece Öklid uzaklığı kullanmasından farklı olarak, değişkenler arasındaki çoklu bağlantı (multicollinearity) sorununu kendi algoritması içinde giderir.
- DKümeleri birleştirirken, birleşme sonrası elde edilecek dendrogramda optimum kesim noktasını (cut-off) maksimize edecek iki kümeyi seçer; diğer hiyerarşik yöntemler uzaklıklara göre adım adım ilerlerken, Ward yöntemi ağaç yapısının nerede kesileceğini algoritmanın her adımında istatistiksel olarak test eder.
- Eİki küme arasındaki uzaklığı, o kümelerdeki tüm gözlem çiftleri arasındaki uzaklıkların ortalaması olarak hesaplar ve bu ortalamayı minimum yapan kümeleri birleştirir; diğer yöntemlerin tek bir ekstrem değere odaklanması yerine kümenin genel yapısını dikkate alır.
Cevap
Ward yöntemi, iki kümenin birleştirilmesi kararını, birleşme sonrası oluşacak yeni kümenin hata kareler toplamındaki (ESS) artışın minimum yapılmasına dayandırır ve küme içi varyansı minimize etmeyi amaçlar.
Ward yöntemi, hiyerarşik kümeleme algoritmaları içinde varyans analizi (ANOVA) yaklaşımını kullanan yegane yöntemdir. Diğer yığılmalı hiyerarşik yöntemler kümeler arasındaki mesafeyi tanımlamak için spesifik veri noktalarını (en yakın komşu, en uzak komşu veya ortalama) kullanırken, Ward yöntemi birleşmenin sistemin genel homojenliğine olan etkisine odaklanır. Herhangi iki küme birleştirildiğinde, yeni oluşan kümenin içindeki gözlemlerin hata kareler toplamında () zorunlu bir artış olur. Ward yöntemi, her adımda bu artışı (bilgi kaybını) minimum yapan iki kümeyi birleştirerek olabildiğince homojen alt gruplar elde etmeyi garanti eder.
Adım Adım Çözüm
Anahtar Kavram
Ward Yönteminin temel prensibi ve küme içi hata kareler toplamı (ESS) minimizasyonu.
Alternatif Yöntem
Öklid uzaklık matrisi üzerinden Ward yönteminin formülasyonu çalışılırken, varyans hesaplaması yapmak yerine Lance-Williams güncelleme formülünde Ward parametrelerinin nasıl yerleştirildiğini inceleyerek yöntemin işleyişini matematiksel olarak daha hızlı kavrayabilirsiniz.
Tahmini Süre:1m 30s