Simpson paradoksu: iki ayrı grupta üstün olan toplamda neden geride kalır
Forvet A iki şut bölgesinde de B'den isabetli ama toplamda geride. Simpson paradoksu kurgusal bir sezon tablosu ve 100.000 rastgele veriyle çözümleniyor.
Simpson paradoksu, bir üstünlüğün her alt grupta görünüp gruplar birleştirildiğinde ters dönmesidir. Kurgusal bir sezonda Forvet A'nın gol oranı hem ceza sahası içinden (%30,0 karşı %27,0) hem de ceza sahası dışından (%5,0 karşı %4,0) Forvet B'den yüksek. Yine de iki bölgeyi birleştirdiğimizde A'nın toplam gol oranı %10,0, B'nin %19,3 çıkıyor. İki yargı da aynı veriden hesaplandı ve ikisi de aritmetik olarak doğru. Veriler kurgusaldır; hesaplar a08.mjs betiğiyle yapıldı ve tohum 20261104'tür.
Simpson paradoksu bir tabloda
Sezon boyunca iki forvetin şutları iki bölgeye ayrıldı: ceza sahası içi ve dışı. Tablo, her bölgedeki şut sayısını, golü ve gol oranını veriyor.
| Bölge | A: şut | A: gol | A: oran | B: şut | B: gol | B: oran |
|---|---|---|---|---|---|---|
| Ceza sahası içi | 80 | 24 | %30,0 | 400 | 108 | %27,0 |
| Ceza sahası dışı | 320 | 16 | %5,0 | 200 | 8 | %4,0 |
| Toplam | 400 | 40 | %10,0 | 600 | 116 | %19,3 |
İki bölgede de A üstün: içeride %30,0 ile %27,0, dışarıda %5,0 ile %4,0. Toplam satırı ise tabloyu ters çeviriyor: A'nın 400 şutta 40 golü, B'nin 600 şutta 116 golü var ve B'nin toplam oranı A'nınkinin 1,9 katı. Paradoksun kendisi bir hata değil; bir toplama işleminin ağırlıklarla çalıştığının gösterilmesidir.
Neden ters dönüyor: ağırlıklar
Toplam oran, bölge oranlarının şut sayılarıyla ağırlıklandırılmış ortalamasıdır. A şutlarının %80 kadarını düşük verimli bölgeden (dışarıdan) atmış; B ise şutlarının %67 kadarını yüksek verimli bölgeden (içeriden) atmış. Bölge içindeki oranlar A'yı öne çıkarırken şut karışımı B'yi öne çıkarıyor ve karışım farkı oran farkından büyük.
Karışımı ortadan kaldırmak için iki oyuncuya aynı şut dağılımını uygulayabiliriz. İki oyuncunun toplam şutlarının ortak bölge dağılımı (480 içeri, 520 dışarı şut; içeri payı %48) kullanıldığında A'nın standartlaştırılmış oranı %17,0, B'ninki %15,0 olur; iki bölgeye eşit ağırlık verilirse %17,5 ile %15,5. Standartlaştırma, bölgedeki üstünlüğü toplam sonuca geri taşıyor ve A'yı öne alıyor.
Farkın iki parçası
B'nin toplam oran farkı 9,3 puandır ve bu fark iki parçaya ayrılabilir. Birincisi oran etkisidir: B'nin kendi şut ağırlıklarıyla, bölgelerdeki oran farklarının toplamı. İkincisi karışım etkisidir: iki oyuncunun bölge ağırlıkları arasındaki fark, A'nın oranlarıyla çarpılarak toplanır. Hesap bu ayrıştırmayı sayıya döküyor:
| Bileşen | Ne ölçüyor | Puan |
|---|---|---|
| Oran etkisi | B'nin bölgedeki oranı A'dan düşük | −2,3 |
| Karışım etkisi | B şutlarını daha verimli bölgeden atıyor | +11,7 |
| Toplam fark | B'nin toplam oranı eksi A'nın toplam oranı | +9,3 |
Karışım etkisi toplam farkın 1,3 katıdır ve oran etkisinin işareti ters olduğu için bu katsayı 1'i aşar. B'nin üstünlüğü, bölgedeki oranlarından değil şutlarını nereden attığından gelir; oran etkisi onu 2,3 puan geriye çeker. Ayrıştırma, paradoksu "iki hesabın çelişkisi" olmaktan çıkarıp tek bir toplamın iki bileşenine çevirir ve hangi bileşenin hangi soruyu cevapladığını açık eder.
Ortalamaların ortalaması
Aynı mekanizma daha küçük bir hesapta da çalışır. Bir oyuncunun üç maçtaki şut ve gol sayıları aşağıdadır.
| Maç | Gol | Şut | Gol oranı |
|---|---|---|---|
| 1. maç | 2 | 4 | %50 |
| 2. maç | 1 | 10 | %10 |
| 3. maç | 3 | 6 | %50 |
Maç başına gol oranlarının ortalaması %36,7, ama toplam goller toplam şuta bölündüğünde %30,0 çıkıyor. Birincisi her maçı eşit ağırlıkla sayar, ikincisi şut sayısına göre ağırlıklandırır. İkisinin farkı, tek bir "ortalama" kelimesinin iki ayrı hesabı gizleyebildiğini gösterir; paradoks bu farkın uç bir biçimidir.
Gerçek bir örnek: Berkeley başvuruları
Paradoksun en çok anılan örneği, Bickel, Hammel ve O'Connell'in 1975'te Science dergisinde yayımladığı, 1973 güz dönemi Berkeley lisansüstü başvurularıdır. İkincil kaynaklara göre 12.763 başvurunun 8.442'si erkek, 4.321'i kadın adaylara aitti ve birleştirilmiş oranlarda erkeklerin yaklaşık %44'ü, kadınların yaklaşık %35'i kabul edilmiş görünüyordu. Bölümler tek tek incelendiğinde fark büyük ölçüde ortadan kalktı; kadınlar, kabul oranı daha düşük bölümlere daha çok başvurmuştu. Burada da "şut karışımı" rolünü başvuru karışımı oynuyor.
Bu örnekte hesabın kendisinden çok bir yorum sorunu vardır: birleşik oran bir ayrımcılık kanıtı sayılabilir mi, yoksa başvuru karışımının sonucu mu? Cevap veri tablosundan okunamaz; verinin nasıl oluştuğuna dair bir varsayım gerekir. Yazarların ana mesajı da buydu: önyargıyı ölçmek, sanıldığından zordur.
Paradoks ne kadar sık görülür
Paradoksun egzotik bir durum olup olmadığını görmek için 100.000 rastgele iki oyunculu veri üretildi. Her oyuncunun ustalığı ±%10 aralığında rastgele seçildi, iç bölge şut payı 0,1 ile 0,9 arasında, toplam şut sayısı 400 ile 600 arasında çekildi; iç bölge gol olasılığı 0,26, dış bölge 0,04 alındı ve goller binom dağılımından üretildi. Ters dönme, bir oyuncunun iki bölgede de öndeyken toplamda geride kalması olarak tanımlandı.
| İki oyuncunun iç bölge şut payı farkı | Veri seti sayısı | Ters dönme oranı |
|---|---|---|
| 0,0-0,2 | 43.772 | %11,6 |
| 0,2-0,4 | 31.399 | %25,9 |
| 0,4-0,6 | 18.628 | %26,9 |
| 0,6-0,8 | 6.201 | %26,3 |
Toplamda veri setlerinin %19,9 kadarında ters dönme görüldü. Karışım farkı küçükken (%11,6) nadirleşiyor, fark 0,2'yi geçince %25,9 civarında sabitleniyor.
Bu oran gerçek veri kümelerindeki sıklık anlamına gelmez; yalnızca üreticinin varsayımlarına (ustalık farkının ±%10, bölge oranlarının 0,26 ve 0,04 olması) bağlı bir göstergedir. Bu varsayımlarla paradoks, karışım farkına göre %11,6 ile %26,9 arasında bir sıklıkla ortaya çıktı; yani ağırlıkları farklı iki grubu karşılaştırırken ters dönme olasılığı hafife alınacak kadar küçük değil.
Hangi sayıya güvenilmeli
Basit bir kural yoktur. Birleşik oran, "bir forvetin sezon sonundaki gol oranı kaç" sorusunu doğru cevaplar. Alt grup oranları ise "aynı şut türünde hangisi daha iyi" sorusunu cevaplar. Hangisinin uygun olduğu, soruya ve şut karışımının oyuncunun seçimi mi yoksa takımın rolü mü olduğuna bağlıdır. Her ikisi de aynı veriden çıkar ve birbiriyle çelişmez.
Pratik sonuç, birleşik bir oranı okumadan önce karışımın ne olduğunu sormaktır: gruplar arasında hangi değişken eşit dağılmıyor? Aynı fikir, sonuç dizilerinin yorumunda da geçerlidir: örneklem büyüklüğü yazısındaki hesapta olduğu gibi, bir getiri rakamı tek başına bilgi taşımaz. Grafiklerde ağırlıkların nasıl gizlenebildiği ise veri görselleştirme yazısında ele alınıyor. Bu yayın Betroy ile ilişkilidir; yazıdaki oyuncular ve rakamlar kurgusaldır, bir bahis önerisi taşımaz.
Veri notu ve kaynaklar
Tablo sayıları tek tek yazılmış kurgusal bir sezondur; betik oranları, standartlaştırmayı ve rastgele üretimi buradan hesaplar. Paradoksun tarihçesi için başvurulan ikincil kaynaklar, adın Edward Simpson'ın 1951 tarihli makalesine dayandığını ve olgunun daha önce de tarif edildiğini belirtir.
- Bickel, P. J., Hammel, E. A., O'Connell, J. W. (1975). Sex bias in graduate admissions: data from Berkeley. Science, 187(4175), 398-404. doi:10.1126/science.187.4175.398
- R veri seti belgesi, UCBAdmissions (Berkeley başvuruları, bölüm bazında özet tablo).