5.2 Örneklem Tasarım Tarihi

Bilimsel araştırmanın en temel amaçlarından birinin “genelleme” yapabileceğimiz sonuçlara ulaşmak olduğunu daha önce söylemiştik. Bizim, kendi zamanımızda ve coğrafyamızda topladığımız verilerden yola çıkarak, kendimizin ya da başkalarının geliştirdiği kuramlara katkıda bulunmak en önemli amaçlarımızdan biri. Bunun için de bizim topladığımız verilerin genellenebilir olması gerekiyor, yoksa anekdot olarak sadece veriyi topladığımız kişilerle sınırlı kalması mümkün olabilir. Topladığımız çok az sayıdaki veriden yola çıkarak, çok daha büyük bir evren/kütle için genelleme yapabilmemizi sağlayan nokta örneklem tasarımımızdır. Araştırmalarda, eğer örneklem tasarımımız kusurluysa, genelleme yapamayız.

Nicel araştırmalarda, herhangi bir evrenden, söz konusu alandaki tüm nüfustan, temsil etmesi için çekilen örneklemle yürütülen anket çalışmalarında örneklem tasarımı yaşamsal bir önem taşır. Bu bölümde ele alacağımız üzere temsil açısından sorunlu olan bu anket çalışmalarında ya örneklem tasarımı bulunmaz ya da yanlış bir tasarım yapılmıştır. Bu sorun sadece öğrencilerin ödevlerinde ya da yüksek lisans tezlerinde değil, akademik çalışmalarda ya da profesyonel kurumların yaptığı çalışmalarda da görülebilir. Yanlış ya da kusurlu örneklemlerle yapılan çalışmaların bu kadar yaygın olmasına karşın, örneklem konusuna yöntem derslerinde çok az yer verilir, çoğunlukla da çalışmaların örneklemlerinin doğru olup olmadığı tartışması yapılmaz, “teknik” bir sorun olarak görülür. Oysa, özellikle de anket türü çalışmalarda örneklem yanlışsa, bulgular da yanlış olur. Nicel araştırmanın bulguları genellenemez hale gelir.

Üstelik örneklem sorunu sadece anket çalışmalarıyla da sınırlı kalmaz. İleride değineceğimiz derinlemesine görüşmeler, vaka çalışmaları ya da içerik analizi türü yöntemlerde de iyi bir örneklem tasarımı gerekir. Özellikle de derinlemesine görüşmeler gibi genelleme yapmayı amaçlamadığımız yöntemlerde dahi kiminle görüşüp kiminle görüşmeyeceğimize karar vermek, kimleri dahil edip kimleri dışarıda bırakacağımızı bilmek araştırmamızın bulgularını doğrudan belirler. Genelde bu tür çalışmaların örneklem tasarımı kaygısından uzak olduğu düşünülür ve bu konuda araştırmacıya büyük bir özgürlük tanınır. Ancak, bu tür çalışmalarda da iyi bir örneklem tasarımı gerekir, burada “iyi” örnek tasarımı için dikkat etmemiz gereken noktalar farklılık gösterir.

Geçmişte, özellikle de anket yaparak veri toplamanın “örneklem bilimi ve soru sorma sanatının bir bileşkesi” olduğu söylenirdi. Oysa bizim deneyimimiz, örneklem tasarlamanın da neredeyse bir sanat olduğunu gösterdi. Çünkü araştırma sorumuzla ilişkin veri toplama çabamızda, tek ve ideal bir örneklem tasarımı olmuyor. Özellikle de eldeki verilerin kısıtlı olduğu durumlarda, olabildiğince az hatalı ve kusursuza yaklaşmaya çalışan bir örneklem tasarımı yapmak hayli yaratıcı olmayı gerektiriyor. Bizim çalışma alanımızı oluşturan kırılgan gruplarla çalışırken, resmî istatistiklerin bulunmadığı ya da şüpheli olduğu durumlarda doğru bir örneklem tasarımı yapmak daha da zor. Bu nedenle de hem kısıtların farkına varmak hem de sorunları yaratıcı bir şekilde çözmek gerekiyor. Dolayısıyla, “örneklem nasıl çekilir?” sorusuna verilen kitabî yanıtları akılda tutmakla birlikte, sahada çok daha esnek düşünebilmek ve gerçekçi olabilmek iyi bir araştırma çalışmasının en önemli gereksinimlerinden biri haline geliyor.

“İyi bir örneklem nedir?”, “bir örneklem nasıl tasarlanır?” ya da “hatalı örneklemi nasıl anlarız?” gibi soruları yanıtlamaya çalışmadan önce, örneklem tasarımının tarihi hakkında biraz bilgi sahibi olmak yararlı olabilir. Böylelikle “örneklem biliminin” nereden geldiğini ve nereye gittiğini de tartışabiliriz, çünkü zaman içerisinde araştırma yöntemleri çeşitlenir, veri toplamak için internet gibi farklı araçlara sahip olurken, örneklem tasarımlarımız da zamanın ihtiyaçlarına yanıt verecek şekilde evrilir.

Bir paradigmanın kurumlaştığı ve egemen paradigma haline geldiğinde, kendi tarihini yazdığını ve bu tarihi doğrusal ve kusursuz bir şekilde sergilediğini tartışmıştık. Aslında olasılıksal adını verdiğimiz örneklem tasarımı da bir paradigma olarak görülebilir, başka örneklem tasarımı alternatifleri de bulunurken, zaman içerisinde bu alternatifler gözden kayboldular ve “yanlış” olarak adlandırıldılar. "Olasılıksal örneklem" tasarımı da ders kitaplarında yerini aldı ve kendi tarihini yazdı.

Bazı kaynaklarda örneklem tasarımının İngiltere Fatihi William’a kadar uzandığının iddia edildiği görülse de; örneklem tartışmaları o kadar da eski değil. Örneklem tasarımının mantığının dayandığı Merkezi Limit Teoremi 18 yy’da geliştirilmiş olsa da, bu kuramın sosyal araştırmalara uygulanması için yüz yıldan daha fazla beklenmesi gerekti. Bu tartışmalar öncesinde, özellikle de sosyal konularda araştırma yapanların temel hedefi bütün “evren”i saymaktı. Buna nüfus sayımı (census) adını veriyoruz. Özellikle resmî istatistikleri oluşturmak isteyen devlet görevlileri, her zaman ellerinin altında bulunanların tamamını saymayı tercih etmişti. Ülkede kaç kişi yaşıyor, kaç köy var, kaç koyun var, kaç kişi öldü gibi sorular; devlet görevlilerin aklını kurcalamış ve bu soruları yanıtlamak için ellerindeki bütün kaynakları kullanarak evrenin tamamını saymayı hedeflemişler. Aslında istatistik biliminin gelişmesiyle devletin oluşumunun aynı zamana denk gelmesi çok da şaşırtıcı değil, ulus-devlet ve kurumsal yapısı oluşmasa; istatistik toplama ihtiyacı da doğmayacaktı. Bu iki kavramın el ele gelişmesinin, biraz da Foucault’nun “biyopolitika” kavramından esinlenen tarihçesini Ian Hacking tarafından yazılan “Şansın Terbiye Edilişi” adlı kitapta detaylı bir şekilde bulmak mümkün.

Ondokuzuncu yüzyılda devlet otoritelerinin genel eğilimi “tamsayım” iken, bu verilere çok daha zahmetsiz bir şekilde ulaşılabileceğini iddiası da yavaş yavaş ortaya çıktı. Kendisi de bir devlet görevlisi olan Norveç İstatistik Dairesi Başkanı Anders Kaier 1895 yılındaki bir konferansta “Temsili Yöntem” adı verdiği bir yöntem ile topladığı verilerin tamsayım ile elde edilen veriler kadar sağlıklı olduğunu savunmuş, görüşlerini birden fazla makalede sunmuştu. Kendisine göre bu yöntem sadece insanları değil, ağaçları ve diğer şeyleri saymak için de çok yararlıydı. “Örneklem çekmek” gibi radikal bir görüş, zamanın otoriteleri tarafından reddedilmiş ve hatta “tartışmaya değmez” olarak değerlendirilmiş. Yine de birkaç on yıl geçtikten sonra Kaier’in yöntemi kabul görmüş ve Uluslararası İstatistik Enstitüsü “temsili örneklem” kavramı üzerine çalışma yürütmek için 1924’te bir komisyon oluşturmuştu.

“Temsili Yöntem” kavramının istatistik camiasının konferans salonlarından çıkıp, sıradan insanların gündemine gelmesi ise çok daha farklı bir alandaki gelişmenin sonucu: anketlerin yaygınlaşması. İstatistikçilerin tamsayım ve benzeri yöntemleri tartıştıkları 19 yy.’da, bizim “proto-anket” adı verdiğimiz, aslında teknik olarak ankete benzeyen ama bilimsel yöntemlere dayanmayan anketler yapılıyordu. 20 yy’la birlikte bu konuda daha nitelikli çalışmalar yapılmaya başlandı ama örneklem konusunun gündeme gelmesi için büyük bir skandal gerekecekti. Örneklem konusunu içeren her ders kitabı ya da sunumda başlangıç cümlesini ya da slaydını oluşturan bu skandal, ABD Başkanlık seçim sonuçlarının yanlış tahmin edilmesiyle ilgiliydi.

1920’lerde okur yazarlığın, kentleşmenin ve sanayileşmenin yaygınlaşmasının bir sonucu olarak Amerikan toplumunun kültürel tüketimi de artmış, gazete ve dergiler kayda değer sayıda basılmaya başlanmıştı. Dönemin popüler dergilerinden Literary Digest -1927 yılında 1 milyon satışa ulaşmıştı- ABD Başkanlık seçimlerinden önce tahmin yapmasıyla tanınmıştı. Dergi, telefon rehberlerinden, dergi abone listelerinden, sosyal kulüp üye defterlerinden ve diğer kaynaklardan yaklaşık 10 milyon kişilik bir liste oluşturmuştu, bu kişilere seçim öncesinde bir oy pusulası gönderiliyor ve o pusulanın doldurup dergiye geri göndermesi isteniyordu. Bu yöntemi kullanan dergi, 1916 yılından 1932’ye kadar bütün seçimlerin sonucunu doğru tahmin etmeyi başararak büyük bir prestij sahibi olmuştu.

Franklin D. Roosevelt ve Alfred Landon’ın aday olduğu 1936 seçiminde aynı yöntemi kullanan dergi, 2.4 milyon kişiden aldığı veriye dayanarak Landon’ın oyların %57’sini alacağını öne sürmüştü. Seçim günü geldiğinde sonuç çok farklıydı, Roosevelt %62’sini alıp seçimi kazandı. Dergi ise seçimden 18 ay sonra kapandı.

Literary Digest’ın bu kadar büyük bir hata yapmasının nedenleri fazlasıyla    tartışıldı. Kısaca özetlersek; derginin veri topladığı kitlenin Amerikan toplumunu temsil etmediği, özellikle 1929 ekonomik krizi sonrasında dergi alabilecek, telefon sahibi olabilecek ya da bir kulübe üye olabilecek kişilerin, toplumun geri kalanına kıyasla fazlasıyla müreffeh olduğu belirtildi. Buna bağlı olarak da yollanan pusulaları doldurup yollayanlar arasında Cumhuriyetçi Parti seçmenlerinin olduğundan fazla temsil ettikleri bir durum oluşmuştu. Bu açıdan “yanlı” bir örneklemden elde edilen verinin de “yanlı” sonuçlar çıkarması da kimseyi “sonradan” şaşırtmadı. Ancak bu “yanlı” sonuca dair beklentinin seçim öncesinde çok itibar gördüğünü hatırlatalım. Yakın dönemde yapılan bazı çalışmalar, Literary Digest örneklemindeki sorunun sadece “yanlılıktan” kaynaklanmadığını, daha sonra tartışacağımız “yanıt vermeme oranlarındaki” sapmanın bu sonuca yol açtığını öne sürdü. Peverill Squire’e göre eğer Literary Digest’ın mektup gönderdiği herkes yanıt verseydi, dergi seçim sonuçlarını doğru tahmin edebilecekti. Bunu da spekülatif bir soru olarak görüp bir kenara bırakalım.

Aynı seçimlerde, başka bir “kamuoyu” araştırmacısı çok daha büyük bir zafer kazanacaktı. Akademisyenlikten reklamcılığa geçiş yapan George Gallup, kamuoyu araştırmaları yapan kendi ismini taşıyan Gallup Institute çatısı altında yaptığı 50 bin kişilik anket çalışmasıyla seçim sonuçlarını doğru tahmin etmeyi başarmıştı. Gallup, yöntem olarak seçmenleri eyaletler, kentsel/kırsal, cinsiyet, yaş ve gelir bazında dağıtmış; örnekleminde bu grupların her birinin nüfusta olduğu kadar bulunmasını sağlayan “kota örneklemi” yöntemi kullanmıştı. Dolayısıyla hiçbir demografik grup örneklemde fazla/az bulunmadığından/temsil edilmediğinden, seçim sonucunu doğru tahmin ettiği öne sürülür.

Öne sürülür dedik, çünkü bu seçimden 12 yıl sonra yapılan seçimde Gallup en az Literary Digest kadar büyük bir skandala imza attı. 1948 ABD Başkanlık seçimlerinde Roosevelt’in vefatıyla yerini dolduran Harry S. Truman ve New York valisi John Dewey yarışıyorlardı ve Gallup’ın büyük bir özgüvenle açıkladığı sonuçlar Dewey’nin kazanacağı yönündeydi. Ancak sonuç öngördüğü gibi olmadı ve Truman ABD Başkanı seçildi. 3500 kişilik bir örneklemle yürüttüğü çalışmasında Gallup yine eyaletler, kentsel/kırsal, cinsiyet, yaş ve gelir bazında bir kota uygulamıştı. Her anketöre bir kota verilmiş ve bu kota dolana kadar anketörün istediğiyle görüşebileceği söylenmişti. İddiaya göre anketörler daha iyi mahallelerde yaşayan, anket isteğini daha kolay kabul eden kişilerle anketlerini yapmışlar, bunun sonucunda da olması gerekenden fazla Cumhuriyetçi seçmen bulmuşlardı. Bu da seçim sonucunun yanlış tahmin edilmesine yol açmıştı. Burada Gallup’ın daha önceki seçim sonuçlarını nasıl doğru tahmin ettiğini merak edebilirsiniz, uzmanlar kısaca “şansı yaver gitmiş!” diye yanıt veriyorlar.

1948 yılındaki bu ikinci skandaldan sonra Social Sciences Research Council adı verilen kuruluş bir dizi konferans ve çalıştay düzenleyerek, anket çalışmalarında bilimsel örneklem yöntemlerinin nasıl uygulanabileceğini tartıştı. Devlet görevlilerinin, akademisyenlerin ve gazetecilerin katıldığı bu çalışmalar sonrasında anket çalışmalarında yöntemin iyileştirilmesine yönelik çabalar harcanmaya başlandı. Bugün kullandığımız birçok kavram ve yöntemsel tercih 1950’lerde istatistik bilimindeki gelişmelerden yararlanarak keşfedildi ve Leslie Kish’in “Survey Sampling”  adlı kitabında da altın standartlar konulmuş oldu.

Her ne kadar 2016 ABD Başkanlık seçimleri ya da Brexit Oylaması gibi büyük yanılgılara imza atılmış olsa da, genel olarak olasılıksal örneklem yönteminin öğrenildiğini ve genel kabul gördüğünü söyleyebiliriz. Eğer bu örnekleme yöntemini bir paradigma olarak görürsek, şu anda egemen paradigmayı oluşturduğu açık. Ve tabii, her egemen paradigma gibi zamanın meydan okumasıyla karşı karşıya. İnternet gibi yeni veri toplama yöntemleri, etnografik yöntemin yaygınlaşması ve niteliksel verilerin değer kazanması, olasılıksal örneklem yönteminin yanıtlamakta zorlandığı sorularla karşı karşıya bıraktı. Yine de, herhangi bir evrenden bir örneklem çekip , evren hakkında bir genelleme yapmayı planlıyorsanız; olasılıksal örneklem paradigmasından -şimdilik- başka bir yönteminiz yok. Yukarıda da değindiğimiz üzere bu nokta birçok nedenle evreni bilmekte zorlandığımız düzensiz göçmenler, çalışan çocuklar gibi gruplarla çalışırken de genelleme yapmayı imkansız hale getiriyor.  Evrenin tamamını bilmeyince olasılıksal örneklem yöntemini kullanmak mümkün olmuyor.