Araştırmada en çok tartışılan konu soru kâğıdıdır. Oysa bir ölçümü en sık bozan şey sorunun kendisi değil, o soruyu kimin cevapladığıdır.
Bu hata sessizdir. Veri dosyası dolu görünür, yüzdeler hesaplanır, rapor yazılır. Hiçbir yerde "yanlış kişiyle görüşüldü" diye bir uyarı çıkmaz.
Kapıyı açan kişi, örneklemin istediği kişi değildir
Bir mahallede hane seçtiniz, kapıyı çaldınız. Kapıyı gün içinde evde olan kişi açar. Bu, ortalama olarak daha yaşlı, daha çok kadın, çalışmayan ya da emekli bir kişidir.
Anketörün en kolay yolu burada en yanlış yoldur: evde kim varsa onunla görüşmek. Bunu yaptığınızda örneklem tasarımınız kâğıt üzerinde kalır; sahada kendi kendine başka bir örneklem oluşur.
Çözüm, kişi seçimini anketörün takdirinden çıkarmaktır:
- Hane içinde kural: Görüşülecek yetişkin, önceden belirlenmiş bir kuralla seçilir — örneğin doğum günü en yakın olan kişi. Kural basit olmalı, yoksa sahada uygulanmaz.
- Randevu, ikame değil: İstenen kişi evde yoksa ilk tercih başka saatte tekrar gitmektir. Hemen başka birine geçmek, örneklemi çalışan nüfusun aleyhine kaydırır.
- Reddi kaydetmek: Kaç kapıdan kaç cevap alındığı yazılır. Bu oran, sonucun ne kadar güvenilir olduğunu okumanın tek yoludur.
Anketör bir soru okuma makinesi değildir
Yüz yüze görüşmede anketör, verinin bir parçasıdır. Aynı soruyu iki farklı tonla sormak iki farklı cevap üretir.
Eğitimde ısrarla durduğumuz üç nokta var:
- Yönlendirmeden sormak. "Temizlikten memnunsunuz değil mi?" diye sorulan bir soru artık ölçüm değildir.
- Kurum adına söz vermemek. Belediye araştırmasında en sık karşılaşılan beklenti budur; anketör "ileteceğim" diyebilir, "yapılacak" diyemez.
- Bilmiyorum cevabını kabul etmek. Boş kalmasın diye doldurulan bir hücre, eksik veriden daha zararlıdır.
Kontrol: veriyi sonradan düzeltemezsiniz
Saha verisi, masa başında tamir edilemeyen tek veridir. Bu yüzden kontrol sahanın kendisiyle eş zamanlı yürür.
Pratikte işe yarayan dört ölçü:
- Geri arama. Görüşmelerin belirli bir oranı bağımsız bir ekip tarafından aranarak doğrulanır: görüşme yapıldı mı, ne kadar sürdü, konular hatırlanıyor mu?
- Zaman ve konum damgası. Görüşme dijital ortamda kaydedildiğinde ne zaman ve nerede yapıldığı kayda geçer. Bu, kişinin değil görüşmenin bilgisidir ve örneklem geçerliliği için gereklidir.
- Süre dağılımı. Ortalamanın çok altında süren görüşmeler işaretlenir. Yirmi dakikalık bir anketin altı dakikada bitmesi teknik bir ayrıntı değil, bir uyarıdır.
- Cevap deseni. Bütün ölçeklere aynı şıkkı veren formlar ayrı incelenir.
Bu kontroller anketöre güvensizlik değildir; sahayı ölçülebilir kılar. Ölçülmeyen saha, iyi mi kötü mü çalıştığı hiç bilinmeyen sahadır.
Kişisel veri sahada başlar
Katılımcının adı, telefonu ve adresi yalnızca kontrol amacıyla alınır ve cevaplardan ayrı tutulur. Analiz dosyasında kimlik bilgisi bulunmaz. Küçük yerleşimlerde sonuçlar, kişilerin tanınabilir hâle gelmemesi için gerektiğinde birleştirilerek raporlanır.
Bunlar sonradan eklenen önlemler değil, saha planının parçasıdır.
Sonuç
İyi bir araştırma, iyi bir soru kâğıdıyla başlar ama sahada kazanılır ya da kaybedilir. Kimin cevapladığı, nasıl sorulduğu ve ne kadarının doğrulandığı belli değilse, elinizdeki yüzdeler ne kadar düzgün görünürse görünsün bir şey ölçmüyordur.
ASARGE olarak 2005'ten bu yana yürüttüğümüz saha çalışmalarında kişi seçimini kurala, kontrolü ise ayrı bir ekibe bağlıyoruz. Bir ölçüm planlıyorsanız bizimle iletişime geçebilirsiniz.