Bir araştırma raporunun ilk sayfasında genellikle tek bir sayı durur: "Genel memnuniyet %70."
Bu sayı yanlış değildir. Ama tek başına neredeyse hiçbir karara yetmez — ve çoğu zaman yanlış bir rahatlık verir.
Ortalama neyi gizler?
Kent genelinde %70 memnuniyet çıkan bir hizmet, bir mahallede %35 olabilir. Ortalama bunu göstermez; dahası, yüksek çıkan mahalleler düşük çıkanları matematiksel olarak örter.
Aynı şey yaş ve kullanım için de geçerlidir. Toplu ulaşımdan memnuniyet, otobüsü hiç kullanmayanları da içine alınca yükselir. Hizmeti kullananların memnuniyeti ise çok daha düşük olabilir — ve karar vericiyi ilgilendiren tam olarak budur.
Analizin ilk işi ortalamayı hesaplamak değil, ortalamayı kırmaktır: mahalleye, kullanım durumuna, yaşa, cinsiyete göre.
Alt grup yorumu, baştan planlanmış olmalı
Burada çok sık yapılan bir hata var: kent geneli için yeterli olan bir örneklemle mahalle düzeyinde yorum yapmaya çalışmak.
Bin kişiyle görüşülmüş bir araştırmada otuz mahalle varsa, mahalle başına ortalama otuz üç görüşme düşer. Bu sayı mahalle hakkında güvenli bir cümle kurmaya yetmez. Yüzde farkları gerçek bir farktan değil, örneklem dalgalanmasından geliyor olabilir.
İki dürüst yol var:
- Mahalle düzeyinde karar alınacaksa örneklem baştan buna göre kurulur.
- Kurulmadıysa mahalleler gruplanarak (merkez, gelişen, kırsal) yorumlanır ve mahalle tek tek yorumlanmaz.
Üçüncü bir yol — "elimizdeki veriyle mahalle mahalle konuşmak" — rapora sayı koyar, karara güven koymaz.
Ağırlıklandırma: düzeltme, süsleme değil
Saha sonunda örneklemin yaş ya da cinsiyet dağılımı nüfustan sapmışsa, ağırlıklandırma bunu düzeltir. Ama ağırlıklandırmanın bir sınırı vardır: eksik kalan grup çok küçükse, o gruba verilen ağırlık birkaç kişinin cevabını tüm grubun cevabı gibi gösterir.
Kuralımız şu: ağırlıklar raporda yazılır, ağırlıksız sonuçlar da hesaplanır. İkisi arasındaki fark büyükse bu bir bulgu olarak belirtilir, sessizce düzeltilmiş gibi geçilmez.
Önem ve memnuniyet birlikte okunur
Belediye araştırmalarında en çok işe yaradığını gördüğümüz tek araç, memnuniyeti önemle birlikte okumaktır.
Her hizmet için iki soru sorulur: bu hizmet sizin için ne kadar önemli, ve bu hizmetten ne kadar memnunsunuz? Sonuç dört bölgeye ayrılır:
- Önemli ve memnuniyet düşük: Buraya öncelik verilir. Sınırlı bütçenin gideceği yer burasıdır.
- Önemli ve memnuniyet yüksek: Korunur; bozulması en pahalıya gelen alan.
- Önemsiz ve memnuniyet düşük: Acele etmeye gerek yok.
- Önemsiz ve memnuniyet yüksek: Kaynak fazla ayrılmış olabilir.
Bu tablo, "neyi önce yapalım" sorusuna tek bir memnuniyet sıralamasından çok daha sağlam cevap verir.
Açık uçlu cevaplar sayıya dönüşebilir
"Mahallenizin en önemli sorunu nedir?" sorusunun cevapları serbest metindir ve genellikle rapora birkaç alıntı olarak girer. Oysa bu cevaplar kodlandığında — benzer ifadeler ortak başlıklar altında toplandığında — hazır şıkların hiç yakalamadığı sorunlar sayısallaşır.
Kodlama iki kişi tarafından bağımsız yapılır ve uyuşmayan kodlar tartışılır. Tek kişinin kodladığı açık uçlu veri, o kişinin beklentisini ölçer.
Analizin görevi, bütün tabloları basmak değil
Yüz sayfalık bir ek tablo dosyası, kararı kolaylaştırmaz. Analiz, karar vericinin sorduğu soruya cevap verecek şekilde kurulur: "hangi mahalleye öncelik vereyim", "geçen yıla göre düzeldi mi", "hangi birimin işi bu".
Rapor, bu soruların cevabıyla başlar. Yöntem ve tablolar ekte durur — ve ekte durması, orada saklanması anlamına gelmez; denetlenebilir olması anlamına gelir.
Sonuç
İyi analiz, veriden daha fazla sayı çıkarmak değil, daha az ve daha doğru cümle çıkarmaktır. Ortalama bir başlangıç noktasıdır; rapor orada bitiyorsa analiz hiç başlamamıştır.
ASARGE olarak 81 ilde yürüttüğümüz çalışmalarda analizi karar sorusundan geriye doğru kuruyoruz. Bizimle iletişime geçebilirsiniz.