Tezde “ölçeğin geçerlik ve güvenirliği sağlanmıştır” veya “inandırıcılık için uzman görüşü alınmıştır” demek, araştırma niteliğinin nasıl değerlendirildiğini göstermeye yetmez. Ölçümün amaçlanan yapıyı temsil etmesi, puanların tutarlılığı, araştırma tasarımının alternatif açıklamaları sınırlandırması, nitel yorumların veriyle izlenebilir olması ve sonuçların bağlam sınırları farklı sorunlardır.
Geçerlik ve güvenirlik kavramları disiplin, ölçüm modeli ve araştırma yaklaşımına göre farklı biçimde kullanılabilir. Nitel araştırmada nicel ölçüm dili aynen kopyalanmamalı; inandırıcılık, aktarılabilirlik, tutarlılık, teyit edilebilirlik, yansıtıcılık veya yaklaşımın kendi kalite ölçütleri gerekçeli seçilmelidir. Bu rehber, her yönteme aynı kontrol listesini dayatmak yerine kanıt–tehdit–sınır ilişkisini kurmaya yardımcı olur.
Önce hangi iddianın niteliğini değerlendirdiğinizi yazın
Bir ölçeğin puanı hakkında mı, gruplar arası farkın nedensel yorumu hakkında mı, görüşme temalarının katılımcı deneyimini yansıtması hakkında mı yoksa sonuçların başka bağlama aktarılması hakkında mı kanıt üretiyorsunuz? “Geçerlik” sözcüğünü tek bir genel onay gibi kullanmak bu soruları birbirine karıştırır. Her iddiayı, onu tehdit eden hata veya yanlılıkla eşleştirin.
Araştırma kalitesi tez sonunda eklenen bir paragraf değildir. Soru yazımı, örneklem seçimi, araç geliştirme, uygulayıcı eğitimi, kayıt, veri temizleme, kodlama, model seçimi ve raporlama boyunca üretilir. Bu nedenle yöntem bölümünde hangi aşamada ne yaptığınızı; bulgularda ilgili değerlendirme sonuçlarını; tartışmada giderilemeyen sınırları ayrı ayrı gösterin.
| İddia | Olası tehdit | Üretilebilecek kanıt | Sınır |
|---|---|---|---|
| Puan amaçlanan yapıyı yansıtıyor | Madde kapsamı veya model uyumsuzluğu | İçerik incelemesi, yapı ve ilişkiler hakkında kanıt | Tek katsayı bütün geçerliği kanıtlamaz |
| Puanlar tutarlı | Madde, zaman veya uygulayıcı hatası | Amaca uygun iç tutarlılık, test–tekrar veya değerlendirici kanıtı | Tutarlılık doğru şeyi ölçme garantisi değildir |
| Fark müdahaleye bağlanabilir | Seçim, karıştırıcı, kayıp ve ölçüm etkisi | Tasarım, dengeleme, izlem ve duyarlılık analizi | Zayıf tasarım ölçüm katsayısıyla düzelmez |
| Nitel yorum veriyle destekli | Seçici alıntı veya araştırmacı etkisi | Karar izi, aykırı örnek, yansıtıcılık ve veri çeşitlemesi | Her strateji her yaklaşımda zorunlu değildir |
Geçerliği tek bir onay damgası olarak sunmayın
Ölçme aracı için içerik, yanıt süreci, iç yapı, diğer değişkenlerle ilişkiler ve kullanım sonuçları gibi farklı kanıtlar gündeme gelebilir. Uzman görüşü içerik kapsamına ilişkin kanıt sağlayabilir; fakat puanın yapısını, başka ölçümlerle ilişkisini veya karar doğruluğunu tek başına kanıtlamaz. Uzmanların sayısı kadar seçim ölçütü, değerlendirme formu, uyuşmazlıkların çözümü ve araçta yapılan değişiklikler açıklanmalıdır.
Başka bir araştırmada doğrulanan ölçek, yeni dil, yaş grubu, kurum veya kullanım amacı için otomatik olarak geçerli sayılmaz. Kullanılan sürümü, uyarlama kaynağını, puanlama biçimini ve sizin örnekleminizde değerlendirilen kanıtları belirtin. Ölçekte madde çıkarmak, yanıt kategorisini değiştirmek veya yalnız bazı alt boyutları kullanmak ölçüm anlamını değiştirebilir; geliştirici izni ve yeni kanıt gerekebilir.
- Ölçümün hangi amaç ve grupta kullanılacağını tanımlayın.
- Aracın tam sürümünü, uyarlamasını ve puanlama yöntemini belirtin.
- Her geçerlik kanıtının hangi iddiayı desteklediğini açıklayın.
- Uzman seçimi, formu, uzlaşma ve değişiklik sürecini raporlayın.
- Yeni örneklemde değerlendirilmeyen kanıtlar için kesin dil kullanmayın.
Güvenirlik katsayısını ölçüm tasarımına göre seçin
İç tutarlılık, maddelerin aynı puan yapısı içinde ne ölçüde birlikte davrandığıyla ilgilidir; zaman içi kararlılık veya farklı değerlendiricilerin uyumu hakkında tek başına bilgi vermez. Test–tekrar test, değerlendiriciler arası uyum, paralel form veya ölçüm hatası gibi kanıtlar araştırmanın kullanımına göre gerekli olabilir. Ölçek çok boyutluysa bütün maddeler için tek katsayı yanıltıcı olabilir.
Cronbach alfa değeri yüksek diye ölçek tek boyutlu veya geçerli kabul edilmez. Madde sayısı katsayıyı etkileyebilir; aynı örneklemde hesaplanan değerin güven aralığı ve alt boyut sonuçları önemlidir. Kullanılan katsayıyı, hesaplandığı örneklemi, madde sayısını, varsa ters maddeleri ve eksik veri yöntemini belirtin. Genel eşik ifadelerini bağlamdan bağımsız başarı kuralına dönüştürmeyin.
İç ve dış geçerliği araştırma tasarımı düzeyinde ele alın
İç geçerlik, özellikle neden–sonuç iddiasında gözlenen değişimin alternatif açıklamalarla ne ölçüde açıklanabildiğine ilişkindir. Seçim farkı, tarihsel olay, olgunlaşma, ölçüm değişikliği, gruplar arası bulaşma, kayıp ve karıştırıcılar tasarıma bağlı tehditlerdir. Rastgele atama, karşılaştırma grubu, körleme, standart uygulama veya istatistiksel ayarlama farklı tehditleri azaltabilir; hiçbiri bütün sorunları tek başına çözmez.
Dış geçerlik veya genellenebilirlik yalnız örneklem büyüklüğü değildir. Çerçevenin kapsamı, seçilme ve yanıt mekanizması, kurum/ülke bağlamı, zaman, uygulama koşulları ve müdahalenin gerçek hayata benzerliği önemlidir. Sonuçlar tek kurum ve gönüllü örnekleme dayanıyorsa geniş nüfus için kesin dil kullanmayın. Bulguların hangi koşullarda uygulanabileceğini ve hangi grupların temsil edilmediğini yazın.
Nitel araştırmada inandırıcılığı yaklaşımınıza göre yapılandırın
Nitel araştırmada inandırıcılık; yorumların katılımcı anlatıları, gözlemler, belgeler ve bağlamla güçlü bağ kurmasıyla ilgilidir. Uzun süreli etkileşim, veri veya araştırmacı çeşitlemesi, aykırı durum analizi, akran sorgulaması, katılımcı geri bildirimi ve zengin betimleme kullanılabilecek stratejilerdir. Ancak bunları yapılmış gibi sıralamak yerine hangi araştırma riskini neden ele aldığınızı ve stratejinin hangi değişikliğe yol açtığını yazın.
Katılımcı doğrulaması her araştırmada “temayı onaylatmak” biçiminde uygulanmaz; bazı yaklaşımlarda katılımcının sonradan değişen görüşü veya araştırmacının yorum düzeyi nedeniyle farklı amaçlar taşıyabilir. Üçgenleme de kaynakların aynı sonucu vermesini zorunlu kılmaz. Çelişki, bağlamsal farkı veya kavramın farklı yönlerini gösterebilir. Uyuşmayan veriyi silmek yerine analiz edin.
| Boyut | Olası uygulama | Tezde gösterilecek kanıt |
|---|---|---|
| İnandırıcılık | Derin veri, aykırı örnek, uygun geri bildirim | Temanın veri örnekleri ve karar değişiklikleri |
| Aktarılabilirlik | Bağlam ve katılımcının zengin betimi | Okurun benzerliği değerlendireceği yeterli ayrıntı |
| Tutarlılık | Protokol, sürüm ve karar izi | Sorudan temaya analitik sürecin kaydı |
| Teyit edilebilirlik | Yansıtıcılık ve kanıt zinciri | Araştırmacı varsayımları, alternatif yorum ve alıntı bağları |
Kodlayıcı uyumunu nitel kalitenin tamamı saymayın
Birden çok kodlayıcı kullanılan çalışmada eğitim, kod tanımları, bağımsız kodlanan bölüm, uyuşmazlık çözümü ve varsa uyum ölçüsü açıklanabilir. Ancak yüksek uyum, kodların araştırma sorusu açısından anlamlı veya yorumun bağlama uygun olduğunu tek başına göstermez. Bazı yorumlayıcı yaklaşımlarda amaç kodlayıcıların aynı sonuca zorlanması değil, farklı bakışların tartışılmasıdır.
Tek araştırmacılı tezde ikinci kodlayıcı bulunmaması otomatik olarak geçersizlik değildir. Karar günlüğü, kod kitabı sürümleri, danışmanla analitik sorgulama, aykırı örnek incelemesi ve veri parçalarından temaya izlenebilir yol kurulabilir. Yaptığınız uygulamayı yaklaşımınıza göre açıklayın; gerçekte yapılmayan “uzman kontrolü” cümleleri eklemeyin.
Yöntem, bulgular ve sınırlılıkları doğru bölümlere dağıtın
Yöntemde hangi kalite stratejisinin neden ve nasıl uygulandığını yazın. Bulgularda ölçüm veya uyum değerlendirmesinin sonuçlarını, gerekiyorsa tabloyla verin. Tartışmada bu kanıtların sonuçların yorumuna etkisini ve giderilemeyen riskleri açıklayın. Aynı genel paragrafı üç bölüme kopyalamak yerine karar zincirini dağıtın.
Örnek raporlama mantığı şöyledir: “Görüşme rehberinin araştırma sorularını kapsaması için alan ve yöntem deneyimine sahip uzmanlardan yapılandırılmış form aracılığıyla görüş alınmış, uyuşmayan öneriler gerekçeleriyle tartışılmış ve iki soru birleştirilmiştir.” Ya da “İki zaman noktasındaki puan kararlılığı … aralığıyla değerlendirilmiştir.” Gerçek işlem, sayı, katsayı ve sınırınızı yazın; hazır sonucu kopyalamayın.
Geçerlik ve güvenirlik son kontrol listesi
- Değerlendirilen iddia ve onu tehdit eden risk açık.
- Ölçüm kanıtı ile araştırma tasarımı geçerliği birbirine karıştırılmıyor.
- Uzman görüşünün seçim, form, uzlaşma ve değişiklik süreci yazılıyor.
- Kullanılan araç sürümü, dil, grup ve puanlama biçimi belirtiliyor.
- Güvenirlik katsayısı ölçüm amacı ve yapısına uygun seçiliyor.
- Tek katsayı geçerlik veya tek boyutluluk kanıtı sayılmıyor.
- İç/dış geçerlik tehditleri için somut tasarım önlemleri açıklanıyor.
- Nitel kalite stratejileri yaklaşım ve riske göre gerekçelendiriliyor.
- Çelişen/aykırı veri saklanmıyor, analitik olarak ele alınıyor.
- Yöntem, bulgu ve sınırlılık bilgileri doğru bölümlere dağıtılıyor.
Sık sorulan sorular
Cronbach alfa kaç olmalıdır?
Bütün amaçlar için geçerli tek eşik yoktur. Ölçeğin yapısı, madde sayısı, kullanım amacı, örneklem ve belirsizlikle birlikte yorumlanmalı; alfa geçerlik kanıtı sayılmamalıdır.
Uzman görüşü almak geçerlik için yeterli midir?
Hayır. İçerik kapsamına ilişkin bir kanıt sağlayabilir; yapısal, ölçütle ilişkili, yanıt süreci veya kullanım sonuçlarına ilişkin diğer kanıtların yerini tutmaz.
Nitel araştırmada geçerlik ve güvenirlik yazılır mı?
Disiplin ve yaklaşıma göre terminoloji değişir. İnandırıcılık, aktarılabilirlik, tutarlılık, teyit edilebilirlik veya yaklaşımın kendi kalite kavramları gerekçeli kullanılabilir.
İki kodlayıcının aynı kodu vermesi zorunlu mu?
Yöntem yaklaşımına bağlıdır. Bazı çalışmalarda uyum ölçülür; bazı yorumlayıcı yaklaşımlarda farklılıkların tartışılması analitik katkıdır. Süreç şeffaf raporlanmalıdır.
Geçerlik ve güvenirlik yöntemde mi bulgularda mı yazılır?
Uygulanan yöntem ve gerekçe yöntem bölümünde, hesaplanan sonuçlar bulgularda, sonuçların yoruma etkisi ve sınırlar tartışmada yer alabilir. Enstitü şablonu özel sıra koyabilir.