Pilot çalışma; veri toplama aracının anlaşılabilirliğini, uygulama süresini, katılımcıya ulaşma yolunu, teknik altyapıyı, kayıt kalitesini ve planlanan analiz adımlarını asıl araştırmadan önce sınamak için yapılan kontrollü bir ön uygulamadır. Amaç yalnız “ölçek çalıştı mı?” sorusuna cevap vermek değildir. Davet metninden dosya adlandırmaya, görüşme sorularının sırasından çevrim içi formun mobil görünümüne kadar bütün iş akışındaki kırılma noktaları pilotta görülebilir.
Her küçük örneklemli uygulama pilot değildir; her pilot da istatistiksel bir sonuç üretmek zorunda değildir. Pilotun kapsamı araştırma sorusuna, desene ve belirsizliğin nerede olduğuna göre belirlenir. Bu rehber pilot çalışmayı tezde nasıl planlayacağınızı ve raporlayacağınızı açıklar. Etik kurul, kurum izni, araç kullanım izni ve veri koruma koşulları için üniversitenizin güncel kararları ile danışmanınızın yönlendirmesi önceliklidir.
Pilot çalışmanın cevaplayacağı soruyu önce belirleyin
“Pilot çalışma yapacağım” demeden önce hangi belirsizliği azaltmak istediğinizi yazın. Katılımcıların bazı soruları yanlış anlamasından mı, uygulamanın planlanan sürede tamamlanmamasından mı, ölçüm cihazının ortamda kararlı çalışmamasından mı, görüşme kaydının yetersiz olmasından mı yoksa analiz dosyasının doğru üretilememesinden mi endişe ediyorsunuz? Birincil pilot amacı, kimlerin katılacağını ve hangi verinin toplanacağını belirler.
Pilot amaçları ölçülebilir veya gözlenebilir olmalıdır. “Anketi denemek” yerine “maddelerin anlaşılmayan sözcüklerini belirlemek, tamamlanma süresini ölçmek ve mobil ekranda boş bırakılan alanları incelemek” daha kullanışlıdır. Böyle bir amaç, pilot sonunda hangi kararı vereceğinizi de gösterir. Amaç belirsizse pilot, birkaç kişiden genel beğeni istemeye dönüşür ve yöntem kararını desteklemez.
| Belirsizlik | Pilot sorusu | Toplanacak kanıt | Olası karar |
|---|---|---|---|
| Anlaşılabilirlik | Katılımcı maddeyi amaçlanan anlamda mı yorumluyor? | Bilişsel görüşme notu, açıklama talebi, boş yanıt | Sözcük veya soru sırasını düzeltme |
| Uygulanabilirlik | Davet, onam ve uygulama planı işliyor mu? | Katılım akışı, süre, bırakma nedeni | Takvim veya katılımcıya ulaşma yolunu değiştirme |
| Teknik süreç | Cihaz, form, kayıt ve dosya aktarımı güvenilir mi? | Hata kaydı, eksik dosya, ses/görüntü kalitesi | Yedek yöntem veya teknik ayar ekleme |
| Analiz hazırlığı | Kodlama ve veri yapısı planlanan analize uygun mu? | Değişken adı, kategori, eksik/aykırı kayıt | Kod kitabı ve dışlama kuralını netleştirme |
Pilot katılımcıları ve büyüklüğü amaçla uyumlu seçin
Pilotun katılımcıları mümkün olduğunca asıl araştırmanın hedef grubuna benzer özellikler taşımalıdır. Hedef kitlenin anlamakta zorlanabileceği bir formu yalnız araştırmacının yakın çevresindeki akademisyenlere okutmak, dil ve uygulama sorunlarını yakalamayabilir. Bununla birlikte pilot katılımcılarını ana örnekleme otomatik olarak dâhil etmek de doğru değildir. Pilot sırasında araç veya süreç değiştiyse iki uygulamanın verileri doğrudan karşılaştırılabilir olmayabilir.
Bütün pilotlar için geçerli tek bir kişi sayısı yoktur. Bilişsel görüşme, teknik prova, bir görüşmenin süre ve akış kontrolü, bir kümenin erişim oranını ölçme veya bir varyans tahmini için gereken kapsam farklıdır. Sayıyı “başka tezlerde on kişi kullanılmış” gerekçesiyle kopyalamak yerine her pilot amacının kaç farklı durumu görmeyi gerektirdiğini açıklayın. İstatistiksel parametre kestirimi hedefleniyorsa belirsizliğin yüksek olacağını ve pilot tahminine aşırı güvenilmemesi gerektiğini ayrıca belirtin.
- Hedef gruba benzerlik ölçütlerini yazın.
- Pilota kimlerin davet edildiğini ve kimlerin tamamladığını ayırın.
- Pilot verisinin ana analize katılıp katılmayacağını önceden belirleyin.
- Araç değişirse eski ve yeni sürümü tarih/sürüm koduyla saklayın.
- Kişi sayısını pilotun amacı, çeşitlilik ihtiyacı ve kaynaklarla gerekçelendirin.
Anket, ölçek ve görüşme formunu yalnız sonuç puanıyla değerlendirmeyin
Bir ankette yalnız toplam puanın veya iç tutarlılık katsayısının hesaplanması, maddelerin doğru anlaşıldığını göstermez. Katılımcıdan soruyu kendi cümlesiyle açıklamasını istemek, yanıtını nasıl seçtiğini sormak, zor veya belirsiz sözcükleri işaretletmek ve formu tamamlarken nerede durduğunu gözlemek içerik sorunlarını ortaya çıkarabilir. Çevrim içi formda zorunlu alanların, geri dönüşün, çoklu yanıtın ve küçük ekran görünümünün ayrıca sınanması gerekir.
Görüşme pilotunda soru listesini hızlıca okumak yerine açılış, geçiş, derinleştirme ve kapanış akışını gerçek bir oturum gibi uygulayın. Soruların yönlendirici olup olmadığını, aynı şeyi tekrar edip etmediğini, katılımcının örnek vermesine alan açıp açmadığını ve kaydın anlaşılır olup olmadığını inceleyin. Pilot sonrasında yalnız soruları değil, görüşmecinin açıklama ve takip sorusu kullanımını da değerlendirin.
Pilot uygulamayı asıl araştırma ciddiyetiyle yürütün
Pilot küçük olduğu için izin, bilgilendirme, onam ve veri güvenliği adımları atlanamaz. İnsan katılımcıdan veri toplanıyorsa pilotun etik başvuru kapsamına girip girmediğini kendi kurulunuzdan doğrulayın. “Yalnız deneme” diye kişisel veri toplamak veya gerçek katılımcı kaydını güvenli olmayan bir hizmete yüklemek etik ve hukuki riski ortadan kaldırmaz.
Uygulamadan önce bir pilot kayıt formu hazırlayın. Planlanan ve gerçekleşen süre, katılımcı soruları, teknik hatalar, boş yanıtlar, araştırmacının müdahaleleri, veri kaybı ve önerilen düzeltmeler aynı biçimde kaydedilsin. Belleğe güvenmek yerine tarihli sorun günlüğü tutmak, hangi değişikliğin hangi gözleme dayandığını tezde açıklamanızı kolaylaştırır.
- Protokolü dondurun Pilot sürümünü, amaçları, ölçütleri ve veri güvenliği adımlarını tarihleyin.
- Gerçek akışı uygulayın Davet, bilgilendirme, onam, veri toplama, saklama ve aktarımı asıl plan gibi yürütün.
- Sorun günlüğü tutun Sorunun zamanı, etkisi, geçici çözümü ve tekrar edip etmediğini kaydedin.
- Veriyi prova analizinden geçirin Kod kitabını, dosya yapısını, eksik veri işaretini ve temel analiz komutlarını deneyin.
- Değişiklik kararını belgeleyin Her değişiklik için kanıtı, beklenen yararı ve ana araştırmaya etkisini yazın.
Pilot sonucu “başarılı/başarısız” diye geçiştirmeyin
Pilot raporunda hangi ölçütlerin karşılandığını, hangi sorunların bulunduğunu ve bunların asıl araştırma protokolünü nasıl değiştirdiğini açıklayın. Bazı sorunların değişiklik gerektirmediğine karar verdiyseniz bunun gerekçesini de kaydedin. Pilotun görevi kusursuz sonuç üretmek değil, asıl araştırma başlamadan önce düzeltilebilecek sorunları görünür kılmaktır; sorun bulunması başarısızlık değildir.
Ana araştırmadan sonra pilotu yapılmış gibi sunmak, yalnız olumlu sonuçları seçmek veya araç değişikliklerini gizlemek şeffaflığı bozar. Pilot verisinden hipotez testi veya etki büyüklüğü hakkında kesin sonuç çıkarmayın. Küçük pilotlarda oran, ortalama ve katsayıların belirsizliği yüksek olabilir; bunları ana çalışmanın bilimsel sonucuyla karıştırmayın.
| Gözlem | Kanıt | Karar | Ana çalışmaya etkisi |
|---|---|---|---|
| İki madde aynı anlaşıldı | Katılımcı açıklamaları ve boş yanıtlar | Bir madde yeniden yazıldı | Araç sürümü 1.1 kullanılacak |
| Görüşme planı aşıldı | Ortalama oturum süresi | Tekrarlı soru çıkarıldı | Randevu aralığı yeniden düzenlendi |
| Ses kaydında gürültü oluştu | İki kayıtta çözümleme güçlüğü | Ortam ve yedek kayıt kontrolü eklendi | Veri kaybı riski azaltıldı |
| Kod kategorisi belirsizdi | Aynı yanıtın farklı kodlanması | Kod tanımı ve örnekleri genişletildi | Kodlama eğitimi yapılacak |
Pilot çalışmayı tezde nereye ve nasıl yazacağınızı belirleyin
Pilot çalışma çoğunlukla yöntem bölümünde veri toplama aracının geliştirilmesi, uygulama süreci veya geçerlik–güvenirlik/araştırma niteliği alt başlığında raporlanır. Ayrı bir “Pilot Uygulama” alt başlığı açıp açmamak enstitü şablonuna ve pilotun kapsamına bağlıdır. Metinde pilotun amacı, katılımcı özellikleri ve sayısı, tarih/ortam, izlenen süreç, gözlenen sorunlar, yapılan değişiklikler ve pilot verisinin ana analize katılma durumu açık olmalıdır.
Ayrıntılı form, değişiklik günlüğü veya eski–yeni soru karşılaştırması metni ağırlaştırıyorsa eklerde sunulabilir. Ancak ana metin, okuyucuyu yalnız eke gönderip kararları gizlememelidir. Pilot sonrasında araçta değişiklik yapılmadıysa “değişiklik gerektirmedi” sonucunun hangi ölçüte dayandığını yazın. Bir ölçüm aracının psikometrik geçerliği için pilot uygulamanın tek başına yeterli olmadığını da sınır olarak belirtin.
Pilot çalışma son kontrol listesi
- Pilotun azaltacağı belirsizlik ve karar ölçütü açıkça yazıldı.
- Katılımcılar hedef gruba benzer ve seçim gerekçesi açıklanıyor.
- Pilot sayısı başka tezden kopyalanmak yerine amaca bağlanıyor.
- İzin, onam ve veri güvenliği asıl araştırmayla aynı ciddiyetle ele alınıyor.
- Anlaşılabilirlik, süre, teknik süreç ve analiz hazırlığı kayda alınıyor.
- Eski ve yeni araç/protokol sürümleri tarihli biçimde korunuyor.
- Pilot verisinin ana analize katılıp katılmadığı belirtiliyor.
- Bulunan sorun, kanıt, değişiklik ve ana araştırma etkisi birbirine bağlanıyor.
- Küçük pilot sonuçlarından kesin etki veya başarı iddiası üretilmiyor.
- Tez metni, enstitü kılavuzu ve danışman kararıyla uyumlu son biçime getiriliyor.
Sık sorulan sorular
Pilot çalışma kaç kişiyle yapılır?
Tek bir doğru sayı yoktur. Bilişsel görüşme, teknik prova, süre ölçümü veya istatistiksel parametre kestirimi farklı kapsam ister. Sayıyı pilot amacı, hedef gruptaki çeşitlilik, karar ölçütü ve belirsizlikle gerekçelendirin.
Pilot katılımcıları ana örnekleme alınabilir mi?
Araç, protokol ve koşullar değişmediyse bazı desenlerde mümkün olabilir; fakat bu karar önceden tanımlanmalı ve etik/istatistiksel etkileri değerlendirilmelidir. Araç değiştiyse veriler aynı ölçümü temsil etmeyebilir.
Pilot çalışma için etik kurul gerekir mi?
İnsan katılımcıdan veri alınması, kişisel veri işlenmesi ve müdahale türü kurul değerlendirmesini etkileyebilir. Pilotun kapsamını üniversitenizin etik kurulundan doğrulayın; küçük veya “deneme” olması otomatik muafiyet sağlamaz.
Pilot çalışma tezde bulgular bölümüne mi yazılır?
Pilotun ana amacı yöntem akışını geliştirmekse çoğunlukla yöntem bölümünde raporlanır. Bilimsel sonuç üretmek üzere tasarlanmış ayrı bir çalışma söz konusuysa yapı değişebilir; danışman ve enstitü kuralı esas alınır.
Pilot uygulamada güvenirlik katsayısı hesaplamak yeterli midir?
Hayır. Bir katsayı anlaşılabilirlik, içerik uygunluğu, uygulama hatası, teknik sorun, yanlılık ve bütün geçerlik kanıtlarını kapsamaz. Pilot amacına uygun birden çok kanıt toplanmalıdır.