Karma yapıdaki geniş ölçekli Naep fen bilimleri testinin boyutluluk yapısının çok boyutlu madde tepki kuramına göre incelenmesi

Abstract

Bu araştırmanın amacı Tek Boyutlu Madde Tepki Kuramı modelleri, Çok Boyutlu Madde Tepki Kuramı modelleri ve Bifaktör modeller (BF) kapsamında karma test formatında uygulanan, hem ayrı hem de eş zamanlı kalibre edilen NAEP 2011 yılı Fen Bilimleri Testinin madde türü, içerik alanı ve bilişsel süreçler (fen uygulamaları) değişkenlerine ve bu değişkenlerin birleşimlerine ilişkin madde parametrelerinin kestirim tekniği, standart hata kestirim tekniği, test uzunluğu, faktör yapıları ile test yapısının model-veri uyumları açısından genel uyum iyiliği indislerinin ve madde-model uyum indislerinin belirlenmesi ve bu kestirimlere dayalı gerçek verinin boyutluluk durumlarını ortaya koymaktır. Araştırma, uygulamalı araştırma niteliğinde nicel bir çalışmadır. Bu durum, çalışmaya kuramsal açıdan yeni bir bakış açısı sunmaktadır. Araştırmanın genel amacı doğrultusunda model-veri ve madde-model uyum indisleri incelenmiştir. Araştırma verilerinin çözümlenmesinde ilgili değişkenler ve bu değişkenlerin birleşimleri farklı Madde Tepki Kuramı modelleri kapsamında hem iki kategorili hem de çok kategorili modellerle karşılaştırmalı olarak ele alınmış ve en iyi modelin belirlenmesi sürecinde Tek Boyutlu Madde Tepki Kuramı, Bifaktör ve Çok Boyutlu Madde Tepki Kuramı modelleriyle ölçme modelleri ortaya konulmuştur. Araştırmanın sonucunda örneklem büyüklüğü sabit kaldığında test uzunluğunun önemli bir değişken olduğu, yanıtı yapılandırılmış açık uçlu maddelerin teste eklenmesinin önemli bir etken olduğu, testte yer alan yanıtı yapılandırılmış açık uçlu madde sayısının arttırılması durumunda kısa testlerde bile çok boyutluluğa yol açtığı belirlenmiştir. Ayrıca testte yer alan yanıtı yapılandırılmış açık uçlu maddelerin testin daha doğru geçerlik ve güvenirlik değerlerini ortaya koyduğu, yanıtı yapılandırılmış açık uçlu maddelerden elde edilen bilginin çoktan seçmeli maddelerden elde edilen bilgiden nispeten daha fazla olduğu ve yüksek ayırt edicilik parametre değerlerinin test maddeleri hakkında daha fazla bilgi verdiği görülmüştür. Bununla birlikte karma testlerin eş zamanlı kalibrasyonunun yüksek bilgi oranlarının elde edilmesinde ve ölçme duyarlılığının artışında önemli bir etken olduğu gözlenmiştir. Diğer taraftan düşünme becerileri madde türleri tarafından ölçülmektedir ve bu durumda madde türlerinin tek başına bir boyut oluşturabildiği belirlenmiştir. NAEP fen bilimleri testinin, Doğrulayıcı Faktör Analizi ile Bifaktör modellerle de daha iyi uyum sağlayabileceği sonucuna ulaşılmıştır. Bununla birlikte, test verisi çok boyutlu modellerle karmaşık test yapısı ile daha iyi uyum sağlamıştır. Ayrıca alt testlerde karmaşık yapı sergileyen modellerin temelde yarı karışık test yapısını da temsil ettiği gözlenmiştir. NAEP çok boyutlu test verisi hem Açımlayıcı Faktör Analizi hem Doğrulayıcı Faktör Analizi hem de Bifaktör modelleriyle de uyum göstermiştir ancak model karşılaştırmalarında testte yer alan maddelerin karakteristik niteliklerinden dolayı Açımlayıcı Faktör Analizi ile daha başarılı sonuçlar vermiştir. Bu durumda çok boyutlu veriler her modelle uyum sağlasa da en iyi modelin ortaya konulmasında kuramsal temellere dayandırılmasının ve araştırmacının görüşünün önemli olduğu vurgulanmıştır. Tek boyutlu modellerde test verisinde madde-model uyumunu bozan veya madde-model uyumu için incelenmesi gereken maddelerin daha fazla olduğu belirlenmiştir. Madde-model uyum indisleri incelendiğinde modeller ayrı kalibre edildiğinde madde-model uyumsuzluğunu gösteren çok sayıda madde bulunurken eş zamanlı kalibre edildiğinde madde-model uyumsuzluğunu gösteren az sayıda madde olduğu belirlenmiştir. Diğer taraftan ayrı kalibre edilen tek boyutlu modellerde yer alan birçok çoktan seçmeli maddenin 1. tip hata oranını arttırdığı belirlenmiştir. Çoktan seçmeli madde sayısı azaltılmalıdır. Madde-model ve model-veri uyumunu bozan ve daha üst düzey düşünme becerisi gerektiren çoktan seçmeli maddeler, yanıtı yapılandırılmış açık uçlu madde türüne dönüştürülmelidir. NAEP test verisi, Genelleştirilmiş Kısmi Puanlamalı Model, MH-RM ve SEM teknikleriyle daha başarılı sonuçlar ortaya koymuştur. NAEP verisi BA-EM algoritması ve Dereceli Tepki Modeli ile uyum göstermemiştir. Fizik Bilimleri içerik alanı ile fen uygulamalarının üst basamağı olan bilimsel sorgulama becerisi alt testleri çözümsüz kalmıştır. Bir başka anlatımla, tek boyutluluk dahi sağlanamamıştır. Küme maddeler, test verisinin model-veri uyumunu bozmaktadır. Model-veri uyumunun bozulmasında ayırt edicilik parametresinin çok kategorili modellerde kategori tepki derecesinden etkilendiği belirlenmiştir. Test verisinde yer alan 3, 4 ve 5 kategorili yanıtı yapılandırılmış açık uçlu maddeler birleştirilmelidir ya da 4 ve 5 kategorili yanıtı yapılandırılmış açık uçlu maddeler birleştirilerek testte yanıtı yapılandırılmış açık uçlu maddelerin sayısı arttırılmalıdır. Madde türü değişkeni açısından test verisi iki boyutlu, içerik alanı değişkeni açısından test verisi üç boyutlu ve bilişsel süreçler değişkeni açısından ise test verisi iki boyutludur.