PAPS adalah tes kemampuan kognitif yang dirancang khusus untuk mengungkap potensi akademik, yaitu potensi yang mendasari kemungkinan seseorang untuk dapat berhasil sekiranya dia mendapatkan kesempatan untuk belajar lebih lanjut di perguruan tinggi. PAPS lebih menekankan pada potensi daripada capaian hasil pembelajaran karena PAPS merupakan instrumen untuk memprediksi keberhasilan dan bukan mengidentifikasi keberhasilan. Teori yang dipakai dalam pengembangan tes ini adalah kecerdasan umum yang merupakan kemampuan umum yang menjadi dasar dari berbagai macam domain-domain kecerdasan.
Fitur dan Seri PAPS
Meskipun fokus utama dari PAPS adalah penalaran, namun PAPS melibatkan berbagai macam konteks atau modalitas penalaran seperti verbal, kuantitatif dan figural. Tujuannya adalah untuk mengukur seberapa besar individu mampu menerapkan kemampuannya pada masalah yang lebih luas dan baru. PAPS sudah dikembangkan lebih dari 10 seri yang setiap tahunnya direviu baik konten maupun performansi properti psikometrisnya. Reviu dilakukan oleh pakar-pakar psikometri dan konstruksi tes psikologi di Fakultas Psikologi UGM. Beberapa parameter yang dipertimbangkan dalam reviu tersebut antara lain adalah (a) daya beda butir, yaitu kemampuan sebuah butir untuk membedakan individu yang dites berdasarkan kemampuan yang diukur. (b) sebaran tingkat kesulitan butir, sebuah tes yang baik harus memiliki sebaran tingkat kesulitan sesuai dengan tujuan. Tes untuk keperluan seleksi misalnya, harus memiliki sebaran tingkat kesulitan butir yang didominasi dengan butir tingkat kesulitan tinggi. (c) reliabilitas dan eror standar pengukuran. Tes yang baik adalah tes yang menghasilkan skor yang relatif bersih dari eror-eror pengukuran yang dapat menyebabkan informasi mengenai kemampuan orang yang diukur menjadi tidak konsisten. (d) Validitas, yaitu seberapa besar skor mampu menjelaskan kemampuan yang diukur.
Properti Psikometris
Kriteria yang dipakai untuk mengganti atau memperbaharui butir PAPS adalah daya beda yang ditunjukkan dengan korelasi butir total di atas 0,25 untuk level tes secara keseluruhan (120 atau 150 butir) dan 0,30 untuk komponen tes secara spesifik (20 hingga 30 butir). Pembedaan ini dikarenakan secara psikometris, analisis terhadap butir yang berukuran sangat besar akan cenderung mengurangi daya bedanya. Pada level tes, kriteria yang dipakai adalah reliabilitas di atas 0,80 untuk tes secara spesifik dan 0,90 untuk tes secara keseluruhan. Dari kriteria ini didapatkan kesimpulan bahwa semua butir atau Tes PAPS memiliki kualitas psikometris yang memuaskan. Sebagai contoh Tes PAPS seri A1(R) dan A2(R) memiliki reliabilitas sebesar 0,921 dan 0,934 dengan semua korelasi butir total di atas 0,20. Hasil pengujian validitas yang dilakukan dengan analisis faktor untuk melihat validitas konstruknya menghasilkan ketepatan yang memuaskan antara data dengan model Tes PAPS. Sementara itu pengujian validitas prediktif skor Tes PAPS terhadap keberhasilan belajar menunjukkan nilai prediksi di atas 0,30 yang merupakan batas minimal validitas yang memuaskan. Hasil analisis melalui pendekatan teori modern (Item Response Theory) Tes PAPS dievaluasi berdasarkan ketepatan butirnya dengan model (Rasch, 2PL) serta informasi test (test information test function). Hasil analisis menunjukkan bahwa semua butir Tes PAPS memiliki ketepatan butir dengan model tes modern dan fungsi informasi tes yang sesuai dengan tujuan pengukuran. Hasil selengkapnya megenai properti psikometris Tes PAPS dapat dilihat pada laman Penelitian di website ini.
