Pengembangan tes di Fakultas Psikologi UGM dilakukan dengan mengikuti prosedur pengembangan tes psikologi yang dipaparkan dalam berbagai literatur tes. Dokumen yang dipakai untuk memandu pengembangan tes adalah Buku The Standards for Educational and Psychological Testing yang dikembangkan oleh (American Educational Research Association (AERA), American Psychological Association (APA), dan National Council on Measurement in Education (NCME) tahun 1999 dan 2014). Semua proses yang dilakukan dalam pengembangan tes dilakukan berdasarkan rekomendasi-rekomendasi yang tertera di dalam buku tersebut beserta beberapa literatur. Sistem penjaminan mutu dilakukan dengan cara memastikan bahwa pengembangan tes telah melalui prosedur pengembangan tes yang ilmiah dan dapat dipertanggungjawabkan. Bagian ini akan menjelaskan prosedur pengembangan tes dimana TKDA merupakan salah satu bagian dari tes yang telah dikembangkan secara rutin. Selain prosedur, jaminan mutu juga ditunjukkan oleh pihak-pihak yang terlibat dalam pengembangan tes yang harus memenuhi kualifikasi yang ditetapkan. Secara teknis penjaminan mutu dilakukan oleh lembaga yang dibentuk Fakultas Psikologi UGM yang bernama Unit Pengembangan Alat Psikodiagnostika (UPAP) yang didukung oleh dosen-dosen yang memiliki kepakaran dalam bidang pengukuran di KBK Psikometrika Fakultas Psikologi UGM.
Kegiatan Pengembangan Instrumen
Secara umum tahap-tahap yang dilakukan dalam pengembangan tes di Fakultas Psikologi UGM adalah sebagai berikut.
- Pendesainan dan Perumusan Spesifikasi Tes
Kegiatan pendesainan dan perumusan spesifikasi tes memuat kegiatan berupa penentuan tujuan tes, perancangan tes, pendefinisian target populasi individu yang akan diukur, pendefinisian kriteria individu yang dapat mengadministrasikan tes, cakupan dan lingkup tes, prosedur pengadministrasian tes, format tes dan prosedur penyekoran serta penormaan. Untuk mendapatkan desain tes yang memiliki keunggulan, pendesain tes melakukan studi identifikasi berbagai macam tes yang telah ada baik yang sudah dikembangkan maupun yang telah dikembangkan oleh pihak eksternal dengan cara mengidentifikasi kelebihan, kelemahannya serta potensi yang dapat dikembangkan dari tes-tes tersebut.
- Penulisan Butir
Proses penulisan butir pada suatu tes dilakukan secara bersama-sama dengan pengawasan oleh pengembang yang berkompeten dan berpengalaman dalam mengembangkan tes yang terkait dengan atribut yang diukur. Tugas penulis butir soal adalah menulis butir soal yang sesuai dengan kisi-kisi dan tujuan tes yang telah ditentukan. Sebelum proses penulisan butir soal dimulai, para penulis butir soal diberi pelatihan mengenai dan pembekalan dasar-dasar dan pengalaman mengenai penulisan butir soal oleh pakar dalam bidang tersebut. Semua butir soal yang ditulis harus sudah melalui proses editorial review yang ketat dan memungkinkan adanya revisi sebelum butir soal diujicobakan dan dimasukkan ke dalam bank soal. Kualifikasi penulis butir soal yang akan diundang dalam penyusunan tes adalah memiliki latar pendidikan psikologi, diutamakan seorang psikolog, memahami masalah asesmen dan psikodiagnostika, memiliki pengalaman dalam bidang konstruksi tes.
Kegiatan ini memuat reviu silang antar penulis soal yang bertujuan untuk memastikan bahwa butir yang ditulis benar-benar mengukur konstruk yang diukur. Misalnya sebuah butir ditujukan untuk mengukur penalaran verbal, maka proses kognitif yang dipakai untuk menyelesaikan soal tersebut harus penalaran bukan ingatan, konsentrasi, ketelitian atau kemampuan lainnya.
- Reviu Butir Soal
Soal yang telah ditulis kemudian akan direviu oleh panelis pakar yang sebagian besar adalah para pendesain dan pengembang tes tersebut. Materi yang di review adalah kesesuaian butir yang ditulis dengan kisi-kisi, identifikasi terhadap adanya unsur SARA pada butir yang ditulis, kemungkinan munculnya bias pengukuran baik berdasarkan latar belakang demografi peserta tes atau faktor-faktor yang tidak relevan dengan atribut yang diukur. soal yang di reviu kemudian diputuskan untuk diterima, direvisi, atau ditolak untuk dilibatkan dalam proses pengembangan selanjutnya.
- Pengembangan Bank Soal
Bank soal adalah koleksi butir soal-butir soal tertulis yang telah direviu oleh para pakar yang belum maupun sudah diujicobakan ke lapangan dan dikalibrasi parameternya sehingga belum memiliki informasi mengenai parameter psikometris. Secara teoritis, butir soal-butir soal di dalam bank butir soal dipilih secara sistematis dari populasi butir soal dengan pertimbangan tertentu. Pada tahap ini, pengembangan tes dilakukan dengan menuliskan butir soal 2 hingga 4 kali lipat kebutuhan untuk masing-masing subtes yang pada akhirnya akan digunakan pada tes versi akhir. Butir soal yang ditulis mengacu pada indikator yang ditetapkan dari penjabaran secara operasional terhadap kemampuan spesifik yang akan diukur.
- Pemilihan Butir Jangkar (Anchor)
Penggunaan butir jangkar dalam tes memiliki beberapa manfaat yaitu, (a) tes dapat disetarakan secara paralel dengan tes lainnya karena butir jangkar ini dapat dipakai untuk melakukan penyetaraan skor tes, (b) butir jangkar merupakan butir yang memiliki performansi butir yang baik dan sudah memiliki informasi psikometris yang stabil di tingkat populasi sehingga proses penormaan tes akan lebih mudah dilakukan dengan adanya butir jangkar, (c) profil perubahan skor individu peserta tes dapat dipelajari karena butir jangkar dipakai pada banyak tes dan sudah dipergunakan sebelumnya.
Pada kegiatan ini pengembang tes memilih butir jangkar dari tes-tes yang sudah dimiliki kemudian ditinjau performansi psikometriknya. Jumlah butir jangkar yang dipakai sekitar 20 hingga 30 persen dari keseluruhan butir. Pada pengembangan TKDA butir jangkar ini diambil dari kesepakatan antara para pengembang danb penyelenggara TKDA di Indonesia.
- Perakitan Tes
Perakitan tes bertujuan untuk memilih butir-butir terbaik yang akan dipakai pada tes bentuk akhir yang bentuk yang akan dipakai untuk pengukuran di situasi sesungguhnya. Perakitan tes bertujuan untuk memilih butir-butir yang telah memenuhi kualifikasi untuk dipilih dan dipakai dalam tes versi final. Perakitan tidak hanya mempelajari satu butir saja akan tetapi mempelajari tes secara keseluruhan karena tujuan dari proses perakitan adalah membuat sebuah satu kesatuan butir yang dinamakan dengan tes. Dalam mengembangkan tes yang diperhatikan adalah kecukupan jumlah butir untuk mengukur atribut yang diukur, pemerataan tingkat kesulitan butir-butir di dalam tes hingga kesetaraan seri atau form tes yang dikembangkan secara paralel. Perakitan juga dilakukan dengan menggunakan informasi dari hasil analisis IRT dengan memanfaatkan kurva informasi butir (IIF) dan tes (TIF) yang merupakan salah satu fitur penting IRT dalam perakitan tes. Ketepatan hasil perakitan disesuaikan dengan tujuan atau fungsi tes.
- Mini Pilot Tes
Mini pilot tes bertujuan untuk memastikan bahwa butir-butir yang sudah dipilih ke dalam bentuk tes versi final dapat dipahami dengan baik oleh peserta sehingga dapat langsung diujicobakan. Butir-butir yang masih memuat kalimat yang kurang dipahami dengan baik akan dikirimkan lagi ke pereviu untuk diperbaiki atau diganti dengan menggunakan butir pengganti. Kegiatan mini pilot tes dilakukan dengan mengundang 10 orang untuk mengerjakan tes kemudian mereka diminta untuk memberikan umpan balik terhadap tes yang dikembangkan tersebut. Melalui kegiatan ini juga akan didapatkan informasi mengenai kecukupan waktu tes yang diberikan untuk mengerjakan tes.
- Uji Coba Tes
Uji coba tes adalah kegiatan pengambilan data melalui penyelenggaraan tes yang terstruktur sesuai dengan waktu formal pengadministrasian TKDA. Tes yang dilibatkan terdiri dari beberapa seri tes yang dihubungkan dengan butir-butir jangkar. Pelaksanaan dilakukan di internal kampus dalam bentuk intranet untuk meningkat keamanan tes pada laboratorium tes terkomputerisasi yang dimiliki oleh Fakultas Psikologi UGM. Peserta tes didapatkan dari undangan maupun rekrutmen terbatas baik pada mahasiswa di level S1, S2 dan S3 untuk memenuhi kemiripan dengan populasi TKDA. Tujuan dari uji coba adalah mendapatkan data yang lengkap untuk semua butir yang diujicobakan yang nantinya akan dianalisis secara psikometrik.
- Analisis Data
Kegiatan analisis data dilakukan dengan tujuan untuk memastikan bahwa butir-butir yang ada di dalam tes memiliki properti psikometris yang memuaskan. Properti psikometris yang dikaji adalah sebagai berikut:
- Tingkat kesulitan butir
- Daya diskriminasi butir
- Efektivitas distraktor
- Reliabilitas hasil pengukuran
- Validitas hasil pengukuran
- Distribusi tingkat kesulitan butir
- Kesesuaian distribusi skor dengan distribusi kemampuan peserta
Semua elemen ini harus memenuhi kriteria yang ditetapkan, misalnya tingkat kesulitan butir harus berada pada rentang antara 0,20 hingga 0,80 ketika dianalisis dengan menggunakan teori klasik dan berada pada rentang -2 hingga 2 ketika dianalisis dengan menggunakan tes modern. Kriteria-kriteria ini sudah ditetapkan dan memiliki landasan teoritik yang kuat.
- Finalisasi Tes
Kegiatan finalisasi ini dilakukan dengan memastikan tes yang dibuat telah memenuhi semua aspek-aspek properti psikometris yang dipakai. Kegiatan finalisasi diwujudkan dalam bentuk laporan tertulis untuk disampaikan kepada para pakar di bidang pengukuran yang tergabung dalam KBK Psikometrika. Para pakar akan memberikan justifikasi mengenai tes yang dihasilkan. Kegiatan finalisasi ini juga memuat aktivitas berupa penentuan prosedur penyekoran dan menentukan prosedur untuk membuat kategori-kategori dan interpretasi terhadap skor.
Kegiatan Pengadministrasian Tes
Jaminan mutu terhadap pelaksanaan administrasi tes ditunjukkan oleh alur pelaksanaan yang sudah baku dan telah dilaksanakan secara konsekuen oleh staf yang terlibat di dalamnya. Kegiatan pengadministrasian tes dilakukan melalui beberapa aktivitas, yaitu:
- Pendataan peserta
Pelaksanaan TKDA telah dijadwalkan dan diumumkan oleh Fakultas Psikologi UGM melalui website Unit Pengembangan Alat Psikodiagnostika (UPAP). Pada tahap ini peserta diskrining sehingga hanya peserta yang memenuhi kualifikasi saja yang dapat dilayani dalam pelaksanaan tes. Misalnya memiliki NIK, membutuhkan pelayanan tes TKDA untuk keperluan yang spesifik, misalnya untuk pengurusan NIK atau Serdos. Peserta yang tidak memenuhi persyaratan dan tidak sesuai dengan kualifikasi tidak akan dilayani.
- Rekrutmen dan pembekalan pelaksana tes
Pelaksanaan tes membutuhkan sumber daya pelaksana yang terdiri dari tester, pengawas, petugas ruangan, tim IT (untuk tes berbasis daring) dan tim analisis data dan penyekoran. Semua staf harus memenuhi kualifikasi dan telah menandatangani pakta integritas untuk tidak membocorkan soal dan menjalin komunikasi dengan calon peserta di luar keperluan. Pelaksana tes mendapatkan surat tugas secara formal dari Pimpinan Fakultas Psikologi UGM agar menjalankan tugasnya dengan bertanggung jawab. Tester TKDA adalah dosen aktif maupun purna tugas di Fakultas Psikologi UGM sedangkan pengawas adalah staf kependidikan di Fakultas Psikologi UGM dengan syarat golongan dan kepangkatan tertentu. Petugas yang direkrut kemudian dikumpulkan untuk diberikan pembekalan oleh UPAP selaku pelaksana beberapa hari sebelum pelaksanaan tes.
- Penyiapan sarana dan prasarana
Sarana dan prasarana yang dimiliki oleh Fakultas Psikologi UGM cukup memadai untuk menampung 80 orang dalam satu penyelenggaraan tes melalui tes luring CBT dalam satu sesi pengetesan dan mampu menampung 500-1000 orang dalam satu sesi pengetesan untuk tes daring.
- Pelaksanaan tes
Pelaksanaan tes TKDA dapat dilakukan pada dua tempat, di kampus Fakultas Psikologi UGM (CBT luring) dan di rumah masing-masing peserta (CBT daring).
- Pembuatan Berita Acara
Setiap selesai pelaksanaan tes petugas pelaksana selalu membuat berita acara yang berisi informasi-informasi terkait dengan pelaksanaan tes.
- Analisis dan penyekoran
Skor yang dihasilkan dari pelaksanaan TKDA tidak secara langsung dikeluarkan saat tes selesai karena ada proses analisis dan penyekoran. Hal ini dikarenakan skor yang dihasilkan harus dipastikan lengkap sehingga dapat dilakukan penyekoran. Proses penyekoran yang dilakukan dibarengi dengan proses analisis untuk memastikan bahwa skor yang dihasilkan valid dan telah memenuhi norma skor yang terbaru. Pelaksana penyekoran adalah staf khusus yang ditunjuk oleh UPAP dan mendapatkan surat tugas dari Pimpinan Fakultas dan tidak disebarluaskan ke masyarakat untuk mempertahankan independensinya dalam bekerja. Sebelum skor dikirimkan kepada panitia, pengelola UPAP meninjau skor tersebut dan memvalidasinya kemudian ditanda tangani oleh Kepala UPAP Fakultas Psikologi UGM.
- Publikasi dan Penyerahan Skor
Data berupa skor yang telah diolah kemudian dipublikasikan kepada peserta dalam bentuk data klasikal. Sertifikat partisipasi terhadap skor kemudian dapat diambil oleh peserta di kantor UPAP atau dikirimkan ke alamat peserta jika ada permintaan. Untuk memvalidasi skor yang tertera di sertifikat, ada bagian khusus di sertifikat berupa barcode yang dapat divalidasikan ke website UPAP sehingga pihak-pihak yang ingin mengganti skor TKDA secara sengaja akan dapat diketahui. Penyerahan skor klasikal pelaksanaan tes TKDA pada satu sesi akan dikirimkan ke email panitia serdos dan diupload ke SISTER.
Secara umum jaminan mutu terhadap instrumen yang dikembangkan dan pelaksanaan yang dilakukan oleh Fakultas Psikologi UGM dapat ditunjukkan oleh hal-hal berikut:
- Penggunaan literatur atau dokumen yang menjadi standar pengembangan dan pelaksanaan tes
- Pengembangan tes oleh orang yang memiliki kepakaran di bidang pengukuran
- Staf pengadministrasi tes yang memiliki keterampilan dan pengalaman
- Pelaksana tugas yang secara khusus dibentuk oleh Fakultas Psikologi UGM, dalam hal ini Unit Pengembangan Alat Psikodiagnostika (UPAP)
- Kontrol dari institusi yang secara akademik, dalam hal ini dosen-dosen yang tergabung dalam Kelompok Bidang Keahlian Psikometrika
- Evaluasi secara rutin terhadap tes melalui penelitian berkala yang didanai oleh Fakultas Psikologi UGM