Komparasi  Properti Psikometris Tes Berbasis Daring dan Luring | Tim UPAP

UPAP telah menyelenggarakan tes berbasis luring baik dalam bentuk penyelenggaraan Tes PAPS, TKDA maupun GMST. Namun dengan adanya masa pandemi dan penerapan PPKM oleh pemerintah maka penyelenggaraan tes dilakukan dengan menggunakan prosedur tes berbasis daring. Seberapa besar, pengaruh perubahan terhadap properti psikometrisnya. Penelitian ini akan menjawab pertanyaan ini.

Analisis Rasch Model pada Pengukuran Kegigihan melalui Game Based Assessment | Tim Peneliti UPAP dan Yayasan Tanoto| Tahun 2021

Penelitian ini bertujuan untuk melakukan pemodelan terhadap hasil pengukuran yang dilakukan terhadap konstruk kegigihan (grit) dan perjuangan meraih keunggulan (strive for exellence). Model yang dipakai adalah Model Rasch yang merupakan bagian dari teori tes modern dalam bidang psikometrika. Data penelitian didapatkan dari pengukuran terhadap 2.508 orang partisipan yang dilakukan dengan menggunakan asesmen berbasis gim (game based assessment). Pada gim ini peserta diminta untuk menyelesaikan berbagai macam tugas yang memiliki beberapa fase yang mengalami peningkatan dari sisi tantangan dan hambatan penyelesaian tugas. Data dianalisis dengan menggunakan pemodelan Rasch yang menghasilkan informasi mengenai properti psikometris mengenai instrumen pengukuran tersebut. Hasil analisis menunjukkan bahwa hasil pengukuran yang dilakukan pada fase per fase dapat dijelaskan dengan ketepatan yang optimal dengan model Rasch. Hasil analisis terhadap properti psikometris di level butir maupun tes. Beberapa isu terkait dengan masalah pengukuran dengan menggunakan asesmen berbasis gim didiskusikan lebih lanjut.

Penerapan Analisis Faktor Eksploratori pada Instrumen Pengukuran Konstruk Kegigihan (Grit) dengan Menggunakan Game Based Assessment (GBA) | Tim Peneliti UPAP dan Yayasan Tanoto| Tahun 2021

Penelitian ini bertujuan untuk mengidentifikasi struktur dari pengukuran konstruk grit yang dilakukan dengan menggunakan Game Based Assessment (GBA). Struktur dari instrumen yang dipakai dalam pengukuran diidentifikasi melalui teknik analisis faktor eksploratori (EFA). Data penelitian didapatkan dari pengukuran terhadap 2508 orang mahasiswa. Hasil analisis menunjukkan bahwa struktur pengukuran yang dilakukan dengan menggunakan GBA terhadap dua konstruk yang dikaji cenderung bersifat multidimensi. Dimensi-dimensi yang ditemukan dari hasil analisis berkaitan dengan peningkatan level atau kompleksitas aktivitas yang dimainkan oleh partisipan. Temuan penelitian ini menunjukkan bahwa pengukuran dengan menggunakan GBA dapat menghasilkan dimensi pengukuran yang berbeda dengan pengukuran yang dilakukan secara konvensional, misalnya pengukuran melalui paper-pencil test. Jika pengukuran yang dilakukan melalui cara konvensional, dimensi-dimensinya muncul berdasarkan kesamaan konten ukur, maka dalam GBA dimensi-dimensi yang muncul berdasarkan kompleksitas permainan yang dijalankan oleh partisipan.

Pengujian Validitas Konstruk Tes Potensi Akademik Pascasarjana (PAPS) Melalui Analisis Faktor Eksploratori |Fita Wiharti Costafina Pattipeilohy & Wahyu Widhiarso | Tahun 2018

The structure of a psychological test is an important issue to know how the test achieve the aim of the test itself. This study aims to examine the construct validity of the Potensi Akademik Pascasarjana (PAPS) test of Gadjah Mada University. The research method used Exploratory Factor Analysis (EFA). EFA allows to know how is the dimension or the factor which formed from the items of the test. The results is the PAPS test has multidimensional (two dimensions) structure. Factor 1 is the non-verbal factor and factor 2 is the verbal factor. The PAPS test measures cognitive abilities in verbal and nonverbal contexts and there are elements of learning outcomes. The two dimensions in the PAPS test have a high correlation so the PAPS test measures one more common variable that is reasoning. Additional findings indicate that all PAPS components have an optimal factor weight in measuring the attributes being measured. Keyword: PAPS test, construct validity, Exploratory Factor Analysis

Struktur bangunan tes psikologi merupakan informasi yang penting untuk menunjukkan ketercapaian tujuan disusunnya alat tes. Menindaklanjuti pandangan di atas, penelitian ini bertujuan untuk menguji validitas konstruk tes PAPS dilihat dari dimensionalitas tes.. Metode penelitian yang digunakan adalah metode analisis faktor eksploratori (EFA). EFA akan menunjukkan bagaimana dimensi atau faktor yang terbentuk dari aitem-aitem atau butir soal yang menyusun sebuah tes. Hasil penelitian menunjukkan Tes PAPS memiliki struktur multidimensi (dua dimensi). Faktor 1 dinamakan dengan Faktor non verbal, dan faktor 2 dinamakan faktor verbal. Tes PAPS mengukur kemampuan kognitif pada konteks verbal dan non verbal serta terdapat unsur hasil belajar di dalamnya, namun demikian dua dimensi dalam tes PAPS memiliki korelasi yang kuat dan signifikan sehingga dapat dikatakan tes PAPS mengukur satu variabel yang lebih umum yaitu penalaran. Temuan tambahan menunjukkan semua komponen PAPS memiliki bobot faktor yang optimal dalam mengukur atribut yang diukur. Kata kunci: Tes PAPS, validitas konstruk, Analisis Faktor Eksploratori

Demonstrasi Penerapan Evaluasi Berdasarkan Teori Klasik pada Pengukuran dengan Menggunakan Game Based Assessment : Studi Kasus pada Instrumen Pengukuran Kegigihan (Kegigihan) | Tim Peneliti UPAP dan Yayasan Tanoto| Tahun 2021

Penelitian ini bertujuan untuk mengidentifikasi properti psikometris instrumen pengukuran kegigihan (grit) dan upaya mencapai keunggulan (stive for exellence) dari perspektif teori tes klasik. Penelitian ini sekaligus mengidentifikasi efektivitas penggunaan teori tes klasik untuk mengevaluasi kinerja instrumen pengukuran yang dilakukan dengan menggunakan game based assessment (GBA). Data penelitian didapatkan dari 2.508 orang mahasiswa yang mengikuti dua buah tes secara berurutan. Instrumen yang dipakai dalam penelitian ini adalah pengukuran kegigihan dan upaya mencapai keunggulan yang diadministrasikan melalui permainan (GBA). Hasil analisis menunjukkan bahwa butir-butir memiliki performansi yang cukup baik di level butir yang ditunjukkan melalui daya diskriminasi butir namun kurang memiliki performansi yang cukup baik di level tes yang ditunjukkan dengan indeks konsistensi internal. Hasil ini menunjukkan bahwa penerapan teknik analisis dengan menggunakan teori tes klasik kurang tepat dikenakan pada GBA. GBA merupakan pengukuran yang memiliki karakteristik yang unik dan spesifik yang membedakannya dengan pengukuran yang dilakukan secara konvensional sehingga penerapan teori tes klasik pada tes ini kurang memberikan informasi yang lengkap.

Pengembangan Situational Judgment Test [Klik] | Wahyu Widhiarso & Wahyu Jati Anggoro | Tahun 2019

UPAP merintis pengembangan tes dengan menggunakan format situational judgment test (SJT) sejak tahun 2017 dengan adanya permintaan dari UGM untuk mengukur kompetensi calon dosen. Sejak saat itu beberapa penelitian-penelitian mulai dilakukan untuk meningkatkan kualitas tes dengan menggunakan format SJT. Pada tahun 2018 UPAP berhasil mendapatkan grant penelitian dari Pusat Penilaian Pendidikan Balitbang Kemdikbud untuk melakukan eksplorasi model-model pengukuran dengan menggunakan SJT. Pada penelitian tersebut beberapa isu baik teoretis maupun praktis seperti bentuk pokok soal, pertanyaan, jumlah opsi, karakteristik opsi, konsensus penilaian dan sebagainya. Pada tahun 2019 UPAP diminta untuk memandu pengembangan SJT untuk kalangan guru di Puspendik. Hingga kini penelitian mengenai SJT masih dilakukan dan pengembangan SJT dilakukan untuk mengukur karakteristik karyawan sebagai pengganti asesmen dengan menggunakan inventori.

Pengujian Validitas Konstruk Gadjah Mada Scholastic Test (GMST) Melalui Analisis Faktor Eksploratori | Yunita Sakinatur Rohmah & Wahyu Widhiarso | Tahun 2018

Abstract. The structure of the psychological test is important for the image and the achievement of the test’s purpose. A lot of evaluation for construct validity have been done in Indonesia and aboard for measuring structure of test empirically. This study aims to examine the construct validity of GMST by Exploratory Factor Analysis method. This study used score composite data from 1596 GMST test participants at 2016. The result of analysis characteristic of structure GMST is multidimentional test with correlated factors. Each factor that is formed, obtained classification of the properties with the same structure as the original composition when it was built, but there are two components measuring different attribute with other component in the same subtest. These two components are Series and Relationship diagram. Generally even though this study showed the multidimentionality of GMST structure, the correlation between the factors are strong, that means GMST has passed the test with the evidence of construct validity.Keywords: Gadjah Mada Scholastic Aptitude Test (GMST), Construct Validity Exploratory Factor Analysis

Abstrak. Struktur bangunan tes psikologi merupakan hal penting bagi citra dan ketercapaian tujuan disusunnya alat tes. Pengujian validitas konstruk sebuah tes banyak dilakukan di Indonesia maupun luar negeri untuk menguji bangunan tes secara empirik. Penelitian ini bertujuan untuk menguji validitas konstruk tes GMST dengan metode Analisis Faktor Eksploratori. Data yang digunakan adalah skor komposit dari 1596 peserta tes GMST pada tahun 2016. Hasil analisis yang dilakukan menunjukkan bahwa GMST merupakan tes yang bersifat multidimensi dengan faktor yang saling berkorelasi antara satu dengan lainnya. Setiap faktor yang terbentuk menghasilkan klasifikasi sifat-sifat faktor sesuai bangunan awal penyusunan tes namun terdapat dua komponen yang mengukur atribut yang berbeda dengan komponen lainnya dalam subtes yang sama. Kedua komponen tersebut adalah komponen Series dan Relationship diagram. Penelitian ini membuktikan struktur GMST multidimensi dan antar faktor memiliki keterkaitan atau berkorelasi. Dapat disimpulkan bahwa GMST telah memenuhi tes yang memiliki bukti validitas konstruk.Kata kunci: Gadjah Mada Scholastic Aptitude Test (GMST), Validitas Konstruk, Analisis Faktor Eksploratori.

Eksplorasi Efek Metode dalam Tes Potensi Akademik Pascasarjana (PAPS) UGM | Alifa Rahmi Khairunisa, Wahyu Widhiarso | Tahun 2018

Abstract. Test scores can be influenced by three sources: measurement construct, measurement method, and measurement error. Ideally, a score should strongly reflect measurement construct. However, in some cases, there are contributions of measurement method because of the uniqueness that is not related to the measurement construct. This uniqueness is referred to as method effects, which affects the construct validity of the instrument. This study examined the construct validity by exploring the existence of method effects in Tes PAPS UGM Seri E using Confirmat ory Factor Analysis of 2.170 participants with bifactor model. Analysis results suggest that structure of Tes PAPS Seri E are fit with General Mental Ability Theory (g factor). There are no method effects with large portion in Tes PAPS Seri E was found. Almost all variations in the component scores are dominated by scores derived from General Reasoning factor rather than Measurement Media construct factor. Factor loading on components that dominated by Measurement Media construct are compared to these components’ factor loading to General Reasoning. As a result, there were no significant differences found, so it can be concluded that the contribution of these components to General Reasoning is not affected by contribution of components to Measurement Media construct. Keywords: Confirmatory Factor Analysis, construct validity, method effects, Tes PAPS

Abstrak. Skor tes individu dapat dipengaruhi oleh tiga sumber variasi yaitu konstruk ukur, metode yang digunakan, dan eror pengukuran. Idealnya, skor ini didominasi oleh pengaruh dari kemampuan yang diukur. Namun, dalam beberapa kasus terdapat kontribusi dari metode pengukuran karena keunikan yang tidak berhubungan dengan konstruk ukur. Keunikan ini disebut sebagai efek metode dan memengaruhi validitas konstruk alat ukur. Penelitian ini bertujuan untuk menguji validitas konstruk dengan mengeksplorasi efek metode pada Tes PAPS UGM Seri E menggunakan Analisis Faktor Konfirmatori dengan model bifaktor. Hasil analisis dengan data sejumlah 2.170 menunjukkan struktur Tes PAPS Seri E sesuai dengan Teori Kemampuan Mental Umum (g factor). Secara umum tidak terdapat efek metode dengan porsi yang cukup besar di dalam PAPS Seri E1 dan E2. Hampir semua variasi di dalam skor komponen didominasi oleh skor yang bersumber dari Penalaran Umum daripada konstruk Media Pengukuran. Harga muatan faktor pada komponen yang menunjukkan dominasi ke arah konstruk Media Pengukuran dibandingkan dengan harga muatan faktor yang mengarah ke konstruk Penalaran Umum. Hasilnya, tidak ditemukan adanya perbedaan yang signifikan sehingga dapat disimpulkan, sumbangan komponen-komponen tersebut ke konstruk Penalaran Umum tidak dipengaruhi oleh sumbangan komponen ke konstruk Media Pengukuran. Kata Kunci: Analisis Faktor Konfirmatori, efek metode, Tes PAPS, validitas konstruk

Pengembangan Prosedur Penyekoran Berbasasis Teori Tes Modern [Klik] | Wahyu Widhiarso | Tahun 2021

Penyekoran dengan tes-tes pada UPAP sudah dilakukan dengan menggunakan teori respons butir (TRB). TRB merupakan teori tes modern dalam pengembangan dan penyekoran sebuah tes yang melengkapi beberapa keterbatasan teori tes klasik. Penyekoran dengan menggunakan TRB sudah diterapkan oleh pengembang tes di negara-negara maju terutama pada tes-tes yang dipakai pada skala besar (large assessment setting). Penerapan penyekoran dengan menggunakan TRB dilakukan karena panitia penyelenggara sudah memiliki sumber daya yang cukup memadai. Mengingat prosedur penyekoran dengan menggunakan TRB cukup kompleks maka informasi mengenainya sangat diperlukan. Penyekoran dengan menggunakan teori tes modern dilakukan dalam beberapa tahap yang dapat dilihat sebagai proses yang berulang (iteratif) dan berhenti sampai informasi yang didapatkan sudah cukup memadai. Proses ini tidak hanya melibatkan kegiatan analisis kuantitatif saja akan tetapi juga telaah secara kualitatif, misalnya oleh pakar dalam bidang pengukuran.

Analisis Butir Psikometri Purdue Spatial Visual Test (PSVT) | Siti Nur’aini & Wahyu Widhiarso | Tahun 2017

Abstract. Purdue Spatial Visual Test (PSVT) is a test that serves to measure visual-spatial abilities. Visual-spatial abilities are indispensable in various fields of work as well as in everyday life. Some areas of work that require visual-spatial skills are not only specific in the realm of science, technology, engineering and mathematics (STEM). Visual-spatial abilities include all mental processes. The purpose of this study was to adapt PSVT and analyze the item difficulty level, item discrimination and effectiveness of the distractor using classical test theory. PSVT reliability is tested using Cronbach's Alpha. The study conducted a reliability score with Cronbach's Alpha of 0.838. Item difficulty level showed an average of 0.5422 while the mean item discrimination of 0.418 grains indicated that PSVT was able to distinguish subjects with high and low visual-spatial ability. Based on the results of the analysis, PSVT is a good measuring tool to test the visual-spatial ability. Keywords: PSVT, Psychometric Property, Reliability, Visual-spatial

Abstrak. Purdue Spatial Visual Test (PSVT) merupakan tes yang berfungsi untuk mengukur kemampuan visual-spasial. Kemampuan visual-spasial sangat diperlukan dalam berbagai bidang pekerjaan maupun di kehidupan sehari-hari. Beberapa bidang pekerjaan yang membutuhkan kemampuan visual-spasial tidak hanya spesifik di ranah sains, teknologi, teknik dan matematika tetapi juga dibutuhkan dalam pekerjaan lain seperti detektif, seniman, pelaut, hingga fotografer. Kemampuan visual-spasial meliputi semua proses mental seperti, mengingat, mengevaluasi, dan merotasi. Tujuan penelitian ini adalah mengadaptasi PSVT dan menganalisis tingkat kesulitan, daya beda butir dan efektivitas pengecoh menggunakan teori skor murni klasik. Penelitian yang dilakukan medapat skor reliabilitas dengan Cronbach’s Alpha sebesar 0,838. Tingkat kesulitan butir menunjukkan rerata sebesar 0,5422 sedangkan rerata daya diskriminasi butir sebesar 0,418 yang mengindikasikan bahwa PSVT mampu membedakan subjek dengan kemampuan visual-spasial tinggi dan rendah. Berdasarkan hasil analisis, PSVT merupakan alat ukur yang baik untuk menguji kemampuan visual-spasial seseorang. Kata kunci: Properti Psikometri, Reliabilitas, PSVT, Visual-spasial

The Effectiveness of Item Parceling to Increase the Model Fit: A Case Study of PAPS | Anindita Dwi Hapsari & Wahyu Widhiarso | Tahun 2019

The impact of item parceling to improve model fit indexes in confirmatory factor analysis has been on debate amongst psychometricians. In this study, the effectiveness of item parceling was examined using Tes Potensi Akademik Pascasarjana (PAPS) UGM. Item parceling approach, second-order approach, and item based approach were used for examination. Data were collected from a sample of 1374 postgraduate candidate in 2017. The result found that model fit indexes such as chi-squared test, comparative fit index, Tucker-Lewis index, and standardized root mean square residual were improved in item parceling approach when compared to item based approach. Interestingly, root mean square error of approximation were deteriorates in item parceling approach. The finding of this study suggested that model dimensionality and sample size should be carefully considered when using item parceling approach.

Peranan Tingkat Rasionalitas Individu Terhadap Performansi Individu dalam Mengerjakan Tes Penilaian Situasi (Situational Judgement Test) | Wita Ardhini Susilasari & Wahyu Widhiarso | Tahun 2019

Abstract. Situational Judgment Test is a selection model that was popular among industries and organizations but has not developed much in Indonesia. This study aims to determine the correlation between the score rationality with individual ability to get a high score on Situation Judgment Test. The study participants were 179 collage students in three cities (Yogyakarta, Surabaya and Makassar). This study uses a Situation Judgment Test that measures performance in work and Indonesian Rationality Tests to measure the level of rationality. The main analysis used for hypothesis testing is Pearson Product Moment correlation. The software program used to assist the analysis process is SPSS 22. The test results show that the individual score on the rationality test does not correlate with the score in the Situation Assessment Test with a value of (r = 0.098). The results of this correlation indicate that individual performance in a Situation Judgment Test is not influenced by the level of individual rationality. Keywords : Situational Judgment Test, Rationality, Tes Rasional Indonesia

Abstrak. Tes Penilaian Situasi (Situational Judgment Test) merupakan model seleksi yang sedang populer di kalangan industri dan organisasi namun belum banyak berkembang di Indonesia.  Penelitian ini bertujuan untuk mengetahui hubungan antara skor rasionalitas dengan kemampuan individu dalam mendapatkan skor tinggi Tes Penilaian Situasi (TPS). Partisipan penelitan ialah 179 mahasiswa di tiga Kota (Yogyakarta, Surabaya, dan Makassar). Penelitian ini menggunakan Tes Penilaian Situasi yang mengukur performansi dalam bekerja dan Tes Rasional Indonesia untuk mengukur tingkat rasionalitas. Analisis utama yang digunakan untuk uji hipotesis ialah korelasi Product Moment Pearson. Program lunak yang digunakan untuk membantu proses analisis ialah SPSS 22. Hasil tes menunjukkan bahwa skor individu pada tes rasionalitas tidak berkorelasi dengan skor dalam Tes Penilaian Situasi dengan nilai sebesar (r = 0,098). Hasil korelasi ini menunjukkan bahwa performansi individu dalam Tes Penilaian Situasi tidak dipengaruhi oleh tingkat rasionalitas individu. Kata kunci : Tes Penilaian Situasi , Rasionalitas, Tes Rasional Indonesia

Pengembangan Framework Baru Tes Potensi [KLIK] | Wahyu Widhiarso | Tahun 2020

Penggunaan tes potensi akademik saat ini mengalami perubahan paradigma. SAT yang merupakan tes potensi akademik yang dikembangkan oleh College Board di Amerika Serikat dan menjadi kiblat dan acuan bagi pengembangan tes potensi akademik di dunia telah mengalami perubahan yang cukup signifikan. Untuk menghadapi tuntutan perubahan zaman, SAT terbaru dimodifikasi mulai atribut ukur, spesifikasi tes, hingga bentuk butir soal yang diujikan. UPAP selaku pengelola pengembangan dan pengadministrasian Tes PAPS memerlukan informasi lebih lanjut mengenai kerangka acuan (framework) yang dapat dipakai untuk meningkatkan kualitas Tes PAPS dalam untuk memenuhi tuntutan yang dihadapi oleh tes-tes potensi di manca negara tersebut. Kegiatan ini bertujuan untuk mengeksplorasi paradigma dan model tes-tes potensi akademik dengan pendekatan terbaru. Model yang ditetapkan sebagai model yang berpotensi memiliki ketepatan tinggi dengan Tes PAPS akan diimplementasikan ke dalam bentuk prototipe tes yang dapat menjadi panduan dalam memodifikasi Tes PAPS.

Pengembangan Framework Situational Judgment Test | Wahyu Widhiarso

UPAP merintis pengembangan tes dengan menggunakan format situational judgment test (SJT) sejak tahun 2017 dengan adanya permintaan dari UGM untuk mengukur kompetensi calon dosen. Sejak saat itu beberapa penelitian-penelitian mulai dilakukan untuk meningkatkan kualitas tes dengan menggunakan format SJT. Pada tahun 2018 UPAP berhasil mendapatkan grant penelitian dari Pusat Penilaian Pendidikan Balitbang Kemdikbud untuk melakukan eksplorasi model-model pengukuran dengan menggunakan SJT. Pada penelitian tersebut beberapa isu baik teoretis maupun praktis seperti bentuk pokok soal, pertanyaan, jumlah opsi, karakteristik opsi, konsensus penilaian dan sebagainya. Pada tahun 2019 UPAP diminta untuk memandu pengembangan SJT untuk kalangan guru di Puspendik. Hingga kini penelitian mengenai SJT masih dilakukan dan pengembangan SJT dilakukan untuk mengukur karakteristik karyawan sebagai pengganti asesmen dengan menggunakan inventori. [Selengkapnya]

Pengembangan Prosedur Penyekoran yang Tepat untuk Tes Potensi | Wahyu Widhiarso

Penyekoran dengan tes-tes pada UPAP sudah dilakukan dengan menggunakan teori respons butir (TRB). TRB merupakan teori tes modern dalam pengembangan dan penyekoran sebuah tes yang melengkapi beberapa keterbatasan teori tes klasik. Penyekoran dengan menggunakan TRB sudah diterapkan oleh pengembang tes di negara-negara maju terutama pada tes-tes yang dipakai pada skala besar (large assessment setting). Penerapan penyekoran dengan menggunakan TRB dilakukan karena panitia penyelenggara sudah memiliki sumber daya yang cukup memadai. Mengingat prosedur penyekoran dengan menggunakan TRB cukup kompleks maka informasi mengenainya sangat diperlukan. Penyekoran dengan menggunakan teori tes modern dilakukan dalam beberapa tahap yang dapat dilihat sebagai proses yang berulang (iteratif) dan berhenti sampai informasi yang didapatkan sudah cukup memadai. Proses ini tidak hanya melibatkan kegiatan analisis kuantitatif saja akan tetapi juga telaah secara kualitatif, misalnya oleh pakar dalam bidang pengukuran. [Selengkapnya]

Pengembangan Framework Baru Tes Potensi dalam Konteks Seleksi Mahasiswa di PT | Wahyu Widhiarso

Penggunaan tes potensi akademik saat ini mengalami perubahan paradigma. SAT yang merupakan tes potensi akademik yang dikembangkan oleh College Board di Amerika Serikat dan menjadi kiblat dan acuan bagi pengembangan tes potensi akademik di dunia telah mengalami perubahan yang cukup signifikan. Untuk menghadapi tuntutan perubahan zaman, SAT terbaru dimodifikasi mulai atribut ukur, spesifikasi tes, hingga bentuk butir soal yang diujikan. UPAP selaku pengelola pengembangan dan pengadministrasian Tes PAPS memerlukan informasi lebih lanjut mengenai kerangka acuan (framework) yang dapat dipakai untuk meningkatkan kualitas Tes PAPS dalam untuk memenuhi tuntutan yang dihadapi oleh tes-tes potensi di manca negara tersebut. Kegiatan ini bertujuan untuk mengeksplorasi paradigma dan model tes-tes potensi akademik dengan pendekatan terbaru. Model yang ditetapkan sebagai model yang berpotensi memiliki ketepatan tinggi dengan Tes PAPS akan diimplementasikan ke dalam bentuk prototipe tes yang dapat menjadi panduan dalam memodifikasi Tes PAPS. [Selengkapnya]

Trend Pengembangan Tes Potensi | Wahyu Widhiarso

Penelitian Mandinach, Bridgeman, Cahalan‐Laitusis, & Trapani (2005) menunjukkan bahwa waktu dan pembagian waktu secara terpisah lebih menguntungkan siswa. Beberapa waktu tambahan dapat meningkatkan kinerja akan tetapi terlalu banyak dapat mengganggu validitas. Waktu tambahan bermanfaat bagi siswa berkemampuan sedang dan tinggi tetapi memberikan sedikit atau tidak ada keuntungan bagi siswa berkemampuan rendah. Efek dari perpanjangan waktu lebih jelas untuk bagian matematika dari SAT. Implikasi untuk perubahan potensial pada SAT dan kebutuhan untuk penelitian masa depan dibahas. Tulisan lainnya adalah Theory Based University Admissions Testing for a New Millenium (Stenberg, Collaborators, & Collaborators, 2004). Jurnal ini menjelaskan dua proyek berdasarkan teori intelijen sukses Robert J. Sternberg dan dirancang untuk memberikan pengujian berbasis teori dalam penerimaan di universitas. Pertama, Rainbow Project, memberikan tes tambahan keterampilan analitis, praktis, dan kreatif untuk meningkatkan SAT dalam memprediksi performansi di perguruan tinggi. Rainbow Project mengukur validitas prediktif yang ditingkatkan untuk IPK perguruan tinggi relatif terhadap IPK sekolah menengah. Kedua, Proyek University of Michigan Business School, memberikan tes tambahan berupa keterampilan praktis untuk Graduate Management Admission Test  (GMAT) dalam memprediksi kinerja di sekolah bisnis. Skor pada dua jenis ukuran keterampilan praktis memprediksi kinerja di dalam dan di luar kelas dan menjelaskan perbedaan kinerja diluar skor GMAT dan IPK sarjana. Langkah-langkah tersebut cenderung menunjukkan kesenjangan yang lebih sedikit mengenai gender dan ras atau kelompok etnis daripada GMAT. Temuan dari kedua proyek menunjukkan nilai potensial termasuk berbagai kemampuan yang lebih luas dalam pengujian penerimaan mahasiswa. [selengkapnya]

Validasi Skala Kepatutan Sosial Marlowe-Crowne dalam Bahasa Indonesia | Arif & Wahyu Widhiarso

Skala Kepribadian merupakan alat yang dapat digunakan untuk memperkuat validitas sistem seleksi kerja (Schmidt & Hunter, 1998 dalam Chan, dkk. 2001). Selama lebih dari 30 tahun para ilmuan psikologi berkutat dengan masalah tipuan yang diberikan subjek dalam merespon aitem tes kepribadian (Smith, 1999). Silverthorn and Gekoski (1995)  dalam  Beere, dkk (1996) menyatakan bahwa beberapa tes pengukuran diri dapat dipengaruhi oleh aspek kepatutan sosial. Perhatian utama dari para pengguna skala pelaporan pribadi  yang meliputi skala kepribadian dan psikopatologi adalah adanya kerentanan skala-skala tersebut terhadap adanya tipuan  (Anastasi, 1988 dalam Holden, dkk 1992). [selengkapnya]

Identifikasi Potensi Bias Butir Melalui Analisis Keberfungsian Butir Diferensial dalam Pengukuran Dukungan Sosial | Arifa Norma Dewi & Wahyu Widhiarso

Perbedaan karakter dan perilaku manusia antara laki-laki dan perempuan terjadi pada banyak hal. Perbedaan tersebut bisa dilihat baik secara fisik maupun nonfisik yang terjadi dalam konteks jender. Jender merupakan sebuah aspek inti dari identitas diri internal, sebuah set laki-laki dan perempuan dari sisi perilaku dan mental yang dibentuk dan dikembangkan oleh kelompok masyarakat tertentu. Kajian jender meliputi proses kognitif dan perilaku pada laki-laki dan perempuan di lingkup masyarakat tertentu (Galliano, 2003). Setiap kelompok masyarakat memiliki pandangan yang berbeda-beda mengenai karakteristik laki-laki dan perempuan. Pandangan yang ada tidak terlepas dari stereotipe yang berkembang sesuai dengan kondisi dan internalisasi nilai-nilai budaya masing-masing daerah. Jender merupakan set stereotipe yang mempengaruhi bagaimana laki-laki dan perempuan dipandang oleh masyarakat serta membentuk perbedaan karakteristik mereka. Telah banyak dilakukan pengukuran dengan berbagai tujuan namun ternyata masih ada alat ukur yang belum mengukur konstrak psikologis dengan optimal karena berbagai sebab. Sejauh ini banyak muncul kritik terhadap alat ukur, seperti adanya alat ukur yang tidak bebas  budaya. Alat ukur tersebut dibuat dan atau dikembangkan serta digunakan di negara barat namun juga digunakan di Indonesia. Hasilnya, alat ukur tersebut belum mampu mengungkap konstrak psikologis yang diukur dengan optimal. Permasalahan lain yang terjadi dalam alat ukur adalah masalah bias dalam pengukuran, misalnya adanya aitem-aitem yang bias. Aitem yang bias ini menyebabkan ketidakadilan karena menguntungkan salah satu kelompok tertentu namun merugikan kelompok lainnya. Bias pengukuran ini terjadi pada alat ukur yang mengungkap dinamika perbedaan karakteristik dalam jender yang lebih dikenal dengan istilah bias jender (Einarsdóttir & Rounds, 2009). [selengkapnya]

Selengkapnya

Suhapti, R., Haryanta. (2015).  Analisis dan Perbaikan Butir Tes Kemampuan Numerik A5. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Widhiarso, W. & Andayani, B. (2015).  Analisis dan Perbaikan Butir Tes Kemampuan Komprehensi A1. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Widhiarso, W. & Haryanta. (2015). Examining Method Effect of Synonym and Antonym Test in Verbal Abilities Measure. Europe’s Journal of Psychology, Vol 11, No 3.

Azwar, S., Suhapti, R., Haryanta, Widhiarso, W. (2016).  Evaluasi Butir Tes PAPS Seri A1 dan A2. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Azwar, S., Suhapti, R., Haryanta, Widhiarso, W. (2016).  Pengembangan PAPS Seri E1 dan E2. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Azwar, S., Suhapti, R., Haryanta, Widhiarso, W. (2017).  Pengembangan PAPS Seri E2 dan E3. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Laras A. R. & Haryanta. Pendekatan Model Rasch Untuk Analisis Psikometri Pada Tes Gmst UGM. Skripsi Sarjana. Yogyakarta: Fakultas Psikologi UGM

Al Afghani, A. A. & Widhiarso, W. (2017). Perbandingan Hasil Analisis Butir Berbasis Teori Skor Murni Klasik dan Model Rasch. Skripsi Sarjana. Yogyakarta: Fakultas Psikologi UGM

Al Farisi., M. A & Haryanta. (2017). Perbandingan Hasil Analisis Butir Soal Ditinjau dari Pendekatan Teori Tes Klasik dan Rasch. Skripsi Sarjana. Yogyakarta: Fakultas Psikologi UGM

Widhiarso, W. (2017). Mengidentifikasi Munculnya Keberfungsian Butir Diferensial pada butir-butir AJT Cognitive Test. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Widhiarso, W. (2017). Pengujian Validitas Konstruk Tes Potensi Akademik Pascasarjana (PAPS) Universitas Gadjah Mada. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Suhapti, R. (2017). Pengujian Validitas Konstruk AJT Cogtest. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Nurhayati. (2017). Tes Potensi Akademik Pascasarjana (PAPS) sebagai Prediktor Prestasi Belajar Pada Mahasiswa Magister Psikologi UGM. Technical Report. Yogyakarta: Fakultas Psikologi UGM

Nuraini, S. & Widhiarso, W. (2018). Analisis Butir Tes Purdue Spatial-Visual Test (PSVT). Technical Report UPAP No 1/I/2018. Yogyakarta: Fakultas Psikologi UGM [PDF]

Widhiarso, Wahyu and Hidayat, Rahmat and Anggoro, Wahyu Jati (2019) Panduan Pengembangan Tes Penilaian Situasional (Situational Judgement Test). UPAP Fakultas Psikologi UGM, Yogyakarta. [PDF]