Untuk memastikan mutu yang dihasilkan dari kegiatan pengembangan dan penyelenggaraan tes, maka Bina Cipta Seleksindo (PT BCS) membuat aturan dan menyelenggarakan beberapa kegiatan untuk mendukung mutu. Jaminan mutu terhadap instrumen yang dimiliki dan pengadministrasian tes yang dilakukan dapat dilihat melalui beberapa poin, yaitu:
Adanya penetapan kriteria sebagai standar kualitas
Pengembangan tes dilakukan dengan menggunakan standar pengembangan tes yang dikembangkan oleh APA, AERA dan NCME tahun 2014 dan The ITC Guidelines: International Standards and Guidelines Relating to Tests and Testing tahun 2016 serta buku-buku tentang pengembangan tes psikologi. Melalui dokumen ini didapatkan beberapa informasi yang kemudian ditetapkan menjadi kriteria atau indeks untuk menentukan apakah sebuah butir atau tes dapat dikatakan sudah optimal atau belum. Berikut ini contoh-contoh kriteria yang dipakai dalam pengembangan adalah sebagai berikut. (a) Sebuah tes harus mengukur satu dimensi target secara optimal. Jika tes tersebut mengukur kemampuan yang multidimensi maka analisis yang dilakukan harus per dimensi target. (b) Perbandingan skor akan memungkinkan dilakukan jika pengembang tes membuat kesimpulan yang sebanding berdasarkan skor untuk semua peserta tes. Keterbandingan juga merupakan fitur yang harus dilakukan jika pengembang memiliki beberapa versi. Skor dari versi-versi tes yang dikembangkan harus menghasilkan kesimpulan yang sebanding dengan yang dari versi standar. Pengembang tes harus membuat prosedur sebagai fondasi dasar meningkatkan validitas skor dari sisi komparabilitas skor para peserta. Standar yang dipakai dalam pengembangan tes memiliki kesamaan dengan standar yang dipakai dalam pengembangan Tes Potensi Akademik (TPA) yang telah memiliki standar pengembangan yang sudah ditetapkan sejak lama dan terbukti memberikan informasi mengenai kemampuan peserta tes yang sangat akurat.
Adanya kewajiban untuk memenuhi kriteria di dalam standar pengembangan dan penyelenggaraan tes
Pengembangan tes yang dilakukan diharuskan memenuhi kriteria-kriteria yang ditetapkan sebelumnya. Jika sebuah proses pengembangan tidak memenuhi kriteria maka proses tersebut perlu diulangi lagi hingga semua kriteria dapat dipenuhi. Dari proses penyelenggaraan tes, setiap pelaksana (instruktur, koordinator, pengawas) memegang dan menaati buku panduan ketika terlibat dalam pengadministrasian tes. Setiap tindakan yang tidak sesuai dengan buku panduan akan dicatat dan keterlibatan petugas dalam proses pelaksanaan selanjutnya akan dipertimbangkan.
Pelibatan pakar dan profesional yang memiliki kompetensi dalam pengembangan dan penyelenggaraan tes
Pengembangan tes melibatkan pakar dalam pengembangannya. Dalam hal ini, pakar yang mengembangkan disupervisi oleh pakar yang terlibat dalam pengembangan Tes Potensi Akademik (TPA). Pihak-pihak yang terlibat dalam proses pengembangan ini adalah:
- tim pendesain dan pengembang tes
- tim penulis soal
- tim pereviu soal
- tim perakitan seri/form tes
- tim penyekor hasil tes
- tim penganalisis data
- tim pengelola database
- tim pembuatan buku soal
- tim pembuatan paket soal di program CBT
Dari sisi penyelenggaraan, semua petugas yang melaksanakan kegiatan penyelenggaraan tes adalah petugas yang telah tersertifikasi. Mereka adalah petugas yang telah mendapatkan pelatihan dan pembekalan serta telah menyelesaikan proses ujian untuk mendapatkan sertifikat. Sertifikat tersebut digunakan untuk dapat berpartisipasi dalam kegiatan pengadministrasian tes. Tim yang terlibat dalam kegiatan pengadministrasian tes adalah sebagai berikut:
- tester/instruktur
- pengawas ruangan
- pengawas lokasi
- persiapan ruangan
Semua anggota tim bekerja secara profesional dan mempertimbangkan pada keamanan soal. Semua anggota tim menandatangani pakta integritas dan merahasiakan butir-butir soal.
Adanya proses evaluasi terhadap hasil pengembangan instrumen dan penyelenggaraan yang dilakukan secara berkala
Pengembangan instrumen dan pelaksanaannya selalu dievaluasi secara berkala. Evaluasi dilakukan oleh tim pengendali mutu pengembangan dan penyelenggaraan tes. Dari aspek evaluasi terkait dengan pengembangan tes, bentuk evaluasi yang dilakukan berbentuk (a) evaluasi dan umpan balik terhadap proses pengembangan yang dilakukan dan (b) melakukan analisis data yang didapatkan dari hasil pengukuran dengan menggunakan instrumen yang telah dikembangkan dan memberikan umpan balik. Dari aspek penyelenggaraan tes, evaluasi dan kendali mutu telah dilakukan oleh tim yang menilai kelancaran dan keberhasilan penyelenggaraan tes yang telah diselenggarakan, performansi petugas serta informasi yang dihasilkan dari penyelenggaraan tes tersebut.
Adanya tindak lanjut dari proses evaluasi yang dilakukan
Salah satu bentuk jaminan mutu yang pada tahap akhir adalah implementasi tidak lanjut yang didapatkan dari proses evaluasi yang dilakukan. Beberapa bentuk evaluasi yang dilakukan misalnya,
- Penggantian butir soal yang kurang optimal
- Penurunan derajat petugas dari tester menjadi pengawas
- Penambahan aturan dalam penyelenggaraan untuk meningkatkan keamanan terhadap instrumen
- Tidak melibatkan kembali penulis soal yang kurang memiliki performansi yang bagus dalam menulis soal