Monday, 4 May 2020

Apa yang Berubah? Mempelajari Insentif Guru, Akuntabilitas Sosial, dan Hasil Belajar Siswa di Indonesia

Foto ilustrasi: Novita Eka Syaputri

 

Faktor apa yang dapat menyebabkan terwujudnya peningkatan capaian pembelajaran siswa? Adanya perubahan kebijakan atau intervensi yang menyebabkan membaiknya hasil belajar siswa memang patut dirayakan. Namun, bila kita ingin peningkatan capaian pembelajaran itu juga terjadi pada anak-anak dengan konteks yang berbeda, kita perlu lebih dari sekadar merayakan keberhasilan tersebut. Kita perlu mempelajari lebih jauh apa sebenarnya yang dicapai oleh intervensi tersebut–misalnya, apakah terwujudnya peningkatan capaian pembelajaran dibarengi dengan efek samping yang tidak diharapkan. Kita juga perlu mencari tahu bagaimana persisnya intervensi tersebut bisa menyebabkan terwujudnya peningkatan capaian pembelajaran.

Kertas kerja terbaru dari Program RISE di Indonesia memperlihatkan hasil yang menggembirakan, sekaligus menimbulkan pertanyaan menarik tentang bagaimana hasil tersebut bisa tercapai. Penelitian yang dilakukan Arya Gaduh, Menno Pradhan, Jan Priebe, dan Dewi Susanti ini mengevaluasi dampak KIAT Guru, yaitu sebuah program kebijakan yang melibatkan mekanisme akuntabilitas sosial atau social accountability mechanism (SAM) di sekitar 200 sekolah dasar di wilayah terpencil di Nusa Tenggara Timur dan Kalimantan Barat di Indonesia. Ketiga kelompok perlakuan KIAT Guru mengalami peningkatan yang signifikan secara statistik pada nilai tes siswa, dibandingkan dengan kelompok kontrol. Berikut rangkumannya.

 

Perlakuan Perincian Perlakuan Nilai Tes Siswa2 Tingkat Kehadiran Guru3
Kontrol   Mean=0,00 Mean=82%
SAM Mekanisme akuntabilitas sosial yang memberi peran kepada warga masyarakat lokal untuk mengevaluasi layanan guru secara individual berdasarkan kartu skor yang telah disepakati sebelumnya. Evaluasi dilakukan oleh warga setiap sebulan sekali.

+0,09 SD pada pelajaran Bahasa Indonesia

+0,07 SD pada pelajaran matematika

+2 titik persentase
SAM+Cam Mekanisme akuntabilitas sosial dan memberikan tunjangan tambahan1 yang jumlahnya disesuaikan dengan kehadiran guru (yang direkam di kamera)

+0,17 SD pada pelajaran Bahasa Indonesia

+0,20 pada pelajaran matematika

+4 titik persentase
SAM+Kartu Skor Mekanisme akuntabilitas sosial dan memberikan tunjangan tambahan1 yang jumlahnya disesuaikan dengan hasil evaluasi di kartu skor guru

+0,11 SD pada pelajaran Bahasa Indonesia

+0,09 SD pada mata pelajaran matematika

-3 titik persentase

Catatan: SD=standar deviasi. 1Mekanisme tunjangan berbasis kinerja adalah potongan dari tunjangan tambahan yang dialokasikan untuk guru-guru yang bekerja di wilayah terpencil yang terdaftar di kementerian pusat. 2Semua peningkatan pada pembelajaran siswa dianggap signifikan dibandingkan dengan kelompok kontrol. Tes kesetaraan menunjukkan bahwa (a) peningkatan pada perlakuan SAM+Cam memiliki perbedaan yang signifikan daripada peningkatan pada perlakuan SAM ataupun SAM+Kartu Skor (nilai p: 0,003–0,070); dan (b) peningkatan pada perlakuan SAM+Kartu Skor memiliki perbedaan yang tidak signifikan daripada peningkatan pada perlakuan SAM. 3Semua perubahan pada tingkat kehadiran guru (kemungkinan guru hadir di sekolah) tidak signifikan dibandingkan kelompok kontrol. Estimasi parameter tetap tidak signifikan dengan penambahan istilah-istilah interaksi untuk setiap kelompok perlakuan x kelayakan guru untuk mendapatkan tunjangan tambahan. Sumber: Diadaptasi dari Gaduh et al. (2020), Tabel 4, hal. 29 dan Tabel 7, hal. 32.

 

Hasil ini sangat menggembirakan hingga mendorong Pemerintah Indonesia memperluas pelaksanaan perlakuan yang paling efektif, yaitu SAM+Cam, ke lebih banyak sekolah. Namun, ada beberapa pertanyaan menarik tentang apa yang sebenarnya mendorong terjadinya peningkatan tersebut. Contoh:

  1. Bagaimana kita dapat menjelaskan bahwa bahkan pada kelompok perlakuan SAM yang sama sekali tidak melibatkan insentif uang, terjadi peningkatan yang signifikan pada nilai tes siswa?
  2. Dalam studi tentang pola dasar kamera, insentif finansial, dan kehadiran guru di India, para penelitinya, Duflo, Hanna, dan Ryan menemukan bahwa mengaitkan kompensasi guru dengan tingkat kehadiran guru–yang direkam menggunakan kamera yang tidak bisa direkayasa–menyebabkan penurunan 21 titik persentase pada ketidakhadiran guru dan peningkatan 0,17 SD pada nilai tes. Sebaliknya, pada kelompok perlakuan SAM+Cam pada program KIAT Guru ditemukan dampak serupa pada nilai tes (0,17–0,20 SD), tetapi pada kehadiran guru tidak ada dampak yang signifikan. Jika kehadiran guru yang lebih baik tidak menyebabkan peningkatan capaian pembelajaran, lalu apa penyebabnya?
  3. Mengapa nilai tes mengalami kenaikan 1,5–2 kali lebih tinggi pada perlakuan SAM+Cam yang mekanisme tunjangan berbasis kinerjanya berdasarkan pada indikator yang sepele, seperti hadir di sekolah, dibandingkan perlakuan SAM+Kartu Skor yang jumlah insentifnya disesuaikan dengan evaluasi yang lebih bermakna terhadap praktik guru?

Saya tidak punya jawaban yang pasti, tetapi berikut beberapa pemikiran untuk setiap pertanyaan tersebut, yang saya susun berdasarkan temuan dari kertas kerja KIAT Guru.

 

1. Pelimpahan wewenang (delegasi) yang jelas: alasan SAM mampu meningkatkan praktik guru dan nilai tes

Di RISE, kami memandang sistem pendidikan sebagai suatu susunan hubungan akuntabilitas yang dinamis dan saling berkaitan. Dalam setiap hubungan terdapat kepala sekolah, yang mempercayakan sesuatu yang bernilai (misalnya, waktu anak-anak mereka, butir-butir dalam anggaran, suara mereka dalam pemilihan) kepada agen-agen, yang dilimpahi wewenang oleh kepala sekolah untuk mengerjakan tugas tertentu. Jika agen yang dimaksud adalah guru, kadang asumsinya delegasi sudah jelas: guru diharapkan mengajari siswa ilmu-ilmu yang perlu dikuasai siswa. Tetapi, bagaimana jika kurikulumnya terlalu maju untuk tingkat kemampuan siswa saat ini; jika ekspektasi kurikulum tidak sesuai dengan ekspektasi yang tersirat dalam ujian; atau jika ekspektasi yang dibebankan kepada guru oleh kementerian pusat, dinas pendidikan, dan masyarakat lokal saling bertentangan? Saat delegasi tidak jelas atau tidak realistis, muncullah banyak kesulitan atau hambatan yang tersembunyi.

Mekanisme akuntabilitas sosial yang diteliti dalam kertas kerja ini menawarkan kesempatan untuk mengklarifikasi ekspektasi-ekspektasi yang dilimpahkan pemangku kepentingan lokal kepada guru. Di setiap sekolah, mekanisme ini melibatkan pertemuan-pertemuan yang dipimpin oleh fasilitator untuk memperoleh perspektif dari siswa, alumni, orang tua, warga masyarakat, dan guru mengenai bagaimana pemangku kepentingan yang berbeda-beda dapat meningkatkan pendidikan di sekolah maupun di rumah. Semua perspektif yang muncul kemudian diresmikan menjadi suatu perjanjian layanan oleh berbagai pemangku kepentingan. Perjanjian tersebut yang kemudian menjadi dasar penyusunan kartu skor yang digunakan untuk mengevaluasi guru setiap bulan.

Berbeda dengan dokumen pemerintah pada umumnya, yang menyebutkan tugas-tugas resmi guru dalam istilah-istilah yang membosankan, proses SAM di tingkat masyarakat dalam mengartikulasikan dan menyetujui prioritas-prioritas yang didelegasikan ke guru (serta mengingatkan guru akan prioritas-prioritas ini di pertemuan bulanan) kemungkinan telah membantu mengarahkan upaya guru ke sasaran yang bernilai ini, yang pada akhirnya menyebabkan terwujudnya peningkatan capaian pembelajaran siswa—termasuk di kelompok perlakuan SAM-saja yang tidak menggunakan tunjangan berbasis kinerja.

 

2. Dalam susunan hubungan akuntabilitas, motivasi adalah hal yang kompleks: alasan SAM+Cam mampu meningkatkan nilai tes, tetapi tidak mengurangi ketidakhadiran guru

Selain delegasi, unsur-unsur lain dalam susunan hubungan akuntabilitas di suatu sistem pendidikan adalah informasi yang digunakan kepala sekolah untuk mengukur kinerja agen, serta motivasinya, atau bagaimana kesejahteraan agen dipengaruhi oleh kinerja mereka atas tugas-tugas yang dilimpahkan.

Jika semua unsur ini bekerja secara benar dan mekanistik (sesuai dengan prosedur dan aturan baku), teori perubahan untuk kelompok perlakuan SAM+Cam kira-kira seperti di bawah ini—alur ini juga terlihat dalam studi Duflo, Hanna, dan Ryan: 

Menawarkan insentif finansial berdasarkan kehadiran guru di sekolah >> Ketidakhadiran guru menurun >> Hasil belajar siswa membaik

Namun, seperti disebutkan di atas, studi KIAT Guru tidak menemukan bukti adanya langkah tengah pada alur ini: SAM+Cam tidak memiliki dampak signifikan terhadap kemungkinan guru akan hadir di sekolah. Namun, SAM+Cam memang memiliki sejumlah dampak positif terhadap kemungkinan guru akan melakukan pekerjaannya selama mereka berada di sekolah, serta terhadap jumlah waktu yang dialokasikan guru untuk mengajar sesuai kurikulum—sekalipun dalam intervensi ini, kedua dampak tersebut tidak secara eksplisit mendapat insentif.

Temuan ini mengindikasikan bahwa (a) guru (seperti manusia lainnya) tidak selalu merespons insentif finansial secara langsung, dan (b) guru juga merespons imbalan dan hukuman yang sifatnya non-finansial. Dalam kasus ini, tampaknya proses delegasi SAM menggerakkan atensi para pemangku kepentingan lokal ke pengajaran dan pembelajaran secara umum. Dibandingkan kelompok kontrol, orang tua di seluruh kelompok perlakuan melaporkan bahwa mereka jadi lebih sering mengadakan pertemuan dengan guru untuk membahas hal-hal terkait pembelajaran, dan kepala sekolah jadi lebih sering melakukan observasi pelajaran dan evaluasi kinerja. Keinginan untuk memenuhi ekspektasi para pemangku kepentingan—entah demi mengejar nama baik atau menghindari keluhan dan sanksi sosial—dapat menjadi sumber motivasi yang kuat.

(Penting juga untuk dicatat bahwa rumah tangga di kelompok-kelompok perlakuan tidak hanya jadi lebih sering berinteraksi dengan guru, tetapi mereka juga menghabiskan lebih banyak waktu dalam mendukung anak-anak mengerjakan pekerjaan rumah (PR)—pada kelompok perlakuan SAM+Cam, mereka juga secara signifikan menginvestasikan lebih banyak uang untuk les berbayar. Dengan demikian, nilai tes meningkat bukan hanya disebabkan oleh upaya guru, tetapi juga karena kontribusi rumah tangga.)

 

3. Informasi juga adalah hal yang kompleks—terutama bila digabungkan dengan motivasi dan delegasi: alasan SAM+Cam memiliki efek yang lebih besar daripada SAM-saja atau SAM+Kartu Skor

Tetapi, jika pengawasan sosial dari SAM merupakan penyebab utama guru termotivasi untuk mengubah praktik mereka, mengapa efek SAM+Cam pada pembelajaran siswa lebih besar dibandingkan efek pada pembelajaran siswa di kelompok perlakuan SAM-saja? Dan, mengapa efek SAM+Cam juga lebih besar dibandingkan efek SAM+Kartu Skor yang pada kartu skor akuntabilitas sosialnya dilengkapi bobot hukuman?

Untuk menjawab pertanyaan kedua, evaluasi kartu skor yang dilakukan setiap bulan mencakup berbagai indikator, yang sebagian di antaranya boleh jadi bersifat subjektif—tidak seperti catatan kehadiran guru yang divalidasi oleh hasil rekaman kamera. Barangkali subjektivitas ini yang menyebabkan komite lokal dalam kelompok perlakuan SAM+Kartu Skor melaporkan adanya tekanan yang lebih besar untuk memberi skor tinggi kepada guru, dan kemungkinan yang lebih besar untuk mendapatkan ancaman dari guru atau kepala sekolah akibat pemberian skor rendah, dibandingkan laporan dari kelompok perlakuan SAM-saja atau SAM+Cam. Pada akhirnya, komite lokal tidak sanggup melawan tekanan tersebut karena rata-rata anggota komite berpendidikan lebih rendah daripada guru-guru yang mereka evaluasi—dan, karenanya, berkedudukan lebih rendah dalam hierarki sosial. (Masalah serupa mengenai status sosial dalam evaluasi guru telah diobservasi dalam studi terpisah di Indonesia dan studi lain di India.) Oleh sebab itu, ketika motivasi dalam bentuk insentif finansial digabungkan dengan informasi yang dapat diperdebatkan oleh guru, tidaklah mengherankan bila unsur +Kartu Skor tidak menimbulkan efek berarti pada pembelajaran siswa di atas efek pada kelompok perlakuan SAM-saja.

Kembali ke pertanyaan pertama, jika intervensi SAM-saja meningkatkan praktik guru dan nilai tes, dan jika SAM+Cam tidak memberikan dampak pada indikator kehadiran guru yang diberi insentif, mengapa SAM+Cam memiliki efek 1,5–2 kali lebih tinggi daripada efek pada kedua kelompok perlakuan yang lain? Salah satu kemungkinannya adalah guru menganggap komite pengguna pantas untuk memvalidasi kehadiran mereka di sekolah menggunakan kamera ponsel pintar yang dilengkapi cap waktu dan tidak bisa direkayasa, yang memberi lebih sedikit ruang untuk kesalahan dan subjektivitas pengguna dibandingkan kartu skor.

Diagram of the accountability triangle.

Sumber: Diadaptasi dari WDR (2004) dan Pritchett (2015)

 

Kemungkinan lainnya—di sini saya beralih dari landasan empiris ke pemikiran konseptual—adalah SAM+Cam tidak hanya memperjelas target yang didelegasikan ke guru (sebagaimana dibahas pada #1 di atas), tetapi juga meningkatkan koherensi di antara dua hubungan akuntabilitas yang melibatkan guru secara langsung: hubungan kekuasaan warga dari masyarakat lokal ke sekolah dan guru, dan hubungan manajemen dari kementerian pendidikan ke sekolah dan guru.

SAM+Cam secara eksplisit menyelaraskan sebuah prioritas yang didelegasikan ke guru (hadir di sekolah) dalam hubungan kekuasaan warga, dengan aspek motivasi (bagaimana guru digaji) dalam hubungan manajemen. Lebih jauh lagi, informasi mengenai kehadiran guru direkam lewat kamera oleh staf sekolah, yang juga bagian dari hubungan kekuasaan warga, yang kemudian diverifikasi oleh komite pengguna, yang menjadi bagian dari hubungan kekuasaan warga. Keharmonisan antara kedua hubungan ini boleh jadi telah mendorong upaya bersama untuk meningkatkan lingkungan belajar. (Walaupun SAM+Kartu Skor juga melibatkan dua hubungan, yaitu kekuasaan warga dan manajemen, namun, keraguan guru atas evaluasi kartu skor mungkin telah menghambat terwujudnya keharmonisan konstruktif yang sebanding. Kendati hanya pemikiran, peningkatan capaian pembelajaran dari membaiknya keharmonisan pemangku kepentingan bukannya tanpa preseden. Dalam penelitian sebelumnya di Indonesia, Pradhan dan rekan-rekannya menemukan peningkatan capaian pembelajaran dari suatu intervensi yang memfasilitasi rapat perencanaan bersama antara komite sekolah dan badan desa.

Singkat kata, instrumen akuntabilitas guru adalah hal yang rumit, dan bisa memperbaiki praktik guru, namun, tidak dengan cara yang kita harapkan. Mari berharap pelaksanaan KIAT Guru yang diperluas dapat membawa lebih banyak peningkatan pada pembelajaran siswa—juga peningkatan dalam pemahaman kita akan cara meningkatkan akuntabilitas secara bermakna dalam sistem pendidikan.

 

Yue-Yi Hwa adalah Peneliti Utama di Program RISE di Blavatnik School of Government, yang fokus pada guru dan manajemen. Baru-baru ini ia mengajukan disertasinya di bidang pendidikan di University of Cambridge. Disertasinya membahas hubungan antara kebijakan akuntabilitas guru dan konteks sosial budaya di berbagai negara, menggunakan data survei sekunder tentang pendidikan dan budaya, serta wawancara guru-guru di Finlandia dan Singapura. Sebelumnya, Yue-Yi mengajar Bahasa Inggris di sekolah menengah selama dua tahun melalui Teach for Malaysia, dan menjadi peneliti utama di Penang Institute di Kuala Lumpur. Ia juga pernah melakukan penelitian untuk tim pendidikan MENA, The World Bank. Yue-Yi memiliki gelar master dalam bidang pemerintahan komparatif dari University of Oxford.

Semua tulisan yang dipublikasikan dalam Blog RISE merupakan pandangan penulis dan tidak mewakili pandangan lembaga ataupun penyandang dana RISE.


Bagikan Postingan Ini