Satu hal yang sering kurang menjadi perhatian para perencana dan pelaksana pembangunan adalah persoalan evaluasi. Hal ini bisa dilihat dari keberadaan badan, biro atau agen perencanaan yang hampir selalu ada untuk tiap-tiap departemen dan sebaliknya langkanya badan, biro atau agen yang secara khusus menangani evaluasi. Di tingkat pusat dikenal ada Badan Perencanaan Pembangunan Nasional (Bappenas) dan di daerah terdapat Badan Perencanaan Pembangunan Daerah (Bappeda). Akan tetapi tidak ada badan yang sebanding seperti Badan Evaluasi Pembangunan Nasional di tingkat pusat dan Badan Evaluasi Pembangunan Daerah di propinsi maupun kabupaten.
Kegiatan perencanaan dan evaluasi seharusnya mendapatkan proporsi yang seimbang. Di tengah sulitnya dana sekarang ini, penggunaan dana secara efisien dan efektif sangat penting. Skala prioritas yang dilakukan tidak hanya menuntut adanya perencanaan yang baik melainkan juga kegiatan evaluasi terhadap apa yang pernah dilakukan. Evaluasi merupakan bagian yang sangat penting yang akan menjadi bahan bagi perencanaan pembangunan, sebagai bahan acuan pada pengambilan keputusan selanjutnya dan juga dapat sebagai tolak ukur keberhasilan suatu keputusan, sehingga bias juga sebagai bahan perbaikan.
Evaluasi Kebijakan: Dari Proses sampai Dampak
Dalam studi-studi kebijakan publik, evaluasi biasanya dikaitkan dengan tiga hal: (1) Program monitoring/process studies; (2) Impact assessment studies; dan (3) Economic efficiency or cost effectiveness studies (Jones, 1984: 210). Selanjutnya, Jones menjelaskan bahwa tiap-tiap jenis studi evaluasi memiliki pertanyaan yang berbeda untuk dijawab.
Pertama, berkaitan dengan program monitoring/process, pertanyaan yang diajukan adalah:
1. Apakah program mencapai sasaran individu, rumah tangga atau unit target lain sebagaimana yang telah disusun dalam program?
2. Apakah program memberikan sumberdaya, pelayanan atau keuntungan lain sebagaimana yang dimaksudkan dalam program?
Kedua, analisis impact assessment berkaitan dengan isu-isu berikut:
1. Apakah program tersebut cukup efektif untuk mencapai tujuan yang dimaksudkan?
2. Dapatkah hasil-hasil program tersebut dijelaskan atau dilakukan melalui proses alternatif tertentu yang tidak termasuk dalam program?
3. Apakah program memiliki efek-efek lain yang tidak direncanakan?
Ketiga, kajian economic efficiency/cost effectiveness mengevaluasi hal-hal berikut:
1. Seberapa besar biaya pemberian pelayanan dan apa manfaat terhadap peserta program?
2. Apakah program tersebut menggunakan sumberdaya secara efisien dibandingkan dengan penggunaan sumberdaya untuk program lain?
Selain itu terdapat pendekatan dalam teknik evaluasi. (1)Evaluasi Semu, Menilai keberhasilan suatu kebijakan / program / proyek berdasarkan hasil yang telah dicapai(teknik membandingkan sajian grafik, tabel, indeks,dll), (2)Evaluasi Formal, Menilai keberhasilan suatu kebijakan / program / proyek berdasarkan tujuan yang telah ditetapkan(teknik impact assessment, BCA),dan (3)Evaluasi Keputusan Teoritis, Menilai keberhasilan suatu kebijakan / program / proyek berdasarkan pendapat pelaku kebijakan(Delphi, AHP, Participatory evaluation) (Dunn,2000). Dari pendekatan ini dapat yang mana dapat diketahui teknik evaluasi apa yang sesuai.
Menentukan Indikator, Bukan Memilih Indikator
Persoalan mendasar lain yang sering ditemui dalam evaluasi berbagai kegiatan pembangunan, utamanya pembangunan ekonomi dan sosial, adalah bagaimana mengukur keberhasilan suatu kegiatan. Untuk mengukur suatu keberhasilan, maka dapat dilihat dari penentuan indicator yang diambil berdasarkan kriteria yang ada. Secara umum, pertama, indikator yang baik harus bisa menggambarkan secara tepat apapun yang akan diukur. Karenanya, indikator harus sahih (valid), ia harus mengukur apa yang ingin anda ukur dengan indikator itu. Di samping itu, indikator juga harus handal. Artinya, apabila orang lain melakukan pengukuran, harus didapatkan hasil yang sama.
Persoalan pengukuran juga dialami ketika evaluator sendiri secara sengajamenghindari pengukuran-pengukuran yang merugikan dirinya. Mereka cenderung mengurangi indikator dengan hanya memilih pada indikator-indikator keberhasilan semata-mata. Pada akhirnya seorang evaluator terjebak pada memilih vindikator dari pada menentukan indikator. Vindikator adalah pengukuran yang dipilih hanya untuk mendukung preferensi seorang evaluator. Seperti halnya evaluasi kebijakan selama ini, misalnya hanya menonjolkan aspek-aspek tertentu seperti pertumbuhan ekonomi, tetapi menyembunyikan angka-angka ketimpangan pendapatan antarberbagai golongan.
Untuk mempermudah penentuan indicator terdapat kriteria yang dalam evaluasi yang terperinci yaitu efektifitas, efisiensi, kecukupan, perataan, ketepatan dan responsivitas (Dunn, 2000). Efektifitas merupakan kriteria yang mengukur pencapaian tujuan suatu kebijakan, efisiensi adalah mengukur usaha yang diperlukan untuk mencapai hasil yang di inginkan, kecukupan melihat pemecahan masalah yang dicapai dari kebijakan tersebut, perataan merupakan pengukuran distribusi kebijakan kepada kelompok sasaran, dan responsivitas merupakan nilai guna hasil kebijakan terhadap harapan kelompok sasaran.
Siapa Evaluator: Inside versus Outside atau Participatory?
Dilema yang dihadapi dalam evaluasi berkaitan dengan aspek administratif dan politis dari kegiatan evaluasi. Karenanya, memahami siapa itu evaluator merupakan pertanyaan penting. Arnold Meltsner (dalam Henry, 1988: 237) mengidentifikasikan 4 peranan yang bisa dimainkan evaluator: tipe pengusaha, yakni yang memiliki kemampuan analisis dan politik yang prima; tipe politisi, adalah tipe dengan kemampuan politis yang memadai tapi kurang didukung oleh kemampuan analitis; tipe teknisi, merupakan tipe yang memiliki kemampuan analisis tetapi buta politik; dan terakhir adalah tipe pembohong yang tidak memiliki kemampuan analisis maupun politik.
Seringkali terjadi konflik dalam evaluasi manakala para praktisi tersingkirkan daripada evaluator dalam evaluasi. am. Para evaluator yang umumnya adalah peneliti atau akademisi yang mengatasnamakan pengetahuan mendramatisir ketidakmampuan para praktisi. Di lain pihak, praktisi menganggap bahwa evaluator tidak mempunyai pengalaman lapangan. Para evaluator dalam melakukan evaluasi sering menggunakan indikator dalam kerangka waktu (time frame) jangka panjang, sedangkan praktisi lebih mementingkan jangka pendek.
Kesimpulan
Dari uraian diatas dapat disimpulkan bahwa evaluasi merupakan hal yang tidak boleh terabaikan dalam di dalam aspek-aspek perencanaan. Disisi lain, kegiatan evaluasi masih memerlukan perbaikan, diutamanakan dalam menentukan criteria dan indicator yang tepat. Kesimpulan lainnya adalah evaluasi harus dilakukan secara komprehensif sehingga tia-tiap fase kegiatan dilakukan penilaian secara memadai, orientasi evaluasi harus lebih luas bukan sekedar pada evaluasi proyek tetapi juga evaluasi kebijakan evaluator harus seobyektif mungkin dalam menentukan indikator yang komprehensif dan menghindari pemilihan vindikator yang hanya menunjukkan hal-hal positif dan menyembunyikan hal-hal negatif.
