Memfokuskan Evaluasi

Memfokuskan evaluasi yaitu menkhususkan apa dan bagaimana evaluasi akan dilakukan. Seperti memfokuskan kamera, fokus evaluasi berarti melihat beberapa variabel dengan teliti. Biasanya variabel ini termasuk objek yang akan dievaluasi, tujuan evaluasi, individu yang akan terlibat, latar belakang dan pengaruhnya pada evaluasi, serta pertanyaan-pertanyaan penting yang harus dijawab oleh evaluasi untuk mencapai tujuan evaluasi.

Bila evaluasi sudah terfokus, maka ini berarti proses dan desain dimulai. Ketentuan-ketentuan pada tahap ini harus diperhatikan dengan teratur untuk diubah apabila sewaktu-sewaktu ada perubahan pada objek, wadah, dan individu yang terlibat.

A. Apa yang Akan Dievaluasi ?

Objek evaluasi yaitu apa yang akan dievaluasi, dapat berupa program, proyek, training, materi, atau bahkan evaluasi yang lain. Apa pun dapat menjadi objek evaluasi. Tugas merumuskan dan menjelaskan objek yang akan dievaluasi tampa2nya mudah dan sederhana, tapi malah sebaliknya. Kenyataannya justru merupakan tugas yang paling sulit dan merupakan tanggung jawab yang penting. Ini disebabkan karena :

(1)   Objek yang dievaluasi tidak statis, misalnya dalam suatu program, objek tersebut sedang berjalan , dapat saja dipengaruhi oleh kejadian di dalam maupun di luar dan terus berubah.

(2)   Objek tampak berbeda, disuatu pihak administrator melihat begini, sedangkan klien begitu.

Oleh sebab itu, pelu ada kesepakatan tentang apa yang akan dievaluasi sebelum mendesain evaluasi, dan tujuan evaluasi harus dirumuskan dengan jelas.

B. Proses Pemfokusan

Bab ini akan membicarakan bagaimana evaluator dan sponsor bekerja sama dalam membuat kerangka kerja evaluasi. Pengembangan kerangka kerja ini yang disebut “Pemfokusan Evaluasi”. Kata fokus di sini dipakai untuk menerangkan proses, karena mempertajam atau memperjelas citra atau image dan memperjelas situasi.

Misalnya Anda berada dalam situasi berikut ini. Anda akan bertemu seorang kepala sekolah atau direktur suatu institut, dengan pengertian bahwa orang tersebut ingin melakukan evaluasi. Anda dipersilahkan masuk ke kantornya dan disambut dengan ramah tamah. Direktur tersebut menerangkan bahwa Anda direkomendasikan oleh teman baiknyadan Anda memberi jawaban dengan sepantasnya. Kemudian hening, diam sejenak, direktur memandang Anda dan Anda ganti memandang. Nah bagaimana selanjutnya ?

Dalam skenario yang ideal, ini merupakan diskusi penting di mana direktur tersebut menjelaskan tentang programnya, isu penting untuk semua pihak yang berminat, dan masalah atau pertanyaan-pertanyaan yang perlu dipecahkan atau dijawab. Sebagai jawaban, Anda menjelaskan pendekatan Anda terhadap evaluasi tersebut, cara Anda menjelaskan, dan keahlian Anda dalam mengerjakan evaluasi, dan sebagainya. Bersama-sama, Anda mengkususkan pembicaraan pada beberapa isu yang akan dituju, menentukan strategi untuk menjawab pertanyaan, dan persetujuan tentang petunjuk evaluasi.

C. Kerangka Pemfokusan Evaluasi

Pemfokusan evaluasi merupakan tugas yang amat rumit, karea melibatkan neosiasi orang-orang yang tidak selalu mempunyai pengetahuan dan sikap yang sama tentang apa yang mereka diskusikan dan yang tidak menempatkan nilai-nilai pada wadah dan hasil yang sama. Lebih-lebih ini merupakan interaksi antara manusia, dimana banyak sekali kehendak dan seluk-beluknya yang bervariasi. Hal ini memang harus disadari yang merupakan hal yang kompleks atau rumit dan ini timbul selalu dalam pemfokusan evaluasi, oleh sebab itu perlu disederhanakan.

D. Elemen-Elemen Proses Pemfokusan

Bila ditanya evaluator tentang pemfokusan evaluasi, mereka biasanya akan memikirkan tujuan tertentu, dan menentukan pertanyaan-pertanyaan evaluasi. Bila ditanya bagaimana prosesnya, mereka kurang yakin, tapi mungkin akan menyebutkan pertukaran informasi antara evaluator dengan klien. Misalnya, evaluator bertanya tentang tujuan program, dan klien akan menyebutkan hasil-hasil yang diharapkan. Dari sana akan mudah bagi evaluator untuk menentukan jadwal pembuatan tes untuk mengukur keberhasilan pencapaian tujuan.

Ada tiga elemen dalam proses pemfokusan (Stecher Brian M & W. Alan Davis), yaitu :

1.  Mempertemukan pengetahuan dan harapan

2.  Mengumpulkan informasi

3.  Merumuskan rencana evaluasi

Semua komponen ini harus ada bila evaluasi direncanakan. Walaupun ada urutan yang logis pada ketiga elemen tersebut, penulis memilih tidak menyebutnya sebagai langkah. Dalam kenyataannya, diskusi dapat bergerak maju mundur beberapa kali antara merumuskan rencana awal dan saling bertukar informasi sebelum strategi akhir dirumuskan. Dapat juga terjadi rencana evaluasi sudah dibuat, kemudian diketahui beberapa informasi penting tertinggal, ini membuat keharusan melakukan diskusi kembali. Jadi, jarang sesuatu terjadi dengan urutan yang teratur, dalam sekuen yang teratur, namun ketiga elemen itu harus ada. Penting pula untuk mengetahui bagaimana mereka berinteraksi untuk menciptakan suatu variabel rencana evaluasi.

E. Hal-Hal yang Perlu Diingat dalam Pengumpulan Informasi

Pengumpulan informasi merupakan hal yang pokok dalam evaluasi. Apabila semua program sosial sama, atau apabila suatu pendekatan dapat dipakai untuk semua program, maka tentu tidak perlu mengumpulkan informasi yang terlalu khusus dan banyak tentang suatu program setiap akan mengevaluasi. Tetapi tidak demikian pada kenyataannya, program bermacam-macam, dan evaluator dapat memilih bermacam-macam strategi dan menu untuk melakukan evaluasi. Hal ini menyebabkan evaluator akan menyita banyak waktu untuk mengenal setiap program atau proyek yang akan dievaluasi.

Sebagai evaluator ia harus mengetahui sebanyak-banyaknya tentang program yang akan dievaluasi . Tujuan evaluasi, siapa kliennya, keterbatasan waktu, biaya, dan kemungkinan memperoleh informasi sebelum sampai pada rencana evaluasi dan melakukannya. Memang, mungkin Anda tidak punya banyak waktu mengumpulkan informasi tersebut, dan pada tahap ini, evaluator belum dibayar untuk itu. Oleh sebab itu, evaluator perlu merencanakan sebelumnya, informasi apa saja yang penting diketahui dan bagaimana memperolehnya segera.

F. Desain Evaluasi Program

Desain evaluasi program (Carol Tayler Fitz-Gibbon & Lynn Lyons Morris, 1987), suatu desain ialah rencana yang menunjukkan bila evaluasi akan dilakukan dan dari siapa evaluasi atau informasi akan dikumpulkan selama proses evaluasi.

1.  Desain dalam Evaluasi Sumatif

Biasanya desain dihubungkan dengan evaluasi sumatif, evaluasi sumatif diharapkan membuat kesimpulan umum, menyingkat dan membuat laporan tentang keberhasilan program.Evaluasi sumatif sebaiknya memakai desain eksperimen apabila meneliti program yang akan dievaluasi dengan hasil evaluasinya.

2.  Desain dalam Evaluasi Formatif

Menggunakan desain formatif dalam program berarti karyawan program akan berkesmpatan melihat dengan seksama keefektifan program dan komponen yang ada di dalamnya.

3.  Beberapa saran untuk Evaluasi Formatif

a)  Mengambil beberapa versi dari berbagai macam program yang akan di amati. Misalnya memilih program yang relatif murah dan mudah serta relatif menghemat waktu.

b)  Mengurangi beberapa persyaratan untuk kepentingan penerapan desain.

c)  Melakukan eksperimen kecil atau pilot test (tes pilot).

4.  Elemen-elemen dalam Desain

Suatu desain evaluasi yaitu rencana yang menyatakan siapa yang akan dievaluasi, dan bila waktunya (Gibbon, C.T & Cs. 1987).

a)  Kelompok eksperimen yaitu orang atau kelompok yang menjadi objek eksperimen program.

b)  Kelompok Kontrol yaitu kelompok yang terdiri atas orang-orang yang sedapat mungkin sama dengan kelompok eksperimen, yang di ukur pada waktu yang sama dengan kelompok eksperimen, tetapi yang tidak mendapat perlakuan eksperimen seperti perilaku terhadap kelompok yang diberikan kepada kelompok eksperimen.

c)  Kelompok Kontrol ekuivalen (equivalent or true control group) yaitu kelompok ini dibentuk dengan cara random atau acak.

d)  Kelompok control non ekuivalen (nonrandomized control group) yaitu kelompoknini dipilih karea sama dengan kelompok eksperimen, tidak dibentuk dengan cara acak disebut juga dengan kelompok pembanding.

e)  Posttest yaitu pengukuran atau test yang dilakukan pada akhir eksperiment. Hasilnya yaitu nilai posttest

f)   Pretest yaitu setiap nilai test atau pengukuran yang dilakukan sebelum peserta menerima progam atau mulai suatu eksperiment dapat disebut pretest.

g)  Midtest yaitu diadakan ketika program sedang berjalan. Tujuan midtest yaitu untuk menentukan dampak program sesudah waktu tertentu.

h) Retensi test yaitu bila program x tampak jauh lebih baik daripada program c pada akhir semester, cek lagi nilainya tiga bulan berikutnya kalau masih baik juga, ini berarti programnya memang baik. Tapi apabila perbedaan hamper tidak ada maka perlu diperhatikan. Dan test  sebaiknya diulang lagi. Inilah yang dinamakan masalah retensi.

G. Masalah-Masalah Umum dalam Implementasi

Memilih desain, tidak sesulit mengimplemenasikannya dengan akurat, tepat, benar, dan yang dapat berjalan dengan lancar. Walaupun Anda dapat melakukan pengacakan dengan baik, dengan true control group, atau non equivalent group, masih ada masalah masalah potensial waktu mengimplementasikan desain antara lain :

1.  Masalah perbedaan waktu yang digunakan

2.  Masalah attrition

3.  Masalah confound

4.  Masalah kontaminasi

Bacaan yang Mungkin Terkait: