TAKSONOMI EVALUASI MENUJU STANDAR
APA ITU TAKSONOMI DAN APA FUNGSINYA?
Terdapat berbagai model evaluasi PR dan komunikasi yang menggunakan beragam istilah, seperti input, output, outtake, outcome, efek, hasil, dan dampak. Berbagai metrik dan metode evaluasi juga diusulkan untuk setiap tahap. Bidang ini bisa membingungkan bagi banyak praktisi.
Halaman ini menyajikan taksonomi evaluasi yang disesuaikan dengan komunikasi publik strategis—taksonomi adalah pemetaan suatu bidang untuk menghasilkan pengkategorian konsep dan istilah. Singkatnya, taksonomi bertujuan untuk menunjukkan bagaimana sesuatu berhubungan dan bagaimana posisinya relatif satu sama lain. Taksonomi ini mengidentifikasi:
- Tahapan utama komunikasi (seperti input, output, dll.);
- Langkah-langkah kunci yang terlibat di setiap tahap (seperti distribusi informasi, reaksi audiens, dll.);
- Contoh metrik dan tonggak yang dapat dihasilkan atau diidentifikasi sebagai bagian dari evaluasi di setiap tahap; dan
- Metode yang paling umum digunakan untuk menghasilkan metrik dan tonggak ini
Taksonomi tidak sama dengan model, karena taksonomi berusaha untuk mencantumkan SEMUA konsep, istilah, metrik, metode, dan elemen utama dalam suatu bidang, sementara model adalah ilustrasi dari program atau kegiatan spesifik yang diterapkan dalam praktik. Namun, model harus didasarkan pada konsep dan metode yang dianggap sah dalam bidang tersebut dan diterapkan dengan tepat.
Salah satu manfaat penting dari taksonomi adalah kemampuannya menempatkan konsep, metrik, metode, dan sebagainya di tempat yang tepat—misalnya, menghindari kebingungan antara metrik output dan metrik outcome. Para penulis buku PR yang banyak digunakan, Effective Public Relations, Cutlip, Center, dan Broom, telah berulang kali mencatat dalam edisi dari 1985 hingga akhir 2000-an bahwa “kesalahan umum dalam evaluasi program adalah mengganti ukuran dari satu tingkat dengan ukuran di tingkat lain” (1985, hal. 295; 1994, hal. 44; Broom, 2009, hal. 358). Profesor PR Emeritus, Jim Grunig, juga mengatakan bahwa banyak praktisi menggunakan “metrik yang dikumpulkan pada satu tingkat analisis untuk menunjukkan hasil di tingkat analisis yang lebih tinggi” (2008, hal. 89). PR dan komunikasi strategis bukan satu-satunya bidang yang menghadapi masalah ini. Panduan Program Logic Model untuk evaluasi yang banyak digunakan dari Universitas Wisconsin (UWEX) menyatakan, misalnya, “banyak orang sering kesulitan membedakan antara output dan outcome” (Taylor-Power & Henert, 2008, hal. 19).
Taksonomi memang tidak pernah sempurna, namun taksonomi yang disajikan di sini mengacu pada berbagai studi penelitian untuk menjadi selengkap mungkin (lihat ‘Pengantar Integrated Evaluation Framework AMEC‘ untuk detail tentang asal-usul dan dasar dari taksonomi serta kerangka kerja itu sendiri).
BEBERAPA CATATAN UNTUK MENGGUNAKAN TAKSONOMI INI
- Langkah-langkah kunci, metrik, dan tonggak, serta metode yang disebutkan tidak bersifat menyeluruh, dan tidak semuanya diperlukan dalam setiap program. Ini merupakan indikasi umum yang relevan untuk evaluasi komunikasi publik seperti periklanan, hubungan masyarakat, komunikasi pemasaran, dan sebagainya. Praktisi harus memilih metrik dan tonggak yang sesuai dengan konteks program, serta metode yang tetap, idealnya mencakup setidaknya satu metrik pada setiap tahap.
- Proses yang melibatkan input, kegiatan, output, dan sebagainya bersifat dinamis dan bukan statis. Umpan balik dari setiap tahap harus diterapkan dan dimanfaatkan untuk melakukan penyesuaian dan penyempurnaan terhadap strategi serta taktik, jika diperlukan. Evaluasi adalah proses iteratif, siklus yang terus berulang untuk terus meningkatkan kinerja.
- Tidak semua evaluasi dapat menunjukkan dampak, terutama ketika evaluasi dilakukan dalam periode waktu yang relatif singkat setelah komunikasi berlangsung. Seringkali, dampak baru terlihat beberapa tahun setelah komunikasi berlangsung. Selain itu, beberapa objektif komunikasi publik adalah untuk menciptakan kesadaran (sebagai hasil sementara atau jangka pendek) atau membangun kepercayaan (sebagai hasil jangka menengah). Namun, sebagai aturan umum, evaluasi harus melampaui laporan output dan hasil sementara. Evaluasi sebaiknya mengidentifikasi dan melaporkan setidaknya outcome, dan, bila memungkinkan, dampak.
- Fitur penting dari taksonomi ini adalah bahwa dampak yang dimaksud mencakup dampak bagi organisasi, pemangku kepentingan, dan masyarakat. Hal ini sejalan dengan teori evaluasi program dan Program Logic Model (misalnya, Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010) serta dengan Teori Keunggulan PR, yang mendorong evaluasi dilakukan pada (1) tingkat program; (2) tingkat fungsional (misalnya, departemen atau unit); (3) tingkat organisasi; dan (4) tingkat masyarakat (L. Grunig, J. Grunig & Dozier, 2002, hlm. 91–92).
Developed by Professor Jim Macnamara for AMEC.
| STAGES MACRO-LEVEL | INPUTS2 | ACTIVITIES | OUTPUTS | OUT-TAKES3 | OUTCOMES4 | IMPACTS5 |
|---|---|---|---|---|---|---|
| Definisi singkat | Apa yang Anda butuhkan untuk mempersiapkan komunikasi? | Hal-hal yang perlu dilakukan untuk merencanakan dan menghasilkan komunikasi Anda | Konten yang Anda sampaikan kepada audiens target | Apa yang dilakukan audiens dan makna apa yang diambil sebagai hasil dari komunikasi Anda | Efek yang ditimbulkan komunikasi Anda terhadap audiens | Dampak yang disebabkan, secara keseluruhan atau sebagian, oleh komunikasi Anda |
| LANGKAH-LANGKAH KUNCI TINGKAT-MESO | • Objektif • Anggaran • Sumber daya (e.g., staff, agensi, fasilitas, kemitraan) | • Penelitian formatif •Perencanaan7 • Produksi ((misalnya: desain, menulis, pembelian media, hubungan media, kemitraan media, dll.) | • Distribusi • Paparan • Penerimaan8 | • Attention • Awareness • Pemahaman • Interest / liking • Engagement • Partisipasi • Consideration | • Learning / knowledge9 • Perubahan sikap • Kepuasan • Kepercayaan • Preference • Intention • Advokasi | • Reputasi • Hubungan • Compliance / tindakan kepatuhan • Perubahan pada organisasi • Perubahan pada publik/ masyarakat |
| CONTOH METRIK & TONGGAK
TINGKAT-MIKRO | • Objektif SMART • Targets / KPIs | • Baselines / benchmarks (misalnya: kesadaran saat ini) • Kebutuhan, preferensi audiens, dll • Perencanaan strategis • Perencanaan evaluasi • Data pre-tes (misalnya: konsep kreatif) • Konten yang dibuat (misalnya: media rilis, websites) • Hubungan media | • Volume publisitas • Jangkauan media • Impressions/OTS • Share of voice • Tonalitas/ sentimen/ favourability • Pesan yang ditempatkan • Posts, tweets, dll • Advertising TARPs • Volume e-marketing • CPM • Clickthroughs • Kehadiran pada acara | • Unique visitor • Views • Respon (misalnya: follows, likes, tags, shares, retweets) • Return visits/views • Recall (unaided, aided) • Komentar positif • Respon positif pada survei dll • Subscribers (misalnya: RSS, newsletters) • Inquiries | • Penerimaan pesan • Tingkat kepercayaan • Pernyataan dukungan atau maksud • Leads • Registrasi (misalnya: daftar organ donor) • Brand preference • Trialling • Joining • Penegasan (misalnya: kepuasan staff) | • Dukungan pub • Pencapaian target (misalnya: donasi darah, keanggotaan skrining kanker dll) • Peningkatan penjualan • Peningkatan donasi • Penghematan biaya • Retensi staf • Retensi pelanggan/ loyalitas • Peningkatan kualitas hidup |
| METODE EVALUASI | • Analisis interna • Pemantauan lingkungan • Kajian kelayakan • Analisis risiko | • Analisis metadata (misalnya: riset dan metrik yang lalu) • Riset pasar/audiens (misalnya: survei, focus groups, wawancara) • Konsultasi stakeholder • Studi kasus (misalnya: best practice) • Analisis SWOT (atau PEST, • PESTLE, dll) • PESTLE, etc.) • Panel pra-tes • Ulasan sejawat / ulasan ahli | • Metrik media (misalnya: statistik audiens, impressions, CPM) • Media monitoring • Analisis konten media (kuantitatif) • Analisis konten media (kualitatif) • Analisis media sosial (kualitatif dan kuantitatif) • Laporan kegiatan (misalnya: acara, sponsor) | • Web statistics (misalnya: views, downloads) • Analisis media sosial (kualitatif misalnya: komentar) • Feedback (misalnya: komentar, surat) • Etnografi110 (observasi) • Netnograf11 (etnografi online) • Survei audiens (misalnya: awareness, pengertian, interest, opini) • Focus group (seperti di atas) • Wawancara (seperti di atas) | • Analisis media sosial (kualitatif) • Statistik data (misalnya: inquiry tracking, identifikasi sumber) • Etnografi (observasi) • Netnography (online ethnography) • Polling opini • Survei stakeholder (misalnya: kepuasan, kepercayaan) • Focus group (seperti di atas) • Wawancara (seperti di atas) • Net Promoter Score (NPS)12 | • Rekor database (misalnya: donasi darah, hasil kesehatan, keanggotaan dll) • Pemantauan sales • Pemantauan donasi • Data CRM • Data survei staf • Studi reputasi • Cost Benefit Analysis/ Benefit Cost Ratio • ROI (jika ada objektif finansial) • Ekonometrik13 • Skala kualitas hidup & pengukuran kesejahteraan |
FOOTNOTE PENUNJANG TAKSONOMI EVALUASI
- Kepercayaan dianggap sebagai hasil antara atau jangka menengah karena dianalisis sebagai langkah untuk mencapai dampak jangka panjang, seperti terpilihnya seseorang menjadi pejabat pemerintah, pelanggan yang tetap setia berbisnis dengan sebuah perusahaan, dan sebagainya. Kepercayaan bukanlah tujuan akhir itu sendiri.
- Beberapa program model logic menyebut tahap pertama ini sebagai Input/sumber daya.
- Hasil outtake lanjutan sering kali tumpang tindih dengan atau bahkan dapat dianggap sama dengan hasil outcome jangka pendek. Inilah mengapa program model logic yang paling umum digunakan tidak memasukkan hasil outtake lanjutan sebagai tahap tersendiri. Hasil outtake dan outcome dapat bersifat kognitif dan/atau afektif (emosional) dan/atau konatif (perilaku).
- Hasil jangka panjang outcome sering kali tumpang tindih dengan dan kadang dianggap sama dengan dampak.
- Dampak sering kali dievaluasi hanya dalam kaitannya dengan organisasi. Namun, seperti yang disebutkan dalam pengantar, dampak terhadap pemangku kepentingan, publik, dan masyarakat secara keseluruhan harus juga dipertimbangkan. Hal ini penting bagi pemerintah, organisasi non-pemerintah, dan organisasi nirlaba yang berfokus pada pelayanan kepentingan publik. Namun, dampak pada pemangku kepentingan dan masyarakat juga mempengaruhi dan membentuk lingkungan tempat bisnis beroperasi (evaluasi ini merupakan bagian dari pemindaian lingkungan, penelitian audiens, dan penelitian pasar yang akan menjadi dasar perencanaan masa depan).
- Menetapkan hubungan sebab-akibat sangat sulit dalam banyak kasus, terutama ketika banyak faktor yang berkontribusi terhadap dampak (impact), seperti yang sering terjadi. Tiga aturan utama sebab-akibat harus diterapkan: (a) penyebab yang diduga harus mendahului efek/dampak yang diharapkan; (b) harus ada hubungan yang jelas antara penyebab yang diduga dan efeknya (misalnya, harus ada bukti bahwa audiens mengakses dan menggunakan informasi yang Anda berikan); dan (c) kemungkinan penyebab lain harus disingkirkan sejauh mungkin.
- Beberapa model memasukkan perencanaan dalam input. Namun, jika demikian, penelitian formatif (yang seharusnya mendahului perencanaan) juga perlu dimasukkan dalam input. Namun, sebagian besar model evaluasi program mengidentifikasi penelitian formatif dan perencanaan sebagai kegiatan utama yang harus dilakukan sebagai bagian dari program komunikasi. Input umumnya terjadi sebelum kampanye/program.
- Penerimaan mengacu pada informasi atau pesan yang diterima oleh audiens target dan sedikit berbeda dari paparan. Sebagai contoh, audiens mungkin terpapar pada sebuah cerita di media yang mereka akses, tetapi melewatkan cerita tersebut dan tidak benar-benar menerima informasinya. Demikian pula, mereka mungkin menghadiri acara seperti pameran dagang dan terpapar konten, tetapi tidak menerima informasi atau pesan (misalnya, karena kurangnya perhatian atau memilih konten tertentu untuk difokuskan).
- Pembelajaran (yaitu, perolehan pengetahuan) tidak selalu diperlukan dalam semua kasus. Namun, dalam beberapa kampanye dan proyek komunikasi publik, hal ini diperlukan. Misalnya, kampanye kesehatan untuk mempromosikan makanan dan suplemen kaya kalsium guna mengurangi osteoporosis pada wanita menemukan bahwa, pertama-tama, wanita perlu ‘diedukasi’ tentang osteoporosis (apa itu, penyebabnya, dll.). Demikian pula, mengatasi obesitas memerlukan edukasi tentang pola makan. Sementara pemahaman mengacu pada pemahaman pesan yang dikomunikasikan, pembelajaran mengacu pada perolehan pengetahuan yang lebih dalam atau lebih luas yang diperlukan untuk mencapai tujuan.
- Etnografi adalah metode penelitian yang didasarkan pada observasi langsung secara intensif dalam jangka waktu yang panjang, sering kali dilengkapi dengan wawancara dan metode penelitian lainnya.
- Netnografi adalah etnografi online di mana pengguna daring dipantau secara cermat untuk mengidentifikasi pola perilaku, sikap, dll. melalui komentar, jejak klik, dan metrik digital lainnya.
- Net promoter score (NPS) adalah skor dari 10 yang didasarkan pada satu pertanyaan: ‘Seberapa besar kemungkinan Anda akan merekomendasikan [merek] kepada teman atau kolega?’ Skor 0–6 dianggap sebagai ‘penentang’/tidak puas; skor 7–8 puas tetapi tidak antusias; dan skor 9–10 dianggap sebagai penggemar setia, pendukung, dan advokat. (See https://www.netpromoter.com/know)
- Ekonometrik adalah penerapan matematika dan metode statistik untuk menguji hipotesis dan mengidentifikasi hubungan ekonomi antara faktor-faktor berdasarkan data empiris (lihat http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
SINGKATAN
CPM Cost per thousand (mille = Latin untuk seribu)
CRM Customer relationship management (data yang umumnya disimpan dalam database CRM)
KPI Key Performance Indicator (lihat http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx
OTS Opportunities to see (biasanya dihitung sama seperti ‘impressions’)
PEST Kerangka evaluasi yang menelaah faktor ‘politik’, ‘ekonomi’, ‘sosial’ and ‘teknologi’.
PESTLE Kerangka evaluasi yang menelaah faktor ‘politik’, ‘ekonomi’, ‘sosial’, ‘teknologi’, ‘hukum’ and ‘lingkungan hidup’ (juga digunakan sebagai PESTEL, dengan ‘lingkungan hidup’ ditempatkan sebelum ‘hukum’) (lihat http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return On Investment
SMART Mengacu pada tujuan yang ‘spesifik’, ‘terukur’, ‘dapat dicapai’, ‘relevan’ (misalnya, terkait dengan tujuan organisasi), dan ‘terikat waktu’ (yaitu, dalam jangka waktu yang ditentukan)
SWOT adalah metode perencanaan strategis yang menelaah ‘kekuatan’, ‘kelemahan’, ‘peluang’, dan ‘ancaman’
TARPs adalah poin peringkat audiens target berdasarkan sistem peringkat yang digunakan dalam periklanan (lihat http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008)
REFERENSI & INFORMASI LEBIH LANJUT
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.