Sistematika vrednotenja v smeri standardov
Kaj je sistematika in za kaj se uporablja?
Obstaja široka paleta modelov PR in vrednotenja komunikacij, ki uporablja širok spekter izrazov vključno z vložki, posledicami, odlivi, pretirano rastjo, vplivi, rezultati in učinki. Za vsako stopnjo so predlagani še širši nabori meritev in metod za vrednotenje. To področje je za mnoge strokovnjake zavajajoče.
Sistematizirati pomeni razdelati področje za to, da kategoriziramo koncepte in izraze. Ta stran predstavlja sistematiko vrednotenja, prilagojeno za strateško javno komuniciranje,, ki kaže, kam stvari spadajo in kako se prilegajo v odnosu ena do druge. Ta sistematika določa:
- Glavne stopnje komunikacije (kot npr. vložki, učinki, itd.).
- Ključne korake, prisotne na vsaki stopnji (kot npr. distribucija informacij, sprejem publike, itd.).
- Primere meritev in mejnikov, ki so lahko ustvarjeni ali prepoznani kot del vrednotenja vsake stopnje.
- Najbolj pogosto uporabljene metode za ustvarjanje teh meritev in mejnikov.
Sistematika ni isto kot model, saj sistematika poskuša našteti VSE glavne koncepte, izraze, meritve, metode itd., nekega področja, medtem ko je model ponazoritev specifičnega programa ali dejavnosti, ki se uporablja v praksi. Vendar pa morajo modeli temeljiti na konceptih in metodah, ki so sprejete kot legitimne na področju in pravilno uporabljene.
Pomembna prednost sistematike je, da postavlja koncepte, meritve, metode, itd. na pravo mesto – npr. izogiba preprečuje, da bi se meritve učinkov zamešale z meritvami izidov. Avtorji široko uporabljanega PR besedila Effective Public Relations, Cutlip, Center in Broom so v edicijah od 1985 do 2000 in tudi kasneje večkrat zapisali, s JW uporabljajo besedilne Učinkovito PR odnose z javnostmi , so Cutlip , Center in Broom v izdajah večkrat ugotovil, od leta 1985 do poznih letu 2000 , da je »pogosta napaka programskega vrednotenja nadomestilo ukrepov iz ene stopnje za tiste na drugi stopnji« (1985, str. 295; 1994, str. 44; Broom, 2009, str. 358). Zaslužni profesor za odnose z javnostmi Jim Grunig ravno tako pravi, da mnogi strokovnjaki uporabljajo »meritve, zbrane na eni ravni analize, da prikažejo rezultate na višji ravni analize« (2008, str. 89). PR in strateško komuniciranje ni edino. Pogosto uporabljen Vodič Univerze v Wisconsinu (UWEX) za programiranje logičnih modelov za vrednotenje npr. pravi, »ljudje se pogosto mučijo z razliko med učinki in izidi« (Taylor – Power & Henert, 2008, str. 19).
Nobena sistematika ni nikoli popolna, vendar sistematika, predstavljena tu, povzema iz širokega spektra raziskovalnih študij, da je celovita, kolikor se da (glej »Uvod v AMEC Integriran Okvir za Vrednotenje« za podrobnosti o izvoru in temelju te sistematike in samega okvirja).
Navodila za uporabo te sistematike
- Ključni koraki, meritve in mejniki ter metode niso izčrpne in niso vse potrebne za vsak program. Začrtani so pogosti in značilni pristopi k vrednotenju javnega komuniciranja, kot so oglaševanje, odnosi z javnostmi, tržno komuniciranje, itd. Strokovnjaki morajo izbrati ustrezne meritve, mejnike in metode, idealno je da izberejo vsaj enega na vsaki stopnji.
- Razporeditev vložkov, aktivnosti, učinkov itd., se ne sme razumeti kot preprost, linearen koncept. Povratne informacije z vsake stopnje je treba uporabiti za prilagoditev in spremembo strategije in taktike, če je to potrebno. Vrednotenje je ponavljajoč se proces.
- Vsa vrednotenja ne pokažejo učinka, še posebej kadar je vrednotenje opravljeno v relativno kratkem časovnem obdobju po komuniciranju. Učinek se pogosto zgodi par let po končanem komuniciranju. Tudi cilji določenih javnih komuniciranj so, da ustvarijo zavedanje (posledica ali kratkoročni izid) ali da gradijo zaupanje (vmesni izid). Glavno pravilo pa je, da mora ovrednotenje poročati o več kot le izidih in posledicah. Vrednotenje mora najmanj označiti in poročati o izidih in kadar je možno, učinkih.
- Pomembna lastnost te sistematike je, da se učinek nanaša tudi na organizacije, deležnike in družbo.. To se sklada z programom teorije vrednotenja in modelov programske logike (npr, Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010) in s t. i. PR teorijo odličnosti, po kateri mora biti vrednotenje opravljeno na: (1) programski stopnji; (2) funkcionalni stopnji (npr. oddelek in enota); (3) organizacijski stopnji; (4) in socialni stopnji (L. Grunig, J. Grunig & Dozier, 2002, str. 91–92)
Razvil profesor Jim MacNamara za AMEC.
| Nivoji makrostopenj | Vnosi2 | Aktivnosti | Učinki | Posledice3 | Izidi4 | Učinki5 |
|---|---|---|---|---|---|---|
| Kratka definicija | Kar potrebujete za pripravo za komunikacijo | Stvari, ki jih naredite, ko načrtujete in izvajate vaše komuniciranje | Kar izdate in je sprejeto s strani ključne publike | Kar publika naredi in razume iz vaše komunikacije | Učinki, ki jih ima vaša organizacija na publike | Rezultati, ki so deloma ali v celoti doseženi z vašo komunikacijo |
| Ključni koraki Srednja stopnja | • Cilji • Proračun • Sredstva (npr. osebje, agencije, objekti, partnerstva | • Formativne raziskave • Načrtovanje7 • Proizvodnja (npr. dizajn, pisanje, medijski nakupi, odnosi z javnostmi, medijska partnerstva itd.) | • Distribucija • Izpostavljenost • Sprejem8 | • Pozornost • Zavedanje • Razumevanje • Zanimanje / naklonjenost • Vključenost • Sodelovanje • Presoja | • Učenje/znanje9 • Sprememba vedenja • Zadovoljstvo • Zaupanje • Preference • Namen • Zagovorništvo | • Ugled • Odnosi • Skladnost / skladna dejanja • Organizacijske spremembe • Javne/socialne spremembe |
| Primeri meritev & mejnikov
Mikro stopnja | • SMART cilji • Zastavljeni cilji /KPI-ji | • Izhodišča/merila (npr. trenutna osveščenost) • Potrebe, preference itd. … publike • Strateški načrt • Načrt vrednotenja • Predtestni podatki (npr. kreativni koncepti) • Izdana vsebina (npr. medijske izdaje, spletne strani) • Odnosi z mediji | • Volumen publicitete • Doseg medijev • Vtisi/OTC • Deljenje glasu • Ton/čustva/naklonjenost • Oddana sporočila • Sporočila, tviti itd. • Oglaševanje TARP-ov • Volumen e-marketinga • CNT • Razmerje med prikazi • Udeleževanje dogodkov | • Enkratni obiskovalci • Ogledi • Odziv (npr. sledilci, všečki, »tagi«, deljenja, retviti) • Ponovni obiski/ogledi • Odpoklic (nepodprt, podprt) • Pozitivni komentarji • Pozitiven odziv v raziskavah, itd. • Naročniki (npr. RSS, novice) • Povpraševanja | • Sprejetost sporočila • Stopnje zaupanja • Izjave o podpori ali namenu • Vodila • Registracije (npr. seznam darovalcev organov) • Preferenca znamk • Preizkusi • Pridruževanje • Reaffirming (e.g., staff satisfaction) | • Podpora javnosti • Doseganje ciljev (npr. donacije krvi, članstvo pri nadzorovanju raka, itd.) • Povečanje prodaje • Povečanje donacij • Varčevanje s stroški • Ohranitev zaposlenih • Ohranitev/zvestoba strank • Zvišanje kvalitete življenja/dobrega počutja |
| Metode vrednotenja | • Interna analiza • Preverjanje okolja • Analiza izvedljivosti • Analiza tveganja | • Analiza metapodatkov (npr. pretekle raziskave in meritve) • Raziskave trga/publike (npr. ankete, fokusne skupine, intervjuji) • Posvetovanje z delničarji • Študije primerov (npr. najboljša praksa) • SWOT analiza (ali PEST, PESTLE itd.) • Predtestna orodja • Pregled s strani sodelavcev/strokovnjakov | • Medijske meritve (npr. statistike o publiki, vtisi, CNT) • Spremljanje medijev • Analiza medijskih vsebin (kvantitativno) • Analiza medijskih vsebin (kvalitativno) • Analiza socialnih omrežij (kvantitativno in kvalitativno) • Poročila o aktivnostih (npr. dogodki, sponzorstva) | • Spletne statistike (npr. ogledi, prenosi) • Analiza socialnih omrežij (kvalitativno, npr. komentarji) • Odziv (npr. komentarji, pisma) • Etnografija10 (opazovanje) • Netnografija11 (spletna etnografija) • Raziskave publike (npr. zavedanje, razumevanje, zanimanje, mnenje) • Fokusna skupina (kot zgoraj) • Intervjuji (kot zgoraj) | • Analiza socialnih omrežij (kvalitativno) • Statistike podatkov v bazi (npr. poizvedovanje o sledenju identificiranja virov) • Etnografija (opazovanje) • Netnografija (spletna etnografija) • Mnenjske raziskave • Raziskave delničarjev (npr. zadovoljstvo, zaupanje) • Fokusne skupine (kot zgoraj) • Interviews (as above) • Net Promoter Score (NPS)12 | • Zapisi o bazi podatkov (npr. donacije krvi, zdravstveni izvidi, članstva, itd.) • Sledenje prodaji • Sledenje donacijam • CRM podatki • Podatki o raziskavah zaposlenih • Študije o ugledu • Analiza stroškov in koristi/razmerje med koristmi in stroški • ROI (če so cilji finančni) • Ekonomske meritve13 • Lestvice kvalitete življenja / ukrepi za dobro počutje |
Opombe za sistematiko vrednotenja
- Zaupanje smoramo videti kot vmesni izid, saj je pomembno za doseganje dolgoročnega vpliva – npr. biti izvoljen v vlado ali kontinuirano poslovanje strank s podjetjem. Zaupanje ni končni cilj sam po sebi.
- Nekateri modeli programske logike se nanašajo na to prvo stopnjo kot vložki/sredstva.
- Napredni rezultati so prekrivni ali celo isti kot kratkoročni dosežki.. Iz tega razloga najbolj pogosto uporabljeni modeli programske logike rezultatov ne jemljejo za stopnje. Rezultati in izidi so lahko kognitivni oziroma afektivni (čustveni) oziroma konativni (vedenjski).
- Dolgoročni izidi so prekrivni z učinkom oziroma se včasih obravnavajo celo isto kot učinki.
- Učinek velikokrat vrednotimo samo v povezavi z organizacijo. Vendar je treba učinek, kot je bilo rečeno v uvodu), videti v povezavi z deležniki, javnostjo in celotno družbo. To je bistvenega pomena za vladne, nevladne in neprofitne organizacije, ki so osredotočene na javni interes. Toda učinek na deležnike in družbo zaznamuje in oblikuje tudi okolje, v katerem poslujejo podjetja – na primer, tako vrednotenje uporabljamo pri okoljskem preverjanju, raziskavah javnosti in raziskavah trga, ki nudijo informacije za prihodnje načrtovanje).
- V veliko primerih je zelo težko ugotoviti vzročno zvezo – še posebej ko h končnemu učinku (izidu) prispeva več učinkov , kar se dogaja precej pogosto. Treba je uporabiti tri ključna pravila za vzročno zvezo: (A) domnevni vzrok mora biti pred domnevnimi posledicami/učinkom; (B) razmerje med domnevnim vzrokom in posledicami mora biti jasno (npr. obstajati mora dokaz, da je občinstvo dostopalo in uporabljalo podatke, ki so bili posredovani); in (C) druge možne vzroke je treba izključiti, kolikor je le mogoče.
- Nekateri med vložke štejejo tudi načrtovanje. Vendar je v tem primeru med vložke treba vključiti formativne raziskave (ki morajo biti pred načrtovanjem). Vendar pa večina modelov vrednotenja programov vidi formativne raziskave in načrtovanje kot ključne dejavnosti, ki se opravijo kot del programa komunikacije. Vložki so navadno pred kampanjo/programom.
- Sprejem se nanaša na to, katere informacije ali sporočila so sprejeta s strani ciljnih publik, in je malce drugačen kot izpostavljenost. Na primer, publika je lahko izpostavljena zgodbi v medijih, ki jo spremlja, ampak zgodbe ne registrirain ne pridobi njenih informacij. Lahko se tudi lahko udeleži dogodka kot je sejem, in je izpostavljena vsebini, vendar ne prejme informacij in sporočila (npr. zaradi nepozornosti ali selektivnosti pri osredotočanju na vsebine).
- Učenje (pridobivanje znanja) ni potrebno v vseh primerih. Zahteva pa se v nekaterih kampanjah javnega komuniciranja in sporočil. Ker se razumevanje nanaša na dojemanje komuniciranih sporočil, se učenje nanaša na pridobitev globljega ali širšega znanja, ki je potrebno za doseganje ciljev.
- Etnografija je raziskovalna metoda, ki temelji na intenzivnem opazovanju tekom daljšega obdobja in je pogosto nadomeščena z intervjuji in drugimi raziskovalnimi metodami.
- Netnografija je spletna etnografija, pri kateri se spletne uporabnike pozorno spremlja, da se identificira njihove vzorce vedenja, obnašanja itd. pri njihovih komentarjih, sledeh klikanja in drugih digitalnih meritvah.
- Net promoter rezultat je rezultat med 0 in 10, ki temelji na enem vprašanju: kako verjetno je, da bi priporočili (znamko) prijatelju ali znancu? Rezultati med 0 in 6 so obravnavani kot »nezadovoljni«, rezultati med 7-8 so obravnavani kot »zadovoljni«, a nenavdušeni, rezultati med 9 in 10 pa so obravnavani kot zvesti navdušenci, podporniki in zagovorniki (glej https://www.netpromoter.com/know).
- Ekonomske meritve so uporaba matematiki in statističnih metod za potrebe testiranja hipotez in identifikacije ekonomskih odnosov med faktorji, ki temeljijo na empiričnih podatkih (glej http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
Kratice
CNT (cena na tisoč prikazov)
CRM (Customer relationship management) – upravljanje odnosov s kupci
KPI (Key Performance Indicator) – ključni kazalnik uspešnosti (glej http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx)
OTS (Opportunities to see) – število možnosti, da uporabnik vidi določen oglas
PEST (Political, Economical, Social, and Technological) – ovrednotenje okvirja, ki preuči politične, ekonomske, socialne in tehnološke faktorje)
PESTLE (Political, Economical, Social, Technological, Legal and Enviromental) – ovrednotenje okvirja, ki preuči politične, ekonomske, socialne, tehnološke, pravne in okoljske faktorje)
ROI (Return on investment) – razmerje med vloženim denarjem in zaslužkom.
SMART (Specific, measureable, achievable, relevant and time-bound) – nanaša se na cilje, ki so specifični, merljivi, dosegljivi, relavantni in znotraj nekega časovnega obdobja.
SWOT (Strengths, weakness, opportunities and threats) – strateška metoda načrtovanja, ki preučuje prednosti, slabosti, priložnosti in grožnje.
TARPs (Target audience ratings points) – Ocenjevalne točke ključne publike, ki temeljijo na
sistemu ocenjevanja, ki se uporablja v oglaševanju. (glej http://www.multimediabuying.com.au/faq).
UWEX (University of Wisconsin Extension program (glej Taylor-Power & Henert, 2008).
Reference in nadaljnje informacije:
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Dostopno na: http://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Pridobljeno iz http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.