TAKSONOMIJA VREDNOVANJA
PREMA STANDARDIMA
ŠTO JE TAKSONOMIJA I ČEMU SLUŽI?
Danas postoji širok raspon modela PR i komunikacijskog vrednovanja koji koriste jednako širok raspon pojmova koji uključuju ulazne podatke, komunikacijsku produkciju, inicijalne reakcije, ciljeve s dodanom vrijednošću poboljšane komunikacijom, doseg PR poruka, učinke, rezultate i ishod. Za svaku pojedinačnu fazu predlažu se još opsežnija metrika i metode vrednovanja. Sve to ovo područje čini zbunjujućim za mnoge ljude u struci.
Ova stranica predstavlja taksonomiju vrednovanja skrojenu prema potrebama strateške javne komunikacije, pri čemu taksonomija predstavlja kategorizaciju i stavljanje i međuodnos pojedinačnih koncepata i pojmova. Ova taksonomija identificira:
- glavne faze komunikacije (npr. ulazne podatke, komunikacijsku produkciju, itd.);
- ključne korake unutar svake faze (kao što su distribucija informacija, njihovo primanje od strane publika, itd.);
- primjere mjerenja i referentnih točaka koje se može generirati ili identificirati kao dio vrednovanja u svakoj fazi te
- najčešće korištene metode za generiranje ovih mjerenja i referentnih točaka.
Taksonomija se razlikuje od modela time što ona nastoji obuhvatiti SVE glavne koncepte, pojmove, metode, cjelokupnu metriku, i dr. unutar jednog područja, dok je model ilustracija nekog specifičnog programa ili aktivnosti kojeg treba primijeniti u praksi. Međutim, modele treba temeljiti na konceptima i metodama koji su u nekom području prepoznati kao legitimni, te ih adekvatno primijeniti.
Jedna od važnih koristi taksonomije je da koncepte, metriku, metode i dr. stavlja na njihovo odgovarajuće mjesto, pa tako, na primjer, izbjegava miješanje mjerenja komunikacijske produkcije s mjerenjem komunikacijskih učinaka. Cutlip, Center i Broom, autori često citiranoga teksta o odnosima s javnošću naslovljenog “Učinkoviti odnosi s javnošću”, opetovano su u svim izdanjima od 1985. i kasnih 2000-ih isticali učestalu grešku u programskom vrednovanju, a to je “zamjena mjerenja na jednoj razini mjerenjima na nekoj drugoj razini” (1985., str. 295; 1994., str. 44; Broom, 2009, str. 358). Jim Grunig, professor emeritus odnosa s javnošću, također je sličnog stava da “mnogi PR stručnjaci koriste rezultate mjerenja prikupljene na jednoj razini analize u prikazu komunikacijskog učinka više razine analize” (2008., str. 89). Taj problem nije prisutan samo u odnosima s javnošću i strateškom komuniciranju. U popularnome vodiču Sveučilišta u Wisconsinu (UWEX) za programske logičke modele stoji, na primjer, da se ljudi “često muče oko razlike između komunikacijske produkcije i komunikacijskih učinaka” (Taylor-Power & Henert, 2008., str. 19).
Taksonomska klasifikacija nikada ne može biti konačna, ali taksonomija koju predstavljamo ovdje referira se na širok raspon istraživanja kako bi bila što sveobuhvatnija (za više detalja o počecima i bazi ove taksonomije te samoga okvira, pogledajte “Uvod u AMEC-ov okvir za integrirano vrednovanje“.)
NAPOMENE UZ KORIŠTENJE OVE TAKSONOMSKE KLASIFIKACIJE
- Ključni koraci, mjerenja i referentne točke te metode nisu iscrpni i nisu svi potrebni u svakome programu. Oni predstavljaju zajedničke i tipične pristupe vrednovanju javne komunikacije, poput oglašavanja, odnosa s javnošću, marketinškog komuniciranja itd. PR stručnjaci bi trebali odabrati ona mjerenja, referentne točke i metode koji su njima relevantni (idealno je barem jedno po svakoj fazi).
- Način na koji su ulazni podaci, aktivnosti, komunikacijska produkcija i dr. organizirani ne treba tumačiti kao jednostavan, linearan proces. Povratne informacije iz svake faze treba primijeniti za “uštimavanje”, prilagodbu pa i promjenu strategije i taktike, ako je potrebno. Vrednovanje je proces koji se neprestano revidira.
- Ne može svako vrednovanje pokazati ishod/učinak, pogotovo kada se vrednovanje radi relativno kratko nakon komuniciranja. On se često manifestira i po nekoliko godina nakon komunikacije. Osim toga, javna komunikacija može za svoje ciljeve imati podizanje svijesti o nečemu (to je inicijalna reakcija ili kratkoročni komunikacijski učinak) ili izgradnju povjerenja (kao srednjoročni komunikacijski učinak). No, opće je pravilo da bismo iz vrednovanja trebali saznati mnogo više od toga kakva je bila komunikacijska produkcija i inicijalna reakcija publike. Vrednovanje nam u najmanju ruku treba identificirati i prikazati komunikacijske učinke te, kada je to moguće, ishod.
- Jedna od važnih karakteristika ove taksonomske klasifikacije je da ishod uključuje organizacijske, dioničke i društvene ishode/komunikacijske učinke. To je u skladu s teorijom programskog vrednovanja i programskim logičkim modelima (npr. Kellogg Foundation, 1998./2004.; Taylor-Power & Henert, 2008.; Wholey, 1979.; Wholey, Hatry, & Newcomer, 2010.) te s teorijom izvrsnosti u odnosima s javnošću, prema kojoj vrednovanje treba raditi na a) programskoj razini, 2) funkcionalnoj razini (npr. organizacijska jedinica, odjel), 3) organizacijskoj razini i 4) društvenoj razini (L. Grunig, J. Grunig & Dozier, 2002., str. 91–92).
Developed by Professor Jim Macnamara for AMEC.
| FAZE MAKRORAZINA | ULAZNI PODACI2 | AKTIVNOSTI | KOMUN. PRODUKCIJA | INICIJALNE REAKCIJE3 | KOMUNIKACIJSKI UČINCI4 | ISHOD5 |
|---|---|---|---|---|---|---|
| Kratka definicija | Ono što vam je potrebno u pripremi komunikacije | Ono što poduzimate planirajući i realizirajući komunikaciju za svoje poruke | Sve ono čemu izlažete ciljanu publiku (npr. informacije i materijali) | Ono što publika radi s vašom porukom i kako je shvaća | Učinci koje vaša poruka ostavlja na publike | Rezultati do kojih je djelomično ili potpuno došlo zbog poruke koju ste vi komunicirali |
| KLJUČNI KORACI srednja razina | krajnji ciljevi
budžet resursi (npr. ljudi, agencije, oprema, partnerstva) | formativno istraživanje
planiranje7 produkcija (npr. kreativni dio – | distribucija
produciranje primanje8 | ozornost
svjesnost razumijevanje zainteresiranost/ angažiranost naknadno promišljanje | učenje/znanje9
promjena stava zadovoljstvo povjerenje preferencije namjere javno zagovaranje |
reputacija
odnosi usklađivanje sa standardima organizacijske promjene javne/društvene promjene |
| PRIMJERI METRIKE I REFERENTNIH TOČAKA mikrorazina | ciljevi koji su specifični, mjerljivi, dosežni, bitni, vremenski definirani (eng. SMART)
ključni pokazatelji uspješnosti | utvrđivanje polazišnih/referentnih točaka (npr. trenutna percepcija i shvaćanje nečega)
potrebe i preferencije publike itd. strateški plan plan vrednovanja podaci preliminarnih ispitivanja (npr. kreativni koncepti) proizvedeni sadržaj (npr. objave za medije, internetske stranice) odnosi s medijima | Količina publiciteta
Medijski doseg Dojmovi/OTS Udio u online oglašavanju (SOV) ton/orijentacija postovi, tvitovi, itd. gledanost među ciljanom publikom (TARP) količina e-oglašavanja trošak (CPM – na tisuću ljudi) posjećenost događanja | jedinstveni posjeti
pogledi reakcije (“lajkovi”, “tegovi”, “šeranje”, itd. ) naknadni posjeti/pogledi pozitivni komentari pozitivni odgovori u anketama i sl. pretplatnici (npr. RSS, bilteni – newsletteri) | prihvaćanje poruke
stupnjevi povjerenja izjave otvorene podrške ili namjere upiti leadovi (ozbiljni upiti potencijalnih kupaca) registracije (npr. na listu davatelja organa) preferirani brendovi testiranja učlanjenja potvrde zadovoljstva (npr. osoblja) | podrška javnosti
ispunjavanje zadanih ciljeva (npr. broj doniranja krvi, snimanja radi ranog otkrivanja raka itd.) povećanje prodaje povećanje donacija uštede veća lojalnost radnika veća lojalnost kupaca bolja kvaliteta života/veća dobrobit |
| METODE vrednovanja | interna analiza
praćenje vanjskih okolnosti procjena izvedivosti procjena rizika | analiza metapodataka (npr. prethodna istraživanja i mjerenja)
istraživanja tržišta/publike (npr. ankete, fokusne skupine, intervjui) konzultacije s dionicima neka od analiza (SWOT, PEST(LE)) preliminarne panel-rasprave ocjene kolega/stručnjaka | medijska mjerenja (npr. podaci o publici, dojmovi, CPM)
praćenje medija analiza medijskoga sadržaja (kvalitativno) analiza društv. medija (kvant. i kvalit.) izvještaji o aktivnostima (događanja, sponzorstva) | statistika s weba (npr. pogledi, učitavanja)
analiza društvenih medija praćenje povratne informacije (npr. komentari, pisma) opis zajednice promatranjem (etnografija)10 virtualna etnografija (netnografija11) anketiranje publike (svijest, razumijevanje, zanimanje, mišljenje) fokus. skupina (kao gore) razgovori (kao gore) | analiza društvenih medija (kvalitativna)
statistika iz baze podataka (npr. praćenje upita radi identificiranja izvora) opis zajednice promatranjem (etnografija) virtualna etnografija (netnografija) ispitivanja javnog mnijenja anketiranje dionika fokusne skupine (kao gore) razgovori (kao gore) zadovoljstvo kupaca (NPS)12 | podaci iz baza podataka (npr. broj donacija krvi, zdravstveni učinci, podaci o članstvu itd.)
praćenje prodaje praćenje donacija podaci iz CRM-a podaci iz anketiranja osoblja analize isplativosti (troška i koristi) povrat na investiciju (ROI) – ako postoje financijski ciljevi ekonometrika13 mjerenje kvalitete života, dobrobiti |
SUPPORTING FOOTNOTES FOR THE TAXONOMY OF EVALUATION
- Povjerenje se smatra ishodom srednje razine jer se traži radi postizanja dugoročnijeg učinka, poput dolaska na vlast, održavanja poslovanja s klijentom i sl. Povjerenje samo po sebi nije krajnji cilj.
- Neki programski logički modeli odnose se na ovu prvu fazu kao Ulazni podaci/Resursi.
- Napredne inicijalne reakcije preklapaju se ili mogu biti iste kao kratkoročni učinci. Zbog toga najčešće korišteni programski logički modeli ne uzimaju inicijalne reakcije kao fazu. Inicijalne reakcije i komunikacijski učinci mogu biti kognitivni i/li afektivni (emotivni) i/li konativni (bihevioralni).
- Dugoročni učinci preklapaju se i ponekad se smatraju identičnima ishodu.
- Ishod se često vrednuje samo u odnosu na organizaciju. No, kako je naznačeno u uvodu, ishod u odnosu na dionike, publike i cjelokupno društvo također treba uzeti u obzir. To je ključno kod vlada, nevladinih organizacija, neprofitnih organizacija koje su usredotočene na služenje javnome interesu. Također, ishod u odnosu na dionike i društvo utječe i na poslovnu okolinu (odn., ovo vrednovanje dio je analiza vanjskih čimbenika, publike i tržišta koje će doprinijeti budućem planiranju).
- Uzročno-posljedičnu vezu često je teško utvrditi, pogotovo kada na ishod (rezultat) djeluju višestruki čimbenici, kao što je često slučaj. Moraju se primijeniti tri glavna pravila kauzalnosti: a) navodni uzrok mora prethoditi navodnom učinku/ishodu; b) mora postojati jasna veza između navodnog uzroka i navodne posljedice (npr. dokaz da je publika zaista “konzumirala” informaciju koja je došla od vas) i c) ostali mogući uzroci moraju se isključiti sa što većim postotkom sigurnosti.
- Neki u ulazne podatke uključuju i planiranje. No, u tom slučaju formativno istraživanje (koje bi trebalo prethoditi planiranju) također treba biti uključeno u ulazne podatke. Ipak, većina modela programskog vrednovanja prepoznaje formativna istraživanja i planiranje kao ključne aktivnosti koje treba poduzeti u sklopu komunikacijskog programa. Ulazni podaci općenito spadaju u fazu prije kampanje.
- Primanje se odnosi na one informacije ili poruke koje ciljane publike primaju i tu postoji mala razlika u odnosu na ono čemu je publika izložena. Na primjer, publika može biti izložena nekoj priči koju obrađuju mediji koje ta publika koristi, ali ako oni preskaču tu priču, neće biti informirani o njoj. Slično tome, publika može posjetiti neko događanje poput sajma i biti izložena sadržaju koji je tamo izložen, ali svejedno ne primiti određenu informaciju ili poruku (zato što ne obraća pozornost ili je to ne zanima, na primjer).
- Učenje (odn. usvajanje znanja) nije nužno u svim slučajevima. Međutim, u nekim kampanjama javne komunikacije i javnih projekata jest. Na primjer, javnozdravstvene kampanje koje promiču prehranu bogatu kalcijem i uzimanje dodataka za prevenciju osteoporoze kod žena zaključile se da žene, prije svega, treba educirati o osteoporozi (što je to, što je uzrokuje, itd.). Slično tome, borba protiv pretilosti zahtijeva edukaciju o prehrani. Dok se razumijevanje odnosi na shvaćanje poruka koje se komunicira, učenje se odnosi na usvajanje dubljeg ili šireg znanja koje je potrebno za postizanje krajnjih ciljeva.
- Etnografija je istraživačka disciplina koja se temelji na intenzivnom neposrednom promatranju kroz duže vrijeme, često nadopunjena intervjuom i ostalim istraživačkim metodama.
- Netnografija je virtualna etnografija u kojoj se intenzivno prate internetski korisnici radi identificiranja njihovog obrasca ponašanja, njihovih stavova i dr. putem njihovih komentara, stranica koje otvaraju i ostalih sredstava digitalnog mjerenja.
- Ocjena NPS (eng. net promoter score) je rangiranje na skali od 1 do 10 na temelju samo jednog pitanja: “Kolika je vjerojatnost da biste ovaj proizvo(brend, itd.) preporučili prijatelju ili kolegi? Ocjena od 6 i niža tumači se kao nezadovoljstvo, ocjena 7 ili 8 kao ravnodušno zadovoljstvo, dok se ocjena 9 i 10 tumači kao jaka podrška, zagovaranje vjernih korisnika. (v. https://www.netpromoter.com/know)
- Ekonometrika je primjena matematike i statističkih metoda za testiranje hipoteza i identificiranje ekonomskih odnosa između faktora temeljenih na empirijskim podacima. (v. http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
ABBREVIATIONS
CPM Cost per thousand (mille = Latin for thousand)
CRM Customer relationship management (data commonly held in CRM databases)
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx
OTS Opportunities to see (usually calculated the same as ‘impressions’)
PEST An evaluation framework that examines ‘political’, ‘economic’, ‘social’ and ‘technological’ factors
PESTLE An evaluation framework that examines ‘political’, ‘economic’, ‘social’, ‘technological’, ‘legal’ and ‘environmental’ factors (also used as PESTEL, with ‘environmental arranged before ‘legal) (see http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return on investment
SMART Refers to objectives that are ‘specific’, ‘measureable’, ‘achievable’, ‘relevant’ (e.g., linked to organizational objectives), and ‘time-bound’ (i.e., within a specified period)
SWOT A strategic planning method that examines ‘strengths’, ‘weakness’, ‘opportunities’, ‘threats’
TARPs Target audience ratings points based on the ratings system used in advertising (see http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008)
REFERENCES & FURTHER INFORMATION
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.