En taxonomi av utvärdering för standarder
VAD ÄR EN TAXONOMI OCH VAD ÄR DEN TILL FÖR?
Området mätning och utvärdering upplevs ofta förvirrande för yrkesverksamma inom PR- och kommunikation. I det breda utbudet av modeller för kommunikationsutvärdering används idag ett brett spektrum av termer och begrepp, så som: input, resultat, reaktioner, utflöden, tillväxt, effekt och påverkan. Varje begreppsområde kan därefter utvärderas med hjälp av ytterligare mått och metoder.
Denna sida presenterar en taxonomi för utvärdering av kommunikation – en taxonomi är en kartläggning inom ett område för att kategorisera begrepp och termer – kort sagt, för att visa systematiskt var de hör hemma och var de passar i förhållande till varandra. Denna taxonomi identifierar:
- De viktigaste stegen i utvärderingsprocessen (t.ex. Input, resultat, etc.);
- De viktigaste stegen i varje del (t.ex. informationsspridning, mottagande av publik, etc.);
- Exempel på mått och milstolpar som kan genereras eller identifieras som en del av utvärderingen vid varje del och steg; och
- De vanligaste metoderna för att generera dessa mått och milstolpar.
En taxonomi är inte samma sak som en modell, en taxonomi försöker lista alla de viktigaste begreppen, termerna, nyckeltalen, metoderna, etc. inom ett område, medan en modell är en illustration av ett särskilt program eller aktivitet som ska tillämpas i praktiken. Dock bör modeller baseras på begrepp och metoder som identifierats som legitima inom området och tillämpas på lämpligt sätt.
En viktig fördel med en taxonomi är att det sätter begrepp, mått, metoder, etc. på rätt plats – t ex undviker att resultat mått förväxlas med utfallsmått. Författarna Center och Broom som skrivit den välkända boken ”Effective Public Relations”, har noterat flera gånger i upplagor från 1985 till slutet av 2000-talet att ”Det vanligaste felet i programutvärdering är att ersätta mätningar från en nivå till en helt annan nivå” (1985 , s 295,. 1994, s 44,. Broom, 2009, s 358).. Emeritus professor i Public Relations Jim Grunig säger likaså att många utövare använder ”ett mått som samlats på en nivå av analys för att påvisa resultat på en högre nivå av analys” (2008, s. 89). PR och strategisk kommunikation är dock inte ensam i detta. Den utbredda University of Wisconsin (UWEX) guiden till programlogik modeller för utvärdering säger till exempel ”folk kämpar ofta med skillnaden mellan resultat och utfall” (Taylor-Power & Henert, 2008, s. 19).
Ingen taxonomi är någonsin helt komplett, men den taxonomi som presenteras här bygger på ett brett spektrum av studier för att vara så heltäckande som möjligt (se ”Introduktion till AMEC Integrerade Ramverk för utvärdering” för information om ursprunget och grunden för denna taxonomi och ramverket sig).
Att betänka vid användning av denna taxonomi:
• De nyckelsteg, mått, milstolpar och metoder som tas upp är inte fullständiga och de behövs inte alltid användas i varje utvärderingssteg.
• Ordningen och angreppsättet av input, aktiviteter, resultat, etc. bör inte tolkas som en enkel linjär process. Återkoppling från varje steg bör tillämpas för att justera, finjustera och ändra strategi och taktik om det behövs. Utvärdering är en iterativ process utan inbördes ordning.
• All utvärdering kan inte påvisa effekt, särskilt inte när utvärderingen görs inom en relativt kort tidsperiod efter att kommunikationsinsatsen genomförts. Kommunikation är dock ett långsiktigt arbete där effekten ofta märks efter lång tid, speciellt om målen för kommunikationen är att skapa medvetenhet (en reaktion eller kortvarigt utfall) eller bygga upp ett förtroende (som också kan ses som ett mellanstegs utfall inför en slutlig effekt) [xii]. Som regel bör dock en utvärderingsrapport täcka långt utanför resultat och reaktioner.
• Ett viktigt inslag i denna taxonomi är den omfattar Inflytande (impact), och hur det påverkar organisatoriska intressenter och samhället. Detta ligger i linje med programutvärderingsteori och program för logiska modeller (t.ex. Kellogg Foundation, 1998/2004, Taylor-Power & Henert, 2008; Wholey, 1979, Wholey, Hatry & Newcomer 2010) och med Excellence Theory of PR, som kräver att utvärderingen genomförs på (a) programnivå; (2) funktionsnivå (t.ex. avdelning eller enhet); (3) organisationsnivå; och (4) samhällsnivå (L. Grunig, J. Grunig & Dozier, 2002, s. 91-92).
Utvecklats av professor Jim MacNamara för AMEC.
| STEG MACRO NIVÅ | INPUT2 | AKTIVITETER | RESULTAT | REAKTIONER3 | EFFEKT4 | INFLYTANDE 5 |
|---|---|---|---|---|---|---|
| Kort definition | Vad du behöver förbereda inför kommunikationsinsatsen | Saker du gör för att planera och producera din kommunikation | Vad du sänder ut som tas emot av dina målgrupper | Vad dina målgrupper gör och får ut av din kommunikation | Vilka effekter din kommunikation ger i målgruppen | Inflytande (resultat) som uppnås på organisatoriska mål |
| key Step meso (Community or Organization) | • Mål • Budget • Resurser (tex personal, byråer, faciliteter, partnerskap) | • Formativ research (Förberedande undersökning) • Planning7 • Produktion (tex design, texter, media köp, medierelationer, media partnerskap etc) | • Distribution • Exponering • Mottagning 8 | • Uppmärksamhet • Medvetenhet • Förståelse • Intresse/tycka om • Engagemang • Deltagande • Övervägande | • Lärande/kunskap9 • Attitydförändring • Nöjdhet • Förtroende • Föredra • Intention • Rekommendation | • Rykte • Relationer • Compliance – Överrensstämmelse / efterlevande beteende • Organisationsförändring • Publik/social förändring |
| Exempel mätetal & milstolpar
MICRO-LEVEL | • SMART mål • Målsättning/KPIer | • Standardvärde / benchmarks (tex nuvarande medvetenhet) • Målgruppsbehov, preferens etc • Strategisk plan • Utvärderings plan • För-test data ( tex kreativa koncept) • Producerat innehåll (tex mediareleaser, webbsidor m m) • Mediarelationer | • Publicitetsvolym • Medial räckvidd • Impressions/OTS • Share of Voice • Tonalitet/Favör • Placerade • budskap • Postningar, tweets m m • Annons TARP • E-marketing volym • CPM • Clickthroughs • Eventpublik | • Unika besökare • Views • Respons (tex följare, likes, taggningar, delningar, retweets) • Return visits/views • Erinran (icke-hjälpt, hjälpt) • Positiva kommentarer • Positiva svar i undersökningar • Prenumeranter (RSS, Nyhetsbrev etc) • Förfrågningar | • Budskapsacceptans • Nivå av förtroende • Uttryck för stöd eller intention • Leads • Registreringar (tex organdonatorer lista) • Varumärkes preferens • Prova på/Varuprov • Ansluta (join) • Intyga på nytt (medarbetarundersökningar) | • Allmänhetens stöd • Möta mål (tex bloddonationer etc) • Försäljningsökning • Ökning av donationer • Kostnadsbesparingar • Personalneddragningar • Kundlojalitet • Livskvalité/välmående ökning |
| Metoder för utvärdering | • Intern analys • Omvärldsskanning • Genomförbarhetsstudie • Riskanalys | • Metadataanalys (tex tidigare research och mätningar) • Marknads/målgrupps analys (tex undersökningar, fokusgrupper, Intervjuer) • Stakeholder konsultering • Fallstudier (best practise) • SWOT analys (eller PEST eller PESTILE etc) • Förtest paneler • Kollegial granskning • Expert granskning | • Medier mätmått (tex publik statistik, impressions, CPM) • Media bevakning • Medial innehållsanalys (kvantitativ och kvalitativ) • Social media analys (kvantitativ och kvalitativ) • Aktivitets rapport (tex events, sponsorskap) | • Webbstatistik (tex views, nerladdningar) • Social media analys (kvalitativ typ kommentarer) • Feedback (kommentarer, brev, mail) • Etnografi10 (observationer) • Netnografi11 (online etnografi) • Publik/Använder undersökningar (återkommande medvetenhet, förståelse, intresse och åsikt) • Fokusgrupp (likt ovan) • Intervjuer (likt ovan) | • Sociala medier analys (kvalitativ) • Databas statistik (förfrågnings trackning, källidentifiering) • Etnografi (observationer) • Netnografi (online etnografi) • Åsiktsundersökningar • Stakeholder undersökningar (tex återkommande nöjdhet, förtroende osv) • Fokusgrupper (likt ovan) • Intervjuer (likt ovan) • Net Promoter Score (NPS) 12 | • Databas protokoll (tex blod donationer, hälsoutfall, medlemskap etc) • Försäljningssiffror • Donationssiffror • CRM data • Medarbetarundersökningar • Rykte/Varumärkesunderöskningar • Lönsamhetsanalyser • ROI (om det finns finansiella mål) • Ekonometri13 • Livskvalité skalor och välmående mätningar |
STÖDJANDE FOTNOTER GÄLLANDE TAXONOMI FÖR UTVÄRDERING
1. Förtroende anses vara ett mellanstegsresultat, och inte ett slutmål i sig, eftersom det eftersträvas för att uppnå ett inflytande på längre sikt. T.ex. skapa förtroende för att bli vald till regeringen, för att kunder ska fortsätta göra affärer med ett företag, etc.
2. Vissa logiska programmodeller hänvisar till denna första etapp som Input / Resurser.
3. Avancerade reaktioner kan vara densamma som kortsiktiga resultat. Det är därför de mest använda logiska programmodellerna inte använder reaktioner som ett steg i utvärderingsprocessen. Reaktioner och resultat kan vara kognitiva och / eller känslomässiga och / eller beteende orienterade.
4. Långsiktiga effekter överlappar med och kan ibland anses vara densamma som inflytandestegets resultat.
5. Inflytande utvärderas ofta endast i förhållande till organisationen. Men, som kan läsas i inledningen, inflytande på intressenter, målgrupper och samhället som helhet bör övervägas. Detta är speciellt viktigt för statliga, icke-statliga och ideella organisationer inriktade på att betjäna allmänhetens intresse, men också inflytande på intressenter och samhälle som formar den miljö där företag arbetar (dvs bildar denna utvärdering en del av den omvärldsbevakning och kartläggning, de publikundersökningar och marknadsundersökningar som ligger till grund för att informera framtida planering).
6. Orsakssamband är i många fall svårt att påverka, särskilt när flera har bidragit till att påverka (resultat), vilket ofta är fallet. De tre viktigaste reglerna för orsakssamband som skall tillämpas är: (a) den påstådda orsaken måste föregå det påstådda resultatet / effekterna; (B) det måste finnas ett tydligt samband mellan den påstådda orsaken och dess inverkan (t ex måste det finnas bevis för att publiken nås och använt information som du har angett); och (c) andra möjliga orsaker måste uteslutas så långt som möjligt.
7. Vissa inkluderar planering i inputs. I dessa fall måste även research ingå i input och bör föregå planeringen. Men de flesta programutvärderingsmodeller identifierar dock research och planering som viktiga åtgärder som skall vidtas som en del av kommunikationsprogrammet.
8. Mottagning avser vilken information eller meddelanden som tas emot av målgrupper och är annorlunda än exponering. Till exempel kan en målgrupp få ett meddelande eller budskap via media men missa historien och därför inte ta emot informationen. På liknande sätt kan de delta i ett evenemang som en mässa och få ett budskap men inte ta emot information eller meddelanden t ex pga. ouppmärksamhet.
9. Lärande (dvs. kunskapsinhämtning) ingår allt som oftast inte i utvärderingsprocessen. Men i vissa offentliga informationskampanjer och projekt ingår detta utvärderingsmoment. Till exempel, för hälsokampanjer om att främja kalciumrik mat och kosttillskott för att minska benskörhet hos kvinnor fann man att man först måste utbilda kvinnor om osteoporos (vad det är, dess orsaker, etc.). På liknande sätt, för att bekämpa fetma krävs information kring kost- och näringslära. Medan förståelse avser förståelse av det kommunicerade meddelandet hänvisar lärande till bidragandet av djupare eller bredare kunskap som är nödvändig för att uppnå målen.
10. Etnografi är en forskningsmetod baserad på intensiv förstahandsobservation under en längre tidsperiod, ofta kompletterad med intervjuer och andra forskningsmetoder.
11. Nätnografi är en kvalitativ, tolkande undersökningsmetod som hämtar insikter från sociala medier. En slags online-etnografi där online-användare övervakas noga för att identifiera beteendemönster, attityder, etc. via sina kommentarer, klickvägar, och andra digitala mätvärden.
12. Net Promoter Score (NPS) är ett nyckeltal som används i kundundersökningar och bygger på frågan: ”Hur sannolikt är det att du skulle rekommendera det här (varumärket) till en vän eller kollega?” Frågan besvaras sedan på en elvagradig skala från 0- 10. De som ger betyget 0-6 betecknas Detractors, de som anger betyget 7-8 kallas Passives och de som ger betyget 9 eller 10 är så kallade Promoters. (Se https://www.netpromoter.com/know)
13. Ekonometri analyserar ekonomiska och statistiska samband som används för att göra ekonomiska prognoser för att testa hypoteser och identifiera samband mellan olika ekonomiska variabler (se http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
FÖRKORTNINGAR
CPM Cost per Thousand (mille = Latin for thousand)
CRM Customer Relationship Management. Omfattar styrning, organisering och administration av kunder och kundrelationer i ett företag.
KPI Key Performance Indicator (Se http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx)
OTS Opportunities to See. Antal gånger den genomsnittlige individen i målgruppen har möjlighet att komma i kontakt med reklambudskapet under en kampanj i genomsnitt (totalt antal möjliga kontakter med mediet/individer). Kopplat till medieräckvidd.
PEST/PESTLE Ett utvärderingsverktyg som mäter och utvärderar ‘politiska, ‘ekonomiska, ‘sociala’, ‘teknologiska, ‘legala’ och ‘miljömässiga” faktorer. Se: http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return on investment
SMART Modell för att unerlätta målformulering. (Specific, Measurable, Achievable, Relevant and Time bound ) På svenska kan SMART uttydas som: Specifikt, Mätbart, Accepterat, Relevant och Tidsbundet.
SWOT SWOT är en företagsekonomiskt planeringshjälpmedel där man försöker finna styrkor, svagheter, möjligheter och hot (”Strengths”, ”Weaknesses”, ”Opportunities” och ”Threats”) vid en strategisk översyn.
TARPs Target audience ratings points. (Se: http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008)
REFERENSER OCH VIDARE INFORMATION
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available at http://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved from http://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.