EN TAKSONOMI TIL EVALUERINGER
MOD EN STANDARDISERING
Hvad er taksonomi, og hvad gavner det?
Den brede vifte af evalueringsmodeller til PR- og kommunikationsarbejde anvender et vidtspændende begrebsapparat dækkende over ord som input, output, outtake, outflow og outgrowth, og en endnu bredere vifte af tilgange og metoder foreslås for hvert stadie. Området er derfor forvirrende for mange.
Denne side præsenterer en taksonomi til evaluering, som er skræddersyet til strategisk kommunikation. En taksonomi defineret som kortlægning af et område for at producere en kategorisering af definitioner og begreber. Kort fortalt for at vise, hvor forskellige dele skal hen, og hvordan de forholder sig til hinanden. Denne taksonomi identificerer:
- De overordnede stadier af kommunikation (eksempelvis inputs, outputs med videre)
- De vigtigste skridt inden for hvert stadie (eksempelvis distribueringen af information, målgruppernes modtagelse med videre)
- Eksempler på målinger og milepæle, som kan identificeres på hvert stadie
- Den mest almindelige metode i forhold til at generere disse målinger og milepæle
En taksonomi er ikke det samme som en model, da taksonomien forsøger at opliste SAMTLIGE af de vigtigste koncepter, formuleringer, forhold, målinger og metoder inden for et felt, mens en model er en illustration eller visualisering af et specifikt program, kampagne eller aktivitet, som skal udføres. Dog skal en model være baseret på et koncepts legitime metoder samt udføres og anvendes korrekt.
En af forcerne ved en taksonomi er, at den hjælper til at placere konceptets målinger, metoder med videre korrekt – eksempelvis undgår man således at bytte rundt på konceptets eller kampagnens outputs (resultater) og outcomes (effekter). Forfatterne bag den ofte anvendte PR-tekst ”Effective Public Relations” (Cutlip, Center & Broom) har flere gange bemærket i udgaverne fra 1985 til slutningen af 00’erne, at ”En almindelig fejl ved programevalueringer er, at målinger fra et niveau erstattes af målinger fra et andet niveau” (1985: 295, 1994: 44, Broom 2009: 358). Professor Emeritus i Public Relations, Jim Grunig, stemmer i og mener, at ”Mange udøvere kommer til at anvende en måling fra ét analyseniveau for at understrege effekten på et højere stadie af analysen” (2008: 89). Men det er ikke kun inden for PR og strategisk kommunikation, at dette forekommer. Inden for program logic-evalueringsmodeller beskriver den ofte anvendte guide fra University of Wisconsin, at ”Folk kæmper ofte med forskellen på outputs og outcomes” (Taylor-Power & Henert 2008: 19).
En taksonomi er aldrig komplet, men denne taksonomi, som præsenteres her, trækker på en bred vifte af studier for at være så udførlig og omfattende som muligt (læs mere i introduktionen til AMEC’s integrerede evaluerings-framework under fanen Framework).
BEMÆRKNINGER
- De forskellige stadier er ikke udtømmende, og ikke alle er nødvendige til alle kommunikationsprogrammer. De er derimod indikerende for en norm og en typisk tilgang til evalueringen af ekstern kommunikation, så som PR, marketing med videre. Udøverne skal udvælge mindst en relevant måling, milepæl eller metode på hvert stadie.
- Rangeringen af inputs, aktiviteter og outputs med videre skal ikke forstås som en lineær proces. Feedback fra hvert stadie skal bruges til at tilrette og finjustere strategien, hvis det er nødvendigt. Evaluering er en iterativ proces.
- Ikke alle former for evaluering kan vise impact (indflydelse). Især hvis evalueringen foregår forholdsvis kort tid efter kommunikationsindsatsen. Impact kommer ofte først til udtryk flere år efter. Ligeledes er målene (objectives) for nogen former for kommunikation at skabe opmærksomhed (et out-take (reaktion) eller en kortsigtet effekt) eller at opbygge troværdighed (en mellemlang effekt (outcome)). Dog kan en tommelfingerregel være, at en evaluering skal række ud over outputs (resultater) og outtakes (reaktioner). En evaluering skal som minimum identificere og afrapportere i forhold til outcome (effekt) og impact (indflydelse), når det er muligt.
- En vigtig funktion ved denne taksonomi er, at impact inkluderer organisatorisk, stakeholder og samfundsmæssig impact/outcome. Dette ligger i tråd med programevalueringsteorien og program logic-modeller (for eksempel Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry & Newcomer, 2010) og med PR-teorien Exellence Theory, som står for, at evaluering skal udføres på 1) programniveau, 2) funktionsniveau (for eksempel afdeling eller enhed), 3) organisatorisk niveau og 4) samfundsniveau (L. Grunig, J. Grunig & Dozier, 2002: 91-92).
Udviklet af professor Jim Macnamara for AMEC.
| Stadier MAKRONIVEAU | INPUTS2 | AKTIVITETER | RESULTATER | REAKTIONER3 | EFFEKT4 | INDFLYDELSE5 |
|---|---|---|---|---|---|---|
| Kort definition | Hvad du behøver for at forberede din kommunikation | Det, du gør for at planlægge og udføre din kommunikation | Det, du udsender, som modtages af målgruppen | Hvad modtageren gør med – og tager med fra – din kommunikation | Den effekt, som din kommunikation har på modtageren | Den indflydelse (i høj eller nogen grad), som sker på baggrund af din kommunikation |
| HOVEDTRIN MESONIVEAU | – Målgrupper – Budgetter – Ressourcer (ansatte, bureauer, faciliteter, samarbejder) | – Research – Planlægning7 – Produktion (for eksempel design, tekstproduktion, medieindkøb, mediesamarbejder) | – Distribution – Fremvisning – Modtagelse8 – Eksponering | – Opmærksomhed – Forståelse – Interesse/liking – Engagement – Deltagelse – Betragtninger | – Læring/viden9 – Holdningsskifte – Tilfredshed – Tillid – Præferencer – Intention – Fortaler | – Omdømme – Forhold – Overholdelse af handlinger – Organisatoriske forandringer – Offentlige forandringer |
| EKSEMPELMÅLINGER OG MILEPÆLE MIKRONIVEAU |
– SMART-målsætninger – KPI’er | – Baselines og bechmarks – Modtagerbehov – Strategisk plan – Evalueringsplan – For-tests af data – Produceret indhold (for eksempel medieudsendelser, websites) – Medierelationer |
– Mediedækning (volume og reach) – Indtryk – Share of voice – Tone – Budskaber placeret – Indlæg, tweets mv. – Reklame-TARP’s – Online-volumen – CPM – Eventdeltagelse |
– Unikke besøgende – Views – Respons (følgere, likes, delinger, retweets) – Genbesøg/gen-views – Genkald – Positive kommentarer – Positiv feedback på spørgeskemaer – Abonnenter (på nyhedsbrev, RSS) – Forespørgsler |
– Budskabsaccept – Niveauer af tillid – Leads – Registreringer (for eksempel som organdonor) – Brand-præferencer – Tilhængere – Bekræftelser | – Offentlig support – Medlemsskaber – Flere salg – Stigning i donationer – Besparelser – Kundeloyalitet – Forbedring af livskvalitet |
| METODER FOR EVALUERING |
– Intern analyse – Miljøskanning – Risikoanalyse – Feasibility-analyse | – Metadataanalyse – Markeds- og modtagerresearch (spørgeskemaer, fokusgrupper, interviews) – Stakeholder-møder – Casestudier (best practice) – SWOT-analyse – Testpaneler – Peer-views | – Mediemålinger (for eksempel modtagerstatistikker, indtryk, CPM) – Medieovervågning – Indholdsanalyse (kvalitativ og kvantitativ) – SoMe-analyse (kvalitativ og kvantitativ) | – Webstatistikker – SoMe-analyse (kvalitativ) – Feedback (for eksempel kommentarer, breve) – Etnografi10 (observation) – Netnografi11 (online etnografi) – Modtager-surveys – Fokusgrupper – Interviews |
– SoMe-analyse (kvalitativ) – Databasestatistik – Etnografi (observation) – Netnografi – Meningsmålinger – Stakeholder-surveys (tilfredshed, tillid) – Fokusgrupper – Interviews – Net Promoter Score12 |
– Databaseopgørelser – Tracking af salgstal – Tracking af donationer – CRM-data – Data fra medarbejderundersøgelser – Omdømmestudier – Cost Benefit-analyser – ROI (hvis der er finansielle mål) – Econometrics13 – Livskvalitetsanalyser |
SUPPORTING FOOTNOTES FOR THE TAXONOMY OF EVALUATION
- Tillid anses som en mellemlang effekt, fordi det søges for at opnå en mere langsigtet indflydelse, så som at blive valgt ind i en regering, at få kunder til at etablere længerevarende forretninger med videre. Det er altså ikke et mål i sig selv.
- Nogle program logic-modeller omtaler dette første stadie som ”inputs/ressourcer”.
- Avancerede outtakes (reaktioner) overlapper med eller kan være det samme som kortsigtede outcomes (effekter). Dette er grunden til, at de mest anvendte program logic-modeller ikke anvender outtakes (reaktioner) som et stadie. Outtakes og outcomes kan være kognitive og/eller emotionelle og/eller adfærdsbestemte.
- Langsigtede outcomes (effekter) overlapper med og kan til tider anses som overensstemmende med impact (indflydelse).
- Impact (indflydelse) evalueres ofte udelukkende i forhold til organisationen. Som bemærket i introduktionen skal indflydelse i forhold til stakeholdere, befolkning og samfundet generelt tages i betragtning.
- I mange tilfælde er sammenhænge svære at etablere. Især når mange bidrager til indflydelsen (impact), hvilket ofte er tilfældet. De tre tommelfingerregler for årsagssammenhænge kan tilføjes: a) den påståede årsag må gå forud for den påståede virkning/impact (indflydelse), b) der skal være et klart forhold mellem den påståede årsag og virkning (der skal være bevis for at modtagerne tilgik og brugte den information, som du stod for), og c) andre mulige årsager skal udelukkes så hurtigt som muligt.
- Nogen inkluderer planlægningen i inputs, men hvis dette foregår, skal research-delen, som går forud for planlægningen, også inddrages på dette stadie. Dog identificerer de fleste program logic-modeller research-delen og planlægningsfasen som en del af kommunikationsprogrammet. Inputs foregår oftest inden kampagnen eller programmet.
- Modtagelse refererer til hvilken information eller hvilke budskaber, der modtages af målgruppen, hvormed betegnelsen adskiller sig en smule fra begrebet eksponering.
- Læring (tilegnelse af viden) er ikke altid påkrævet. Med undtagelse af nogle offentlige kommunikationskampagner og –projekter, for eksempel sundhedskampagner for at promovere kalciumholdige fødevarer med videre. Ligeledes gælder det, at kampen mod overvægt kræver oplysning om og uddannelse i kost og sundhed. Hermed refererer ”forståelse” til forståelsen for budskabet, mens læring er et udtryk for tilegnelsen af en dybere viden, hvilket er nødvendigt for at opnå målet.
- Etnografi er en research-metode, som er baseret på personlige observationer over en længere periode. Ofte suppleret med interviews og andre research-metoder.
- Netnografi er online etnografi, hvor online-brugere nøje overvåges for at identificere deres adfærdsmønstre gennem klik, kommentarer og andre digitale målinger.
- Net Promoter Score er en 10-skala bundet op på et enkelt spørgsmål: ”Hvor sandsynligt er det, at du ville anbefale (brand) til en ven eller kollega?”. Scoren 0-6 anses som kritisk og utilfreds, 7-8 er tilfreds uden at være imponeret, 9-10 anses som loyale, entusiastiske tilhængere, som er fortalere for brandet. Læs mere: https://www.netpromoter.com/know
- Econometrics er en matematisk-statistisk metode, som kan identificere økonomiske relationer baseret på empiriske data.
- Læs mere: http://www.dummies.com/education/economics/econometrics/econometrics-for-dummies-cheat-sheet/
ABBREVIATIONS
CPM Cost per thousand (mille = Latin for thousand)
CRM Customer relationship management (data commonly held in CRM databases)
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx
OTS Opportunities to see (usually calculated the same as ‘impressions’)
PEST An evaluation framework that examines ‘political’, ‘economic’, ‘social’ and ‘technological’ factors
PESTLE An evaluation framework that examines ‘political’, ‘economic’, ‘social’, ‘technological’, ‘legal’ and ‘environmental’ factors (also used as PESTEL, with ‘environmental arranged before ‘legal) (see http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return on investment
SMART Refers to objectives that are ‘specific’, ‘measureable’, ‘achievable’, ‘relevant’ (e.g., linked to organizational objectives), and ‘time-bound’ (i.e., within a specified period)
SWOT A strategic planning method that examines ‘strengths’, ‘weakness’, ‘opportunities’, ‘threats’
TARPs Target audience ratings points based on the ratings system used in advertising (see http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008)
REFERENCES & FURTHER INFORMATION
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.