Taksonomi for evaluering
På vei mot en standard
Hva er en taksonomi og hva brukes den til?
Mange evalueringsmodeller bruker begreper som f.eks. klargjøring, eksponering, respons, målgruppeeffekt og virksomhetseffekt. I tillegg er det foreslått flere måleparametere og evalueringsmetoder for hvert steg. Dette kan virke forvirrende.
Denne siden presenterer en taksonomi som er skreddersydd for evaluering av kommunikasjon – som kategoriserer konsepter og termer. Kort sagt, den viser hvor ulike målinger hører hjemme og hvordan de er knyttet sammen. Denne inkluderer:
- Hovedfasene for kommunikasjon (som klargjøring, kanalresultat osv.)
- Stegene i hver fase (som distribusjon, mottak hos målgruppen osv.)
- Eksempler på måleparametere og milepæler for hver fase
- De mest vanlige måtene å generere måleparametere og milepæler
En taksonomi er ikke det samme som en modell – men forsøker å liste ALLE hovedkonsepter, begreper, parametere, metoder osv. En modell er en illustrasjon av et spesifikt program eller aktivitet som skal bli gjennomført i praksis. Allikevel må en modell være basert på konsepter og metoder som er legitime i bransjen, og må gjennomføres riktig.
En viktig fordel med en taksonomi er at den setter konsepter, parametere, metoder osv. på riktig plass. Dermed unngår man f.eks. å forveksle måleparametere for synlighet og effekt. Forfatterne av den anerkjente boken «Effective Public Relations, Cutlip, Center and Broom» har fra 1985 til slutten av 2000-tallet gjentatt at «en vanlig evalueringsfeil er å forveksle måleparametere mellom de ulike fasene» (1985, s. 295; 1994, s. 44; Broom, 2009, s. 358). Professor i Public Relations, Jim Grunig, sa tilsvarende at mange kommunikatører plasserer «måleparametere som er innhentet i en tidlig fase i effektfaser på et høyere analysenivå» (2008, s. 89). Strategisk kommunikasjon er ikke alene om å gjøre dette. Den mye brukte veiledningen til University of Wisconsin for programmering av logiske evalueringsmodeller sier for eksempel at «folk strever med forskjellen mellom utsendelse og effekt» (Taylor-Power & Henert, 2008, s. 19).
Ingen taksonomi blir noen sinne fullstendig, men den som presenteres her bygger på en rekke forskningsstudier og forsøker å være så komplett som mulig.
Merknader til denne taksonomien
- Delene, parametere, milepæler og metoder er ikke fullstendige og ikke alle er påkrevd i alle situasjoner. De indikerer typiske tilnærminger for evaluering f.eks. annonsering, PR og markedsføring. Kommunikatører bør velge relevante parametere, milepæler og metoder, ideelt sett minst en for hver fase.
- Oppsettet med klargjøring, aktiviteter, utsendelse osv. bør ikke tolkes som en linjer prosess. Tilbakemeldinger fra hver fase bør benyttes til å justere, perfeksjonere, og endre strategi eller taktikk om nødvendig. Evaluering er en gjentakende prosess.
- Ikke all evaluering kan bevise virksomhetseffekt, spesielt når evaluering er gjort innen relativt kort tid etter kommunikasjonsaktivitetene. Virksomhetseffekt kan i noen tilfeller oppnås flere år etter at kommunikasjonsaktivitetene ble gjennomført. Dessuten kan kommunikasjonsmålet være å oppnå kjennskap (en respons eller kortsiktig effekt) eller bygge tillit (en effekt som tar noe tid). En generell regel er at evaluering bør rapportere mer enn bare utsendelse og respons fra målgruppen. Den må også identifisere og rapportere resultat på målgruppen og når mulig effekt på virksomhetens mål.
- En viktig egenskap ved denne taksonomien er at effekten måles mot virksomheten, målgruppen og samfunnet. Dette stemmer overens med teorier for programevaluering og logikk-modeller. (f.eks., Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010) og fra Excellence Theory of PR, som mener evaluering bør gjennomføres på (1) programnivå, (2) funksjonsnivå (eks avdeling), (3) organisasjonsnivå, og (4) samfunnsnivå (L. Grunig, J. Grunig & Dozier, 2002, pp. 91–92).
Utviklet av Professor Jim Macnamara for AMEC.
| STAGES MACRO-LEVEL | KLARGJØRING2 | AKTIVITETER | KANALRESULTAT | RESPONS3 | MÅLGRUPPEEFFEKT4 | VIRKSOMHETSEFFEKT5 |
|---|---|---|---|---|---|---|
| Definisjon | Hva du trenger til forberedelsene. Hva du må ha klargjort, for eksempel mål, budsjett, ressurser osv. | Aktiviteter du må gjøre for å planlegge og gjennomføre kommunikasjonstiltaket, for eksempel klargjøre status i dag, forundersøkelser, planer osv. | Hva du sender ut eller kommuniserer med målgruppen (f.eks. informasjon og materiale). F.eks. pressemeldinger, artikler i media og på nett, publisering i sosiale medier osv. | Kortsiktig. Hvilken informasjon har nådd målgruppen og hva husker de eller gjør de med denne. Har de mottatt budskapet? F.eks. registrerer du at målgruppen i økt grad diskuterer produktet eller det relevante temaet på Facebook-siden deres? | Langsiktig. Hvilken effekt har du hatt på målgruppen. Konkret er dette endringer hos målgruppen, f.eks. endring i kunnskap, holdning eller atferd. | Langsiktig. Den direkte eller indirekte resultatpåvirkningen kommunikasjonsarbeidet har hatt for organisasjonen. F.eks. har dere klart å øke salget med 20 prosent. |
| Trinn Mellom-nivå | • Mål og delmål • Budsjett • Ressurser (og mangel på) – folk, fasiliteter, partnerskap osv. | • Formative undersøkelser – målgruppens følelser, adferd, behov, verdier, kunnskap • Strategisk planlegging 7 • Produksjon (design, skriving, media-kjøp, medierelasjoner osv.) | • Distribusjon • Eksponering • Mottak 8 | • Oppmerksomhet • Kjennskap • Forståelse • Interesse/like • Engasjement • Vurdering | • Læring og kunnskap • Holdningsendring • Fornøydhet • Tillit • Preferanser • Intensjoner • Anbefaling • Atferdsendring | • Omdømme • Relasjoner • Regeletterlevelse • Organisasjonsendring • Målgruppe- og samfunnsendring |
| Måling og milepæler Mikro-nivå | • SMARTe delmål • KPI / Delmål | • Nullpunktsanalyse • AB-testing • Målgruppens behov, preferanser osv. • For-testdata (eks. på kreative konsepter) • Evalueringsplan • Budskapsplattform • Innhold (pressemeldinger, nettsider osv.) • Medierelasjoner | • Volum: poster, tweets og e-markedsføring • Besøkende på events • Antall medieoppslag • Rekkevidde media, nett og SoMe • Opplag • Antall mulige eksponeringer (OTC: Opportunity To See) • CPM/CPT (kost per tusen) • Stikkorddominans i artikkel • TARP (target audience rating point) • Klikk • Oppmerksomhetsandel (Share of voice) • Tone, følelse, foretrekking, vekting • Plasserte budskap • AB-testing • Lesbarhet | • Unike besøk • Visninger (antall, lengde, lesemønster) • Reaksjon (følgere, tagger, delinger, retweets) • Sentiment-respons i SoMe (glad/sint) • Kanalrangering • Brukt tid på • Husking (med og uten hjelp) • Nett og video • Returbesøk (til f.eks. nettsiden) • Positive kommentarer • Positiv respons i spørreskjemaer • Abonnenter (f.eks. nyhetsbrev, RSS) • Kostnad per engasjement Innholdsrangering (best/dårligst) • Bevegelsesmønster på nett | • Budskapsaksept • Tillitsnivå • Støtteerklæringer eller intensjoner • Forespørsler • Overlevering – prospekt • Registreringer (f.eks. organdonorer) • Merkevarepreferansen • Antall som tester produktet • Deltakere • Anbefalinger | • Støtte fra interessenter og målgrupper • Oppnår mål • Salgsøkning • Donasjonsøkning • Kostnadsbesparelse • Beholder ansatte • Kundelojalitet • Livskvalitet/velferd |
| Evalueringsmetode | • Internanalyse • Omverdensanalyse • Gjennomførbarhetsanalyse • Risikoanalyse | • Analyse av metadata (tidligere forskning og målinger) • Marked- og målgruppeundersøkelser (spørreskjemaer, fokusgrupper, intervjuer) • Samtaler med interessent- og målgrupper • For-testingspanel • Case-studier og beste praksis • SWOT, Risiko, PEST el PESTERL etc) | • Aktivitetsrapport (events, sponsorater osv.) • Mediemålinger • Medieovervåkning (kvantitativt) • SoMe-målinger (kvantitativt) • Medieanalyser (kvalitativt) | • Nettstatistikk • SoMe-analyser • Overvåking av tilbakemeldinger (kommentarer, e-post) • Entografi (sosialantropologi – observering) • Netnografi (online) • Målgruppeundersøkelser (kunnskap, forståelse, interesse, holdning) • Fokusgrupper • Intervjuer | • SoMe-analyser (kvalitativ) • Database-statistikk (CRM, identifisere kilder) • Etnografi (sosialantropologi – observering) • Netnografi (online) • Holdningsundersøkelser • Målgruppeundersøkelser • Fokusgrupper • Intervjuer • Net Promoter Score (NPS) – «Ville du anbefale vårt selskap til en kollega eller venn?» • Tellinger – atferdsendring (antall passasjerer vs. biler) | • Databasestatistikk (antall bloddonasjoner, helseresultat, nye medlemskap) • Salgsstatistikk • Doneringsoversikt • CRM-data • Medarbeiderundersøkelse • Kost-nytteundersøkelse • Avkastning (ROI) • Econometrics • Skalaer for livskvalitet • Omdømmestudier • Evaluering av relasjoner |
SUPPORTING FOOTNOTES FOR THE TAXONOMY OF EVALUATION
- Trust is considered an intermediate outcome because it is sought in order to achieve a longer-term impact, such as being elected to government, customers continuing to do business with a company, etc. It is not an end goal in itself.
- Some program logic models refer to this first stage as Inputs/Resources.
- Advanced outtakes overlap with, or can be the same as, short-term outcomes. This is why the most commonly used program logic models do not use outtakes as a stage. Outtakes and outcomes can be cognitive and/or affective (emotional) and/or conative (behavioural).
- Long-term outcomes overlap with and are sometimes considered to be the same as impact.
- Impact is often evaluated only in relation to the organization. However, as noted in the introduction, impact on stakeholders, publics, and society as a whole should be considered. This is essential for government, non-government, and non-profit organizations focussed on serving the public interest. But also, impact on stakeholders and society affects and shapes the environment in which businesses operates (i.e., this evaluation forms part of environmental scanning, audience research, and market research that will inform future planning).
- Causation is very difficult to establish in many cases, particularly when multiple influences contribute to impact (results), as is often the case. The three key rules of causation must be applied: (a) the alleged cause must precede the alleged effect/impact; (b) there must be a clear relationship between the alleged cause and effect (e.g., there must be evidence that the audience accessed and used information you provided); and (c) other possible causes must be ruled out as far as possible.
- Some include planning in inputs. However, if this occurs, formative research (which should precede planning) also needs to be included in inputs. However, most program evaluation models identify formative research and planning as key activities to be undertaken as part of the communication program. Inputs are generally pre-campaign/program.
- Reception refers to what information or messages are received by target audiences and is slightly different to exposure. For example, an audience might be exposed to a story in media that they access, but skip over the story and not receive the information. Similarly, they may attend an event such as a trade show and be exposed to content, but not receive information or messages (e.g., through inattention or selection of content to focus on).
- Learning (i.e., acquisition of knowledge) is not required in all cases. However, in some public communication campaigns and projects it is. For example, health campaigns to promote calcium-rich food and supplements to reduce osteoporosis among women found that, first, women had to be ‘educated’ about osteoporosis (what it is , its causes, etc.). Similary, combatting obesity requires dietary education. Whereas understanding refers to comprehension of messages communicated, learning refers to the acquisition of deeper or broader knowledge that is necessary to achieve the objectives.
- Ethnography is a research method based on intensive first-hand observation over an extended period, often supplemented by interviews and other research method.
- Netnography is online ethnography in which online users are closely monitored to identify their patterns of behaviour, attitudes, etc. via their comments, click trails, and other digital metrics.
- Net promoter score is a score out of 10 based to a single question: ‘How likely is it that you would recommend [brand] to a friend or colleague?’ Scores of 0–6 are considered ‘detractors’/dissatisfied; scores of 7–8 are satisfied but unenthusiastic; and scores of 9–10 are those considered loyal enthusiasts, supporters, and advocates. (Seehttps://www.netpromoter.com/know)
- Econometrics is the application of mathematics and statistical methods to test hypotheses and identify the economic relations between factors based on empirical data (seehttp://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
ABBREVIATIONS
CPM Cost per thousand (mille = Latin for thousand)
CRM Customer relationship management (data commonly held in CRM databases)
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx
OTS Opportunities to see (usually calculated the same as ‘impressions’)
PEST An evaluation framework that examines ‘political’, ‘economic’, ‘social’ and ‘technological’ factors
PESTLE An evaluation framework that examines ‘political’, ‘economic’, ‘social’, ‘technological’, ‘legal’ and ‘environmental’ factors (also used as PESTEL, with ‘environmental arranged before ‘legal) (see http://pestleanalysis.com/how-to-do-a-swot-analysis)
ROI Return on investment
SMART Refers to objectives that are ‘specific’, ‘measureable’, ‘achievable’, ‘relevant’ (e.g., linked to organizational objectives), and ‘time-bound’ (i.e., within a specified period)
SWOT A strategic planning method that examines ‘strengths’, ‘weakness’, ‘opportunities’, ‘threats’
TARPs Target audience ratings points based on the ratings system used in advertising (see http://www.multimediabuying.com.au/faq)
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008)
REFERENCES & FURTHER INFORMATION
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.