A TAXONOMY OF EVALUATION
TOWARDS STANDARDS
QU’EST-CE QU’UNE TAXONOMIE ET À QUOI SERT-ELLE ?
Dans le domaine des relations publiques (RP) et de la communication, une multitude de modèles et de termes sont utilisés, tels que inputs, outputs, outtakes, outflows, outgrowths, effects, results, et impact. De plus, une gamme encore plus large de mesures et de méthodes d’évaluation est proposée pour chaque étape, rendant ce domaine confus pour de nombreux praticiens.
Cette page propose une taxonomie adaptée à la communication publique stratégique. Une taxonomie est une cartographie permettant de catégoriser concepts et termes, afin de montrer comment ils s’agencent et se relient. Cette taxonomie identifie :
- Les grandes étapes de la communication (par exemple les entrées, les retombées, etc.) ;
- Les étapes clés impliquées à chaque niveau (comme la diffusion des informations, la réception par les publics, etc.) ;
- Des exemples de mesures et de jalons pouvant être utilisés dans l’évaluation à chaque étape ;
- Les méthodes les plus couramment utilisées pour générer ces mesures et jalons.
Un avantage important d’une taxonomie est qu’elle place les concepts, mesures, méthodes, etc., au bon endroit – par exemple, elle permet d’éviter de confondre les mesures de retombées avec celles de résultats. Contrairement à un modèle, une taxonomie tente d’énumérer tous les concepts, termes, mesures, et méthodes clés dans un domaine. Un modèle, lui, illustre une activité ou un programme spécifique en pratique. Les modèles doivent s’appuyer sur des concepts et méthodes légitimes identifiés dans le domaine et les appliquer de manière appropriée.
Les auteurs du texte largement utilisé en relations publiques Effective Public Relations, Cutlip, Center et Broom, ont noté à plusieurs reprises, dans les éditions de 1985 aux années 2000, que « l’erreur courante dans l’évaluation des programmes est de substituer des mesures d’un niveau à celles d’un autre » (1985, p. 295 ; 1994, p. 44 ; Broom, 2009, p. 358). De manière similaire, le professeur émérite en relations publiques Jim Grunig souligne que de nombreux praticiens utilisent « une mesure recueillie à un certain niveau d’analyse pour démontrer un résultat à un niveau supérieur » (2008, p. 89). Ce problème ne se limite pas aux relations publiques et à la communication stratégique. Le guide largement utilisé de l’Université du Wisconsin (UWEX) sur les modèles logiques d’évaluation des programmes note, par exemple, que « les gens ont souvent du mal à différencier retombées et résultats » (Taylor-Power & Henert, 2008, p. 19).
Aucune taxonomie n’est jamais complète, mais celle présentée ici s’appuie sur un large éventail d’études pour être aussi exhaustive que possible (voir « Introduction to the AMEC Integrated Framework for Evaluation » pour des détails sur l’origine et les fondements de cette taxonomie et du cadre lui-même).
NOTES POUR L’UTILISATION DE CETTE TAXONOMIE
- Les étapes clés, mesures et jalons, ainsi que les méthodes ne sont pas exhaustifs, et tous ne sont pas nécessaires dans chaque programme. Ils indiquent des approches courantes et typiques pour évaluer la communication publique, comme la publicité, les relations publiques ou la communication marketing. Les praticiens doivent sélectionner les mesures, jalons et méthodes pertinents, en choisissant idéalement au moins un élément à chaque étape.
- L’agencement des entrées, activités et retombées, etc. ne doit pas être interprété comme un processus strictement linéaire. Un retour d’information de chaque étape doit être utilisé pour ajuster, affiner et modifier la stratégie et les tactiques si nécessaire. L’évaluation est un processus itératif.
- Toutes les évaluations ne peuvent pas démontrer un impact, en particulier lorsque l’évaluation est menée dans une période relativement courte après la communication. L’impact se produit souvent plusieurs années après la communication. Par ailleurs, certains objectifs de communication publique visent à créer une prise de conscience (une réaction ou résultat à court terme) ou à bâtir la confiance (un résultat intermédiaire). Cependant, en règle générale, l’évaluation devrait aller au-delà des retombées et des réactions. Elle devrait au minimum identifier et rapporter des résultats, et si possible, des impacts.
- Une caractéristique importante de cette taxonomie est que l’impact inclut des résultats organisationnels, ceux des parties prenantes, ainsi que des résultats sociétaux. Cela s’aligne sur la théorie de l’évaluation des programmes et les modèles logiques (par exemple, Kellogg Foundation, 1998/2004 ; Taylor-Power & Henert, 2008 ; Wholey, 1979 ; Wholey, Hatry, & Newcomer, 2010) ainsi que sur la théorie de l’excellence en RP, qui recommande de mener des évaluations aux niveaux suivants :
(a) niveau programme ;
(b) niveau fonctionnel (par exemple, département ou unité) ;
(c) niveau organisationnel ;
(d) niveau sociétal (L. Grunig, J. Grunig & Dozier, 2002, pp. 91–92).
Développé par le professeur Jim Macnamara pour AMEC.
Developed by Professor Jim Macnamara for AMEC.
| ÉTAPES PRINCIPALES | ENTRÉES2 | ACTIVITÉS | RETOMBÉES | RÉACTIONS | RÉSULTATS | IMPACT ORGANISATIONEL |
|---|---|---|---|---|---|---|
| DÉFINITION | Ce dont vous avez besoin pour préparer votre campagne de communication | Ce que vous faites pour planifier et réaliser votre campagne de communication | Ce qui a été publié et a été reçu par les publics cibles | Les réactions des publics cibles et ce que le public retient de votre communication | Effets de votre communication sur le public | Les résultats qui sont provoqués, exclusivement ou en partie, par votre communication |
| ÉTAPES CLÉS AU NIVEAU MÉSO | • Objectifs • Budget • Ressources (par exemple, personnel, organismes, installations, partenariats) | • Planification • Production (par exemple, conception, rédaction, achat média, relations avec les médias, partenariats médias, etc.) | • Distribution • Exposure | Attention • Sensibilisation • Compréhension • Intérêt / appréciation • Engagement • Participation • Considération | • Apprentissage / connaissance • Changement d’attitude • Satisfaction • Confiance • Préférence • Intention | Réputation • Relations / partenariats • Conformité / actions de conformité • Changement organisationnel • Changement public/social |
| EXAMPLE METRICS & MILESTONES
MICRO-LEVEL | • SMART objectives • Targets / KPIs | • Baselines / benchmarks (e.g., current awareness) • Audience needs, preferences, etc. • Strategic plan • Evaluation plan • Pre-test data (e.g., creative concepts) • Content produced (e.g., media releases, Websites) • Media relations | • Publicity volume • Media reach • Impressions/OTS • Share of voice • Tone/sentiment/ favourability • Messages placed • Posts, tweets, etc. • Advertising TARPs • E-marketing volume • CPM • Clickthroughs • Event attendance | • Unique visitors • Views • Response (e.g., follows, likes, tags, shares, retweets) • Return visits/views • Recall (unaided, aided) • Positive comments • Positive response in surveys, etc. • Subscribers (e.g., RSS, newsletters) • Inquiries | • Message acceptance • Trust levels • Statements of support or intent • Leads • Registrations (e.g., organ donor list) • Brand preference • Trialling • Joining • Reaffirming (e.g., staff satisfaction) | • Public/s support • Meet targets (e.g., blood donations; cancer screening membership, etc.) • Sales increase • Donations increase • Cost savings • Staff retention • Customer retention/ loyalty • Quality of life / wellbeing increase |
| METHODS OF EVALUATION | • Internal analysis • Environmental scanning • Feasibility analysis • Risk analysis | • Metadata analysis (e.g., past research and metrics) • Market/audience research (e.g., surveys, focus groups, interviews) • Stakeholder consultation • Case studies (e.g., best practice) • SWOT analysis (or PEST, • PESTLE, etc.) • Pre-testing panels • Peer review / expert review | • Media metrics (e.g., audience statistics, impressions, CPM) • Media monitoring • Media content analysis (quant) • Media content analysis (qual) • Social media analysis (quant and qual) • Activity reports (e.g., events, sponsorships) | • Web statistics (e.g., views, downloads) • Social media analysis (qual – e.g.., comments) • Feedback (e.g., comments, letters) • Ethnography10 (observation) • Netnography11 (online ethnography) • Audience surveys (e.g., re awareness, understanding, interest, opinion) • Focus group (as above) • Interviews (as above) | • Social media analysis (qual) • Database statistics (e.g., inquiry tracking identifying sources) • Ethnography (observation) • Netnography (online ethnography) • Opinion polls • Stakeholder surveys (e.g., re satisfaction, trust) • Focus groups (as above) • Interviews (as above) • Net Promoter Score (NPS)12 | • Database records (e.g., blood donations, health outcomes, membership, etc.) • Sales tracking • Donation tracking • CRM data • Staff survey data • Reputation studies • Cost Benefit Analysis/ Benefit Cost Ratio • ROI (if there are financial objectives) • Econometrics13 • Quality of life scales & wellbeing measures |
Notes explicatives pour la taxonomie de l’évaluation
- La confiance est considérée comme un résultat intermédiaire car elle est recherchée pour atteindre un impact à plus long terme, tel qu’être élu à un poste gouvernemental ou fidéliser les clients d’une entreprise. Elle n’est pas une fin en soi.
- Certains modèles logiques de programme qualifient cette première étape de Inputs/Resources (entrées/ressources).
- Les retombées avancées (outtakes) chevauchent ou peuvent être similaires aux résultats à court terme (short-term outcomes). C’est pourquoi les modèles logiques les plus couramment utilisés n’incluent pas les outtakes comme une étape distincte. Ces outtakes et outcomes peuvent être cognitifs, affectifs (émotionnels) et/ou conatifs (comportementaux).
- Les résultats à long terme chevauchent parfois, ou sont considérés comme équivalents à l’impact.
- L’impact est souvent évalué uniquement par rapport à l’organisation. Cependant, comme noté dans l’introduction, l’impact sur les parties prenantes, les publics et la société dans son ensemble doit également être pris en compte. Cela est essentiel pour les gouvernements, les ONG et les organisations à but non lucratif qui servent l’intérêt public. De plus, l’impact sur les parties prenantes et la société façonne l’environnement dans lequel opèrent les entreprises et informe les futures stratégies.
- La causalité est très difficile à établir, en particulier lorsqu’il existe de multiples facteurs contribuant à l’impact (résultats). Les trois règles clés de la causalité doivent être appliquées :
(a) La cause alléguée doit précéder l’effet/l’impact allégué.
(b) Il doit exister une relation claire entre la cause et l’effet (par exemple, des preuves que le public a accédé et utilisé les informations fournies).
(c) Les autres causes possibles doivent être écartées autant que possible. - Certaines méthodologies incluent la planification dans les inputs. Si c’est le cas, la recherche formative (qui devrait précéder la planification) doit également être incluse. La plupart des modèles d’évaluation identifient toutefois la recherche formative et la planification comme des activités clés du programme de communication. Les inputs sont généralement pré-campagne.
- La réception fait référence aux informations ou messages reçus par les publics cibles, et se distingue de l’exposition. Par exemple, un public peut être exposé à un article dans un média, mais passer à côté du message.
- L’apprentissage (acquisition de connaissances) n’est pas toujours nécessaire, mais il est requis dans certaines campagnes de communication publique. Par exemple, les campagnes de santé pour promouvoir les aliments riches en calcium afin de réduire l’ostéoporose nécessitent d’abord une sensibilisation au problème.
- L’ethnographie est une méthode de recherche basée sur une observation de terrain intensive et prolongée, souvent complétée par des entretiens.
- La netnographie est une ethnographie en ligne qui analyse les comportements, attitudes et interactions des utilisateurs à travers leurs commentaires et autres données numériques.
- Le score Net Promoter (Net Promoter Score) évalue la probabilité qu’un utilisateur recommande une marque à un ami. Les scores vont de 0 à 10 :
0–6 : Détracteurs
7–8 : Passifs
9–10 : Promoteurs
- L’économétrie applique les mathématiques et les statistiques pour tester des hypothèses et identifier des relations économiques basées sur des données empiriques.
Abréviations
CPM : Coût pour mille
KPI : Indicateur clé de performance
OTS : Opportunités de voir (souvent équivalent aux impressions)
PEST/PESTLE : Méthodes d’analyse stratégique prenant en compte des facteurs politiques, économiques, sociaux, technologiques (et légaux/environnementaux).
ROI : Retour sur investissement
SMART : Objectifs spécifiques, mesurables, atteignables, pertinents et temporellement définis
SWOT : Analyse des forces, faiblesses, opportunités, menaces
RÉFÉRENCES & RESSOURCES
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.