ТАКСОНОМІЯ ОЦІНЮВАННЯ
НА ШЛЯХУ ДО СТАНДАРТІВ
ЩО ТАКЕ ТАКСОНОМІЯ І ДЛЯ ЧОГО ВОНА ПОТРІБНА?
Існує велика кількість моделей оцінки PR та комунікацій, що використовують широкий спектр термінів, включаючи вхідні дані (inputs), результати (outputs), реакції аудиторії (outtakes), довгострокові PR-результати (outflows), наслідки (outgrowth), ефект (effects), результати (results) та вплив на бізнес (impact). Для кожного етапу пропонується ще ширший спектр метрик і методів оцінки. Ця сфера є заплутаною для багатьох практиків.
На цій сторінці представлено таксономію оцінювання, адаптовану до стратегічних комунікацій із громадськістю.Вона мапує сфери для створення категоризації понять і термінів – іншими словами, показує до чого належать і як співвідносяться терміни один з одним. Ця таксономія ідентифікує:
- Основні етапи комунікації (наприклад, вхідні дані (inputs) та результати (outputs) тощо);
- Ключові кроки на кожному етапі (наприклад, розповсюдження інформації, її сприйняття аудиторією тощо);
- Приклади показників і проміжних результатів, які можуть бути отримані або визначені в рамках оцінювання на кожному етапі;
- Найпоширеніші методи визначення цих показників і проміжних результатів.
Таксономія – це не те саме, що модель, оскільки таксономія намагається перерахувати ВСІ основні поняття, терміни, метрики, методи і т.д. у певній галузі, тоді як модель – це ілюстрація конкретної програми або активності, яку можна застосувати на практиці. Однак, моделі повинні ґрунтуватися на поняттях і методах, визначених як легітимні в даній сфері, і застосовувати їх належним чином.
Важливою перевагою таксономії є те, що вона ставить концепції, метрики, методи тощо на належне місце. Наприклад, вона дозволяє уникнути плутанини між метриками результатів (output) та наслідків (outcome). Автори широко використовуваного підручника з PR “Ефективні зв’язки з громадськістю” Катліп, Центр і Брум неодноразово зазначали у виданнях з 1985 до кінця 2000-х років, що “поширеною помилкою в оцінюванні програм є підміна показників одного рівня показниками іншого рівня” (1985, с. 295; 1994, с. 44; Broom, 2009, с. 358).
Почесний професор зв’язків з громадськістю Джим Груніг подібним чином стверджує, що багато практиків використовують “метрику, зібрану на одному рівні аналізу, щоб показати наслідки (outcome) на вищому рівні аналізу” (2008, с. 89). PR та стратегічні комунікації не самотні в цьому питанні. У широко використовуваному посібнику Університету Вісконсіна (UWEX) з логічних моделей програм для оцінювання, наприклад, сказано, що “люди часто борються з різницею між результатами (outputs) і наслідками (outcomes)” (Taylor-Power & Henert, 2008, с. 19).
Жодна таксономія не є повною, але представлена тут таксономія спирається на широкий спектр досліджень, щоб бути якомога повнішою (див. “Вступ до Системи Комплексного Оцінювання AMEC” для отримання детальної інформації про походження та основу цієї таксономії та саму систему).
ПРИМІТКИ ЩОДО ВИКОРИСТАННЯ ЦІЄЇ ТАКСОНОМІЇ
- Ключові кроки, показники, етапи та методи не є вичерпними, і не всі з них є обов’язковими для кожної програми. Вони вказують на загальні та типові підходи до оцінювання публічних комунікацій, таких як реклама, зв’язки з громадськістю, маркетингові комунікації тощо. Фахівці-практики повинні обирати відповідні показники, етапи та методи, в ідеалі – мінімум по одному на кожному етапі.
- Впорядкування вхідних даних (input), активностей, результату (output) та ін. не слід трактувати як простий лінійний процес. Слід застосовувати зворотний зв’язок з кожного етапу для коригування, доопрацювання та зміни стратегії і тактики, якщо це необхідно. Оцінювання – це циклічний процес.
- Не кожне оцінювання може показати вплив, особливо коли оцінювання проводиться протягом відносно короткого періоду часу після комунікації. Вплив часто проявляється через кілька років після комунікації. Крім того, метою деяких комунікацій з громадськістю є підвищення обізнаності (реакції аудиторії (outtake) або результат (out
- Важливою особливістю цієї таксономії є те, що вплив включає результати (outcomes) на організацію, зацікавлені сторони та суспільство. Це узгоджується з теорією оцінювання програм та моделями програмної логіки (наприклад, Kellogg Foundation, 1998/2004; Taylor-Power & Henert, 2008; Wholey, 1979; Wholey, Hatry, & Newcomer, 2010), а також з теорією досконалості PR, яка закликає проводити оцінювання на (а) програмному рівні; (2) функціональному рівні (напр., відділу або підрозділу); (3) організаційному рівні; і (4) суспільному рівні (L. Grunig, J. Grunig & Dozier, 2002, с. 91-92).
Розроблено професором Джимом Макнамарою для AMEC.
| ВХІДНІ ДАНІ (INPUT2 | АКТИВНОСТІ | РЕЗУЛЬТАТИ (OUTPUTS) | РЕАКЦІЇ АУДИТОРІЇ (OUT-TAKES)3 | НАСЛІДКИ (OUTCOMES) 4 | ВПЛИВ5 | |
|---|---|---|---|---|---|---|
| Коротке визначення | Що потрібно для підготовки до комунікації | Things you do to plan and produce your communication | Те, що ви поширюєте, що отримують цільові аудиторії | Що аудиторія робить з вашою комунікацією і що вона виносить з неї | Вплив вашої комунікації на аудиторію | Результати, які повністю або частково спричинені вашою комунікацією |
| КЛЮЧОВІ КРОКИ МЕЗО-РІВЕНЬ | • Цілі • Бюджет • Ресурси (наприклад, персонал, установи, партнерства) | • Формувальне дослідження • Планування7 • Виробництво (наприклад, дизайн, написання текстів, купівля медіа, зв’язки зі ЗМІ, партнерство зі ЗМІ тощо) | • Розповсюдження • Охоплення • Сприйняття88 | • Увага • Усвідомлення • Розуміння І• нтерес / уподобання • Залучення • Участь • Розгляд | • Навчання / знання 9 • Зміна ставлення • Задоволення • Довіра • Схильність • Намір • Адвокація | • Репутація • Відносини • Відповідність / відповідні дії • Організаційні зміни • Громадські/соціальні зміни |
| ПРИКЛАДИ МЕТРИК ТА ЕТАПІВ
МІКРО-РІВЕНЬ | • SMART-цілі • Цільові показники / KPI | • Базові показники / орієнтири (наприклад, поточна поінформованість) • Потреби, вподобання аудиторії тощо. • Стратегічний план • План оцінювання | • Обсяг реклами • Медіа охоплення • Враження/OTS • Поширення голосу • Тон/настрій/прихильність • Розміщені повідомлення • Пости, твіти тощо. • Рекламні TARPs • Обсяг е-маркетингу • CPM • Переходи по посиланнях • Відвідування заходів | • Унікальні відвідувачі • Перегляди • Реакція (напр., фоловери, лайки, теги, пости, ретвіти) • Повторні відвідування/перегляди • Пригадування (без допомоги, з допомогою) • Позитивні коментарі • Позитивні відповіді в опитуваннях тощо • Підписники (напр., RSS, інформаційні бюлетені) • Запити | • Прийняття повідомлень • Рівні довіри • Заяви про підтримку або наміри • Потенційні клієнти • Реєстрації ( напр., список донорів органів) • Вподобання бренду • Випробування • Приєднання • Підтвердження ( напр., задоволеність персоналу) | • Громадська підтримка • Досягнення цілей ( напр., донорство крові, членство в скринінгу на рак тощо) • Збільшення продажів • Збільшення пожертв • Економія витрат • Утримання персоналу • Утримання/лояльність клієнтів • Підвищення якості життя / добробуту |
| МЕТОДИ ОЦІНЮВАННЯ | • Внутрішній аналіз • Сканування навколишнього середовища • Аналіз доцільності • Аналіз ризиків | • Аналіз метаданих (напр., минулі дослідження та показники) • Дослідження ринку/аудиторії (напр., опитування, фокус-групи, інтерв’ю) • Консультації із зацікавленими сторонами • Тематичні дослідження (напр., найкращі практики) • SWOT-аналіз (або PEST, PESTLE тощо) • Панелі попереднього тестування • Рецензування / експертна оцінка | • Медіа-метрики (напр., статистика аудиторії, показів, CPM) • Моніторинг ЗМІ • Аналіз медіа-контенту (кількісний) • Аналіз медіа-контенту (якісний) • Аналіз соціальних мереж (кількісний та якісний) • Звіти про активності (напр., події, спонсорство) | • Веб-статистика ( напр., перегляди, завантаження) • Аналіз соціальних мереж ( напр., коментарі) • Зворотній зв’язок ( напр., коментарі, листи) • Етнографія10 (спостереження) • Нетнографія11 (онлайн-етнографія) • Опитування аудиторії ( напр., щодо обізнаності, розуміння, зацікавленості, думки) • Фокус-група (як зазначено вище) • Інтерв’ю (як зазначено вище) | • Аналіз соціальних мереж (кваліфікація) • Статистика баз даних (наприклад, відстеження запитів з визначенням джерел) • Етнографія (спостереження) • Нетнографія (онлайн-етнографія) • Опитування громадської думки • Опитування зацікавлених сторін (наприклад, повторне задоволення, довіра) • Фокус-групи (як зазначено вище) • Інтерв’ю (як зазначено вище) • Індекс підтримки споживача (NPS)12 | • Записи в базах даних ( напр., донорство крові, результати здоров’я, членство і т.д.) • Відстеження продажів • Відстеження пожертв • Дані CRM • Дані опитувань персоналу • Дослідження репутації • Аналіз ефективності витрат/співвідношення вигоди та витрат • Рентабельність інвестицій (якщо є фінансові цілі) • Економетрика13 • Шкала якості життя та показники добробуту |
ДОПОМІЖНІ ВИНОСКИ ДЛЯ ТАКСОНОМІЇ ОЦІНЮВАННЯ
- Довіра вважається проміжним результатом (outcome), оскільки її прагнуть здобути для досягнення довгострокового впливу. Наприклад, обрання до органів влади, продовження співпраці з компанією тощо. Вона не є кінцевою метою сама по собі.
- У деяких програмних логічних моделях цей перший етап називається “Вхідні дані/Ресурси”.
- Довгострокові реакції аудиторії (outtakes) збігаються, або можуть збігатися, з короткостроковими. Ось чому найбільш поширені моделі програмної логіки не використовують проміжні результати (outcomes) як етап. Реакції можуть бути когнітивними та/або афективними (емоційними) та/або конативними (поведінковими).
- Довгострокові наслідки (outcomes) збігаються з впливом, а іноді й ототожнюються з ним.
- Вплив (impact) часто оцінюють лише стосовно організації. Однак, як зазначалося у вступі, слід враховувати вплив на зацікавлені сторони, громадськість і суспільство в цілому. Це важливо для урядових, неурядових та неприбуткових організацій, які зосереджені на служінні суспільним інтересам. Крім того, вплив на зацікавлені сторони та суспільство впливає на середовище, в якому працює бізнес, і формує його (тобто, ця оцінка є частиною екологічного сканування, дослідження аудиторії та дослідження ринку, які допоможуть у майбутньому плануванні).
- У багатьох випадках дуже важко встановити причинно-наслідковий зв’язок, особливо коли вплив (результат) зумовлений кількома факторами, як це часто буває. Необхідно застосовувати три ключові правила причинно-наслідкового зв’язку: (а) передбачуваний ефект/вплив повинен передувати передбачуваній причині; (б) між передбачуваною причиною і наслідком повинен бути чіткий зв’язок (наприклад, повинні бути докази того, що аудиторія отримала доступ до наданої вами інформації і використала її); і (в) інші можливі причини повинні бути виключені настільки, наскільки це можливо.
- Деякі включають планування до вхідних даних. Однак, якщо це відбувається, формативне дослідження (яке має передувати плануванню) також має бути включене до вхідних даних. Однак більшість моделей оцінювання програм визначають формативне дослідження та планування як ключові види активностей, що мають бути здійснені в рамках комунікаційної програми. Як правило, ці дослідження проводяться до початку кампанії/програми.
- Сприйняття стосується того, яку інформацію або повідомлення отримують цільові аудиторії, і дещо відрізняється від впливу. Наприклад, аудиторія може ознайомитися з історією в ЗМІ, до яких вона має доступ, але пропустити її і не отримати інформацію. Аналогічно, вони можуть відвідувати такі заходи, як виставка, і бачити контент, але не отримувати інформацію чи повідомлення (наприклад, через неуважність або вибір контенту, на якому слід зосередитися).
- Навчання (тобто набуття знань) не є обов’язковим у всіх випадках. Однак у деяких кампаніях та проєктах із комунікації з громадськістю воно є необхідним. Наприклад, медичні кампанії, спрямовані на популяризацію багатих на вміст кальцію продуктів харчування та добавок для зниження рівня остеопорозу серед жінок, виявили, що, спершу жінкам треба було надати базові знання про остеопороз (що це таке, його причини тощо). Аналогічно, боротьба з ожирінням вимагає знань про харчування. У той час як розуміння означає осмислення повідомлень, що передаються, навчання означає набуття глибших або ширших знань, необхідних для досягнення поставлених цілей.
- Етнографія – це метод дослідження, заснований на інтенсивному спостереженні з перших рук протягом тривалого періоду, який часто доповнюється інтерв’ю та іншими дослідницькими методами.
- Нетнографія – це онлайн-етнографія, в якій за онлайн-користувачами ретельно спостерігають, щоб визначити їхні моделі поведінки, ставлення тощо через їхні коментарі, сліди кліків та інші цифрові показники.
- Індекс підтримки споживача – це оцінка за 10-бальною шкалою, що базується на одному запитанні: “Наскільки ймовірно, що ви порекомендували б [бренд] своєму другові або колезі?”. Оцінки від 0 до 6 вважаються “недоброзичливцями”/незадоволеними; оцінки 7-8 – задоволеними, але без ентузіазму; і оцінки 9-10 – лояльними ентузіастами, прихильниками та адвокатами. (Див. https://www.netpromoter.com/know)
- Економетрика – це застосування математики та статистичних методів для перевірки гіпотез і виявлення економічних зв’язків між факторами на основі емпіричних даних (див. http://www.dummies.com/how-to/content/econometrics-for-dummies-cheat-sheet.html)
СКОРОЧЕННЯ
CPM Cost per thousand (mille = Latin for thousand) – Вартість за тисячу (mille – латиною означає тисяча)
CRM Customer relationship management (data commonly held in CRM databases) – Управлі́ння відно́синами з кліє́нтами (дані, які зазвичай зберігаються в базах даних CRM)
KPI Key Performance Indicator (see http://www.ap-institute.com/what-is-a-key-performance-indicator.aspx) – Ключові показники ефективності
OTS Opportunities to see (usually calculated the same as ‘impressions’) – Можливість побачити
PEST An evaluation framework that examines ‘political’, ‘economic’, ‘social’ and ‘technological’ factors – PEST-аналіз, Система оцінки, яка перевіряє “політичні” (political), “економічні” (economical), “соціальні” (social) та “технологічні” (technological) фактори
PESTLE An evaluation framework that examines ‘political’, ‘economic’, ‘social’, ‘technological’, ‘legal’ and ‘environmental’ factors (also used as PESTEL, with ‘environmental arranged before ‘legal) (see http://pestleanalysis.com/how-to-do-a-swot-analysis) – PESTLE-аналіз, Система оцінки, яка досліджує “політичні” (political), “економічні” (economical), “соціальні” (social), “технологічні” (technological), “правові” (legal) та “екологічні” (environmental) фактори (також використовується як PESTEL, де “екологічні” фактори стоять перед “правовими”)
ROI Return on investment – Рентабельність інвестицій
SMART Refers to objectives that are ‘specific’, ‘measureable’, ‘achievable’, ‘relevant’ (e.g., linked to organizational objectives), and ‘time-bound’ (i.e., within a specified period) – SMART, відноситься до цілей, які є “конкретними” (specific), “вимірюваними” (measureable), “досяжними” (achievable), “релевантними” (relevant) (наприклад, пов’язаними з цілями організації) та “обмеженими в часі” (time-bound) (тобто, в межах певного періоду)
SWOT A strategic planning method that examines ‘strengths’, ‘weakness’, ‘opportunities’, ‘threats’ – SWOT-аналіз, метод стратегічного планування, який вивчає ” переваги” (strengths), ” слабкості” (opportunities), ” можливості” (opportunitie), ” загрози” (threats)
TARPs Target audience ratings points based on the ratings system used in advertising (see http://www.multimediabuying.com.au/faq) – Цільова аудиторія оцінює бали на основі рейтингової системи, що використовується в рекламі
UWEX University of Wisconsin Extension program (see Taylor-Power & Henert, 2008) – Програма підвищення кваліфікації університету Вісконсіна
ПОСИЛАННЯ ТА ДОДАТКОВА ІНФОРМАЦІЯ
Broom, G. (2009). Cutlip & Center’s effective public relations (10th ed.). Upper Saddle River, NJ: Pearson.
Cutlip, S., Center, A., & Broom, G. (1985). Effective public relations (6th ed.). Englewood Cliffs, NJ: Prentice Hall.
Cutlip, S., Center, A., & Broom, G. (1994). Effective public relations (7th ed). Upper Saddle River, NJ: Prentice Hall.
Grunig, J. (2008). Conceptualizing quantitative research in public relations. In B. van Ruler, A. Tkalac Verĉiĉ, & D. Verĉiĉ (Eds.), Public relations metrics: research and evaluation (pp. 88–119). New York, NY: Routledge.
Grunig, L., Grunig J., & Dozier, D. (2002). Excellent organizations and effective organizations: A study of communication management in three countries. Mahwah, NJ: Lawrence Erlbaum.
Stacks, D., & Bowen, S. (Eds.). (2013). Dictionary of public relations measurement and research. Gainesville FL: Institute for Public Relations. Available athttp://www.instituteforpr.org/topics/dictionary-of-public-relations-measurement-and-research
Taylor-Power, E., & Henert, E. (2008). Developing a logic model: Teaching and training guide. Retrieved fromhttp://www.uwex.edu/ces/pdande/evaluation/pdf/lmguidecomplete.pdf
Wholey, J. (1979). Evaluation: Promise and performance. Washington, DC: Urban Institute Press.
Wholey J., Hatry, H., & Newcomer, K. (Eds.). (2010). Handbook of practical program evaluation (3rd ed.). San Francisco, CA: Jossey-Bass.