Операционализация: наука создания показателей или Азы психологии для специалистов в обработке данных

26.04.2021

Пришло время затронуть психологическую тему, которая представит интерес у всех специалистов в области обработки данных. Как измерить счастье пользователя? Какие ответы приходят вам в голову? Дайте-ка угадаю. По ответам, полученным при анкетировании? По отсутствию жалоб? По количеству откликов? По склонности к длительному пребыванию на сайте? Внимание! Правильный ответ… Никак.

Как выразился профессор Даннинг-Крюгер, если вы думаете, что ответы на вопросы о счастье закроют тему, мучившую философов тысячелетиями, крепко подумайте ещё раз. А как насчёт успеха? Как его измерить? Никак.

Как измерить уровень злости? Никак. (Чувствуете единство ответов? Да-да, это я специально пытаюсь возбудить в вас чувство злости. Обратите эту злость в размышления над сходством описываемых мною понятий.) Как измерить кредитоспособность? Никак. Как измерить уровень любви? Никак. Как измерить качество маркетинговой кампании? Никак!

Что такое счастье?

Что общего у всех этих понятий? Все они крайне расплывчаты.

Когда вы слышите слово “счастье“, в голове у вас возникает какой-то смутный образ, верно? Но то, что представляете вы, наверняка не будет совпадать с тем, что приходит на ум человеку рядом с вами. Возможно, в другое время и в другом настроении у вас в голове возникнет совсем другой образ.

Есть соблазн оспорить нейробиологическую точку зрения? “Погодите, мы же можем залезть в мозг и узнать, счастливы ли они…” Знаем — плавали. Перед поступлением в магистратуру по специальности “Статистика” я училась в аспирантуре при кафедре нейробиологии, изучала нейроэкономику (да, есть такой предмет) — всякие первичные и вторичные сигналы, возникающие в человеческом мозге. Кстати, именно на эту тему я писала диссертацию.

Вот вам доказательство, что у автора есть мозг

Мне повезло — я поступила на работу в очень хорошо оборудованную лабораторию:

Сканеры фМРТ, ф означает функциональную магнитно-резонансную томографию (МРТ). Полученные изображения не статичны, они представляют собой карту изменений насыщенности крови кислородом, отображаемую с задержкой в несколько секунд. Такая карта используется для локализации мозговой активности во время экспериментов.
ЭЭГ-аппараты. ЭЭГ — сокращённое название термина “электроэнцефалография”, то есть метод, использующий сети электродов для записи электрической активности кожи головы. Этот аппарат дополняет функциональность МРТ, отвечая не только на вопрос где?, но и на вопрос когда? Метод ЭЭГ предоставляет гораздо более точные временные данные — миллисекундного уровня — о реакции мозга на различные стимулы.
Трекеры глаз. Комплекты специализированных устройств, состоящие из высококлассной камеры и такого же высококлассного программного обеспечения для составления карты мест, на которые участники исследования бросают взгляды. Такие трекеры позволяют исследователям изучать аспекты зрительного внимания человека.
ТМС–аппараты. В приборе транскраниальной магнитной стимуляции (ТМС) используются мощные электромагниты, вызывающие электрическую активность в мозге и провоцирующие поведение. Да, контролировать разум можно (и эти методы даже получили одобрение Американской комиссии в сфере надзора за лекарственными препаратами и продуктами питания (FDA) для лечения депрессии), но вы особо не волнуйтесь: подкрасться к вам с прибором размером с холодильник на колёсах, который даже не будет работать, стоит вам хоть чуть-чуть сдвинуться с места, просто нереально.

Но, даже учитывая, какой замечательный набор инструментов был в моём распоряжении, измерить счастье пользователя я не могла. Не могла и, честно говоря, не пыталась. К счастью, мне, как и любому другому нейробиологу на планете, это с самого начала было хорошо известно.

Но почему? Всю первую неделю нашего обучения на курсе нейробиологии/психологии в аспирантуре преподаватели “вбивали” в нас важную концепцию. Если мы не проникались идеей, в ход шла палка (шутка!). Пришло время и вам узнать, что это за идея. Итак, встречайте: операционализация!

Вот слово, о котором с уверенностью можно сказать, что один чёрт знает, что оно может означать.

Искусство и наука создания метрик

Само слово операционализация для разных групп людей может означать совершенно разные понятия. Когда я произношу это слово, я имею в виду следующее:

Операционализация — это создание поддающихся измерению приближённых значений для тщательного изучения нечётких понятий.

Я придаю этому слову тот же смысл, что и Wikipedia: “При проектировании исследований под операционализацией понимается процесс определения меры явления, не поддающегося непосредственному измерению, хотя на его существование указывают другие явления. Это процесс определения нечёткого понятия, в ходе которого теоретическое понятие становится чётко различимым и поддающимся измерению, а также процесс понимания явления в процессе эмпирических наблюдений”.

Именно операционализация является причиной, по которой психология может утверждать, что она — точная наука. Без операционализации мы все топтались бы на месте. Но как измерить то, что нельзя даже точно определить?

Никак.

Зыбкость человеческих слов

Некоторые объекты определяются способом их измерения. С фиксированным смыслом всё элементарно — это очень простые для измерений температура, масса, количество калорий, расстояние, дни недели и пр. Когда речь заходит об измерениях, психологи сильно завидуют физикам, для которых что-то измерить — пара пустяков.

Вообще говоря, какой же это изнурительный труд — продираться сквозь туманные фразы человеческого языка, пытаясь получить научные данные от объекта, который — и как у него только это получается! — делает всё, чтобы его поняли не так!

Проблема в том, что большинство человеческих коммуникаций изначально содержат в себе неопределённость. Наиболее точной коммуникационной формой является математика (язык, на котором говорят очень мало людей и все — сугубо аккуратно) и, как бы сильно вы ни любили математику, я надеюсь, вы согласитесь, что она слишком громоздка для ведения повседневных разговоров.

Быстрее (но не обязательно точнее) понять мысль можно, если не запрещать режим двусмысленности и позволить слушателям интерпретировать наши слова, как им представляется правильно.

Человеческий язык может быть настолько неточным, что, во-первых, может быть понят с ошибками с самого начала и, во-вторых, он может во всех последующих передачах накапливать и накапливать ошибки.

Каждый раз, когда мы говорим о чём-то абстрактном, мы используем либо минимальное количество слов (какие-то важные нюансы из речи могут просто исчезать), либо очень большое количество слов (что чревато разветвлением смыслов — экстраполяционной интерпретацией). Как это ни парадоксально, такие слова, проникающие в ваш мозг, могут означать вовсе не то, что я имела в виду, когда выпускала их из своего мозга.

Так как я не знаю программных настроек вашего мозга, через которые вы фильтруете мои слова, представляется совершенно невероятным, как же вам всё-таки удаётся понимать меня хотя бы приблизительно. И всё же я почти всегда уверена, что большинство моих слушателей в основном понимают меня правильно. Вообще, люди — это удивительные существа.

Округление реальности

Словесная передача информации помогает передавать больше информации за единицу времени, однако любые туманные, размытые выражения, красивости и поэтические абстракции снижают надёжность передачи информации. Но ситуация не так плоха, как может показаться, особенно если предполагать, что слушатели, услышав ваши слова, кое-что додумают сами.Но, если пространство для интерпретаций отлично работает для текстов песен и рекламных буклетов, такой подход абсолютно непригоден, например, для математических доказательств или научных исследований. Если ваша цель состоит в том, чтобы сообщить слушателям точные инструкции, которым они должны следовать, не отклоняясь ни на шаг, иначе ничего не получится, — например, сообщить коллеге, что именно вы делали, чтобы создать некий предмет, чтобы он мог повторить ваши действия, “поэтический” подход будет малопродуктивен. Вот почему психология без операционализации — никакая не наука… и вот почему, если на глазок определить коммерческие показатели, проблем у вас будет гораздо больше, чем если бы вы с самого начала попытались их измерить.

Ставя метки на реальность, мы придаём реальности законченность, округляем её.

Одной из самых требовательных областей, не оставляющей никаких лазеек для интерпретации, является машинное обучение. Люди привыкли разговаривать с другими людьми при помощи недомолвок. Мы уже привыкли к такому способу общения — ведь мы знаем, что слушатели сами смогут додумать смысл, который вкладывается в слова, даже если мы сами зачастую не вполне понимаем, что пытаемся сказать. Машины так не делают. Они делают исключительно то, что им приказано. Если приказать им поделить “одно” на “другое”, они именно так и сделают. Они не станут говорить: “Послушайте, босс, я думаю, надо “поделить не “это” на “то”, а “это” на “вон то”…”

Человеческий язык гораздо более запутан, чем язык цыплят.

Кроме того, категории, к которым мы относим полученные данные, в любом случае строятся на той же неопредёленности, и метки, которые мы ставим на реальность, многое говорят о наших склонностях. К сожалению, системы машинного обучения могут принимать наши слова за чистую монету и брать в работу заведомо неверно интерпретированные слова и даже усиливать их смысл, если мы выразимся недостаточно аккуратно. Чтобы избежать некоторых катастрофических — и весьма распространённых — проблем при работе с системами ML/AI-обработки данных, очень важно развивать умение говорить именно то, что имеется в виду, и правильно понимать то, что было сказано.

При работе с системами ML/AI/обработки данных очень важно развивать умение говорить именно то, что имеется в виду, и правильно понимать то, что было сказано.

Психологический практикум

Психологической науке понадобилось больше века, чтобы понять опасность измерения того, что не было определено вначале надлежащим образом, зато теперь у нас есть чёткое понимание, которым мы готовы поделиться с лидерами бизнеса и учёными, занимающимися обработкой данных. Хотите узнать наши рекомендации по операционализации? Ретвитните эту статью!

Лучший совет из психологии по созданию метрик

Сначала определите метрику и лишь потом давайте ей название.

Операционализация очень часто предполагает ломку стандартного образа мыслей: не нужно увлекаться красивыми и эффектными словами и выражениями и вставлять их где нужно и не нужно. Просто задумайтесь на пару минут, какое именно количество какого объекта реального мира вы хотите измерить. Даже если вас вдохновляет какой-нибудь поэтический образ, подумайте, почему вас так привлёк именно этот образ.

Так как насчёт термина “счастье” в применении к вашей бизнес-проблеме? Ответьте сами себе на следующие вопросы. Почему возникла необходимость в этом термине? С каким именно реальным поведением связан этот термин? На что похоже такое поведение? Представляете ли вы себе улыбающегося пользователя, весело проводящего время на вашем сайте? Возможно, вы так себе это и представляете.

А теперь забудьте об исходном слове. Назовите его не “счастье”, а, например, Х. И начинайте делать то, что делают, к примеру, математики: “Пусть Х = склонность пользователя проводить время на сайте”.

Обдумайте хорошенько, что может означать это количество. На самом ли деле это то количество, которое вы хотите измерить и на основе которого будете принимать решения? Вполне возможно, что это именно то количество.

Отлично. Вот теперь ему можно дать название. Дав имя этому количеству, вы экономите время, описывая его на бумаге или рассказывая о нём другим людям. Сначала вы можете назвать это количество “X.” Но потом вы можете дать ему любое имя: “счастье”, или какое-нибудь “фигастье”, или даже “X Æ A-12”.

Но вот о чём не нужно забывать. Назвать количество можно как угодно, если оно не будет нести оскорбительного смысла (этикет надо соблюдать, опять же здравый смысл!), и вы (а вместе с вами и аудитория) должны помнить, что название — это отправная точка для определения специфического понятия: “склонности пользователя проводить время на сайте”. Название не должно навевать мысли о платоническом “счастье” Платона, поэтому назвать такое количество “Платон” будет не очень хорошей идеей.

Если помнить, что название — это отправная точка, вы с меньшей вероятностью скажете какую-нибудь глупость, а именно:

Начнёте спорить с коллегами (всех полов) о том, действительно ли данная метрика является мерой счастья. Нет, не является. Этот спор так же бессмыслен, как споры о том, могу ли я назвать свою переменную X, если имя X уже занято. Если мы оба вначале определим, что каждый имеет в виду, проблем быть не должно.
Неверно интерпретировать повышение количества “счастья” как то, что с вашим сайтом происходит что-то хорошее. Возможно, пользователь уже битый час пытается что-то найти на вашей странице и, чертыхаясь, так и не может найти. Вряд ли это состояние можно назвать счастьем. Если помнить, что именно измеряется на самом деле и что название метрики — лишь условность, это может уберечь вас от неверных шагов.
Предполагать, что чьи-то чужие исследования о “счастье” применимы к вашему собственному сценарию. Скорее всего, в других исследованиях такая метрика определяется совершенно иначе. Не забывайте обращать внимание на психологические аспекты. Иногда в чатах можно слышать разговоры такого рода: “Приятно с Вами познакомиться! Чем занимаетесь?” — “Памятью”. — “Ого! Я тоже. А какое у Вас направление? — “Визуопространственное развитие рабочей памяти у людей, а у Вас?” Обратите внимание, что слово “память” может означать что угодно, в то время как термин “VSWM” — это чётко определённая техническая концепция (тот, кто будет давать названия метрикам, должен изучить этот термин и записать: “Пусть VSWM = _____). Если другой собеседник не имеет отношения к VSWM, ситуация станет гораздо яснее по крайней мере для второго собеседника — он уже не будет думать, что исследования нового друга относятся к его собственной работе.

Тщательно относиться к языку и учитывать многозначность речи важно не только в операционализации или статическом анализе, но и когда вы собираете и обрабатываете данные при помощи машинного обучения. Особенно это касается обработки естественного языка. Приходите на углублённый курс Machine Learning и Deep Learning — наши эксперты и менторы расскажут, как нейросети учатся понимать язык и использовать это.