Не так уверены. Как правильно оценить свою уверенность в знаниях?

«Шансы взрыва ядерного реактора составляют один на десять тысяч лет» Виталий Скляров, министр энергетики и электрификации УССР за два месяца до аварии на Чернобыльской АЭС.

Ситуация в гарантийном центре по обслуживанию убеждений.

• Здравствуйте! Я хотел бы вернуть пару убеждений по гарантии.

• Добрый день! Давайте посмотрим. Где приобретали?

• Ну вот это ещё в школе, кажется, брал, а это из книжки.

• А это что? (Указывая на прилипшее к руке убеждение)

• А, это из группового чата. Теория заговора про злобных англосаксов. Прилипла, не могу отодрать.

• Давайте помогу (приставляет книжку Роба Бразертона “Недоверчивые умы”, убеждение с шипением отлетает). Ну смотрите, такое (указывая на отлетевшее убеждение) мы не обслуживаем. На это, школьное, срок годности вышел. А вот это давайте посмотрим. Вроде нормально всё. А в чём проблема?

• Не работает. Ну как не работает, ожидания не оправдывает.

• (недолго крутит в руках убеждение и светит фонариком) Ааа, понятно. Так вы в нём слишком уверены. Убеждением нормальное, вы в нём просто не сомневаетесь совсем. Про калибровку уверенности слышали?

• Нет, а что это.

• Оно и видно. Как зовут вас?

• Гриша. И давай на ты?

• Хорошо, пойдём

• Куда?

• В твою голову. Куда же ещё.

(громкий хлопок, герои оказываются в месте, похожем на заваленный склад)

• Как я и думал. Бардачок тут у тебя. Ничего, разберёшь. Был такой когнитивный психолог, Даниель Канеман, так вот он однажды сказал: «В жизни вашего разума есть одна примечательная особенность: вы редко приходите в замешательство». Канеман имел в виду, что мы редко сомневаемся в своих знаниях, и про любую тему рассуждаем с лёгкостью. У нас есть мнение почти обо всём. О, это что, велосипед?

• Да

• А ты знаешь, как он устроен?

• Ну да, я его тысячу раз видел

• Здорово, а сможешь его нарисовать?

• Ну я не художник

• Это не проверка художественных способностей, просто обозначь принципиально, как надо расположить детали, чтобы он работал.

• А, тогда легко. Взрослый же?

• Да, взрослый. Психолог Ребекка Лоусон предложила испытуемым сделать то же самое. Все испытуемые жили в городе и видели велосипеды постоянно, большинство умели водить велосипед, и у многих он даже стоял дома. И при этом больше половины испытуемых не справились. Причём не справились, это значит, допустили принципиальные ошибки, которые приводят к тому, что велосипед точно не будет работать, как задумано. Кто-то рисовал раму между передними и задними колёсами, что не позволяет поворачивать рулю. Кто-то рисует педали на переднем колесе, хотя в задании чётко оговаривался взрослый двухколёсный велосипед. Но большинство допустило ту же ошибку, что и Гриша. Нарисовали цепь между передними и задними колёсами.

• Похоже, я знаю меньше, чем казалось

• Точно так же сказал один из участников исследования. Очевидно, мы можем обойтись без подробных знаний об устройстве велосипеда. Здесь важно другое. До прохождения испытания Лоусон попросила оценить уровень понимания этого самого устройства по шкале от 1 до 7 (от «я не знаю вообще» до я «досконально знаю его устройство»). Средние оценки колебались между 4-5, то есть люди думали, что довольно неплохо знают, как устроен велосипед. Однако для многих это оказалось иллюзией, которая развеялась, только когда они заглянули в свой мозг и не нашли там нормальной конструкции. Оставлю тебе это на память.

• Что это?

• Художник Джанлука Джимини попросил друзей по памяти нарисовать велосипед, а потом воссоздал рисунки в 3д, чтобы они стали как настоящие.

• М-да, лучше бы ты мне нормальный чертёж дал.

• Проблема не в том, что ты чего-то не знаешь. Профессор Девид Даннинг объясняет это так: «Совершенно определённо, невежественный мозг нельзя сравнить с пустым сосудом. Он наполнен всякой накопленной за годы информацией: жизненным опытом, теориями, фактами, интуитивными догадками, стратегиями, алгоритмами, эвристическими правилами и метафорами». Нам нравится определённость, и хочется ощущать твёрдую почву под ногами. Однако зачастую это ощущение иллюзорно, а наши знания вовсе не так надёжны, как нам кажется. Посмотри, твой мозг имеет мнение по любому вопросу, и на первый взгляд они все кажутся надёжными. Но если ты взглянешь подробнее, окажется, что информация у тебя есть далеко не обо всём.

• Ну это понятно. Я не могу знать всего.

• Да, но это не мешает тебе одинаково уверенно рассуждать буквально обо всём, о чём ты имеешь хотя бы поверхностные знания. Учёные обнаружили, что люди особенно предрасположены к переоценке своих знаний в простых физических задачах (например: по какой траектории будет падать тело?) природных явлений (как возникает радуга и куда направлен хвост кометы?) и устройств (как работает застёжка-молния?), а также со сложными социальными структурами вроде политики или права.

• Ну, допустим. Но что плохого в том, чтобы быть слишком уверенным в подобных штуках? Ну самоуверен я в области политики, кому это мешает?

• О, проблема в том, что у тебя есть общее правило для сортировки всех твоих убеждений. Самоуверенность заставляет принимать необоснованные решения, которые зачастую приводят к неудовлетворительным результатам и разочарованиям. Давай возьмём, к примеру, профессиональную деятельность. В одном из исследований врачи, которые были полностью (то есть на 100%) уверены в своих диагнозах, ошибались в среднем в 40% случаев.

• Но я ещё студент!

• Хорошо. Студенты, которые оценили вероятность ошибки в 1%, ошиблись в 27% случаев. В другом исследовании студентов попросили оценить, в какие сроки они сдадут свои курсовые. Причём их попросили назвать три даты: к какому числу они сдадут с 50% вероятностью, с 75% И 99% вероятностью. В 50% сроки уложились только 13%, в 75% сроки уложились 19%, а в 99% сроки завершили только 45% студентов, то есть меньше половины.

• Может, они не были заинтересованы угадать? Может, надо было их дополнительно замотивировать? Деньгами, например.

• Учёные пробовали, сотня баксов не улучшила ситуацию. Они даже пробовали пугать испытуемых перспективой показаться глупыми перед сверстниками. Это не работает.

• Звучит грустно. Но мне то, что делать? Может, стоит уже смириться с тем, что я ничего не знаю? Есть же эффект Даннинга — Крюгера, который говорит, что люди, которые только начали, в чём-то разбираться, переоценивают свои убеждения. Значит, надо просто считать, что ты ни в чём не разбираешься, и всё.

• С эффектом Даннинга — Крюгера не всё так просто, но об этом в другой раз. В любом случае это не выход. Я называю позицию: “я знаю, что ничего не знаю” — грехом неуверенности. Проблема в том, что кое в чём ты всё-таки разбираешься. А в чём-то даже довольно неплохо. И свалить все эти убеждения в одну кучу — плохое решение. В твоей голове получится полный бардак. Ведь там, где у тебя вполне достаточно данных для приемлемого прогноза, ты заявишь, что недостаточно уверен. Вернёмся к тем же врачам. Представь, что ты пришёл узнать результаты анализов, а врач говорит: ну, наши тесты не обладают 100% точностью, поэтому я ни в чём не уверен._

• Но разве скромность — это плохо?

• Ложная скромность с занижением реальной оценки твоих знаний — это ужасное решение, из-за которого ты постоянно будешь упускать возможности. 

• Самоуверенность — это плохо, неуверенность это плохо. Что же тогда хорошо?

• Правильная степень уверенности.

• Это как?

• Тебе нужно разложить убеждения по полочкам в соответствии с тем, насколько ты в них уверен.

• А зачем тут цифры?

• Это уровни уверенности. Я нанёс их для того, чтобы ты мог потренироваться в калибровке.

• В калибровке? Про которую ты говорил в начале?

• Да. Калибровкой обычно называют сравнение показаний измерительного прибора с эталоном. Но прежде чем провести сравнение результатов твоего мозга с эталоном, давай сначала соберём данные. Я задам тебе 40 вопросов, на которые тебе нужно будет ответить просто да или нет, а затем добавить степень твоей уверенности.

• А почему минимум 55%?

• Так как вариантов ответов всего два, то если ты совсем не знаешь, то ставь 55%, и бросай монетку. Я взял вопросы из книги Джулии Галеф.

• Понял.

(Некоторое время спустя…)

• Кажется, разложил.

• Отлично. Смотри, это полка 55%.

• То есть, грубо говоря, половина ответов, или убеждений здесь неверны. Вот только ты не знаешь, какие именно. Но если здесь и правда около половины правильных, значит, у тебя хорошая калибровка. Это — эталон. На 75% полке должны быть правильными три из четырёх ответов. А на самом верху должна быть всего одна ошибка на 20 ответов.

• Ааа, вот как это работает.

• Сравнение этого эталона с твоим результатом и называется калибровкой. Давай взглянем, что у тебя получилось?

• Зелёная линия -это идеальная калибровка. А красная линия — это твои ответы. Чем сильнее отклонение, тем хуже твоя калибровка. Напомню, что в данном случае неважно отклонение в сторону слишком сильной уверенности или слишком слабой. И то и другое одинаково плохо. В первом случае ты будешь делать необоснованные ставки и вкладываться в малоперспективные авантюры. Во втором же случае ты будешь переплачивать за страховку и упускать реально выгодные предложения.

• Кажется, моя калибровка не идеальна.

• Не переживай. Ты не одинок. Исследователи Альперт и Раиффа задали испытуемым 1000 вопросов по общеизвестным темам. Вопросы были из разряда «сколько таксистов работает в вашем городе?». То есть ответы были численными. Затем их попросили обозначить 98% доверительный интервал для всех ответов.

• 98% чего?

• Доверительный интервал, это когда ты говоришь что-то вроде: я уверен на 98% что таксистов больше чем 500, но меньше  чем 50 тысяч. То есть 98% доверительный интервал означает, что реальный ответ попадёт в твой диапазон 980 раз из 1000. Ну представь, что ты начинаешь стрелять и я спрашиваю, какого размера должна быть мишень, чтобы ты 98 раз из 100 попал. Понятно, что чем меньше я буду требовать попаданий, тем меньше будет мишень.

• Кажется, понятно.

• Ну а ошибиться здесь будет значить, выяснить, что в реальности таксистов меньше или больше установленных тобой порогов. Если их 200 или 200 тысяч.

• Теперь понятно.

• Вернёмся к испытуемым, которые обозначили свои 98%-интервалы для тысячи вопросов. Если бы их калибровка была идеальной, то мы должны были бы ожидать, что в среднем 980 ответов попадут в доверительный интервал, а 20 промахнутся.

• Судя по всему, промахов было больше

• Сильно больше. 426!

• Оу. А моя калибровка, не так уж и плоха. Но хотелось бы получше, конечно. А кто-нибудь вообще хорошо откалиброван?

• Да, но ты не поверишь.

• (Скептический взгляд)

• Найт Сильвер написал целую книгу, где исследовал то, насколько хороши в прогнозах различные прогнозисты. И есть одна служба…

• Не тяни уже, что это за служба?

• Это национальная служба погоды США.

• Прогнозы погоды? Но они же всегда врут?

• Насколько ты в этом уверен?

• На 95% (ставит это убеждение на верхнюю полку)

• Тогда взгляни на график их калибровки

• Но этого не может быть

• Конечно, далеко не только прогнозисты погоды обладают хорошей калибровкой. Но об этом, пожалуй, в другой раз. Раз уж ты так уверен, то я обязан тебя предупредить: поаккуратнее с верхними полками.

• Потому что с них что-то, может, упасть?

• Ну можно и так сказать. Исследователи выяснили, что, когда речь идёт о небольшой уверенности всё было довольно неплохо. У них в эксперименте люди делали ставки на правильность своих ответов. Пока ставки были 1к1, 2к1 и 3к1 (то есть с уверенностью 50%, 66,6% и 75%) всё было довольно неплохо. Проблемы начинались выше, потому что по мере поднятия ставок от 3к1 почти ничего не менялось. То есть точность возрастала сильно медленнее роста уверенности. При ставке 100к1 верными оказались 73% ответов, при 1000к1 верными оказались лишь 81%. То есть там, где следовало бы поставить примерно 4к1, люди ставили 1000к1. И что хуже всего, исследователи обнаружили склонность людей к экстремально высоким ставкам (то есть к огромной самоуверенности)!

• Вот блин. Придётся снять это (пробует снять убеждение с верхней полки). Чёрт, не снимается. Похоже, за что-то зацепилось.

• А, это твоё эго. Видишь ли, демонстрируя сильную уверенность, ты поставил свою репутацию. К тому же в дело вступили эмоции. А они в этой ситуации не очень надёжный помощник и уж точно не мерило достоверности. Если тебе очень нравится во что-то верить, это не должно влиять на твою ставку. Ведь в реальной жизни ты ставишь не только деньги и репутацию, но зачастую и здоровье. Если ты регулярно будешь игнорировать свидетельства, которые тебе не нравятся, то со временем у тебя начнёт дребезжать адекватность.

• Ладно, я понял (снимает, наконец, убеждение с верхней полки). И что я теперь должен для каждого своего убеждения придумать какую-то оценку и постоянно их менять?

• Нет. Цифры я рисовал для тренировки и демонстрации принципа. Конечно, в реальности постоянно назначать осмысленные вероятности — невыполнимая задача. Но при этом всё ещё практически полезно думать об убеждениях не качественно (когда у вас есть только два варианта: знаю / не знаю), а количественно. То есть держать в голове вот такие полки, и хотя бы приблизительно закидывать убеждения в какую-то их часть. Повторюсь, мы не счётные машинки, и оперировать цифрами для нас очень сложно, поэтому чаще всего делать этого не стоит. Но если очень нужно, то я расскажу один лайфхак под названием тест эквивалентной ставки. Давай возьмём для примера какое-нибудь предсказание. Допустим, ты пытаешься понять, насколько ты уверен в том, что в течение трёх лет в твоём городе появится такси без водителя. Чтобы «оцифровать» свою уверенность в этом убеждении, попробуй следующее. Представь, что тебе дают на выбор два варианта: 1) предсказать, что такси появится, и если так и будет, ты получишь миллион рублей, и 2) тебе дают вытянуть вслепую шарик из коробки, где один белый и три чёрных шарика, и если ты вынешь белый, то получишь миллион рублей. Что ты выберешь?

• Ну это легко, я бы взял шарик.

• Значит, твоя уверенность меньше 25%. Пусть шариков теперь будет один белый и 15 чёрных. За белый миллион. Или ставишь на беспилотное такси?

• Не, ну тогда всё-таки на такси. Шансы есть.

• Твоя убеждённость выше 6%. А если один белый и 8 чёрных?

• Хм. Я даже не знаю.

• Вот и нащупали. Около 11%. В принципе, ты можешь оцифровать любое убеждение с любой точностью. Хотя на практике это почти никогда не нужно.

• Ладно. Но я же не могу волшебным образом разложить все свои убеждения по полкам. Я уж молчу о том, чтобы разложить хорошо, тут бы хоть как-то раскидать.

• Да, порядок тут мгновенно не появится. Да и некоторая степень хаоса будет всегда присутствовать. Это тяжёлая работа, но ты можешь начать с малого. Разложи, то что используешь прямо сейчас. Ты вот принёс мне убеждение. Выбери для него полку. Со временем класть убеждения на свои полки, и периодически перекладывать, когда узнаёшь новые данные, войдёт в привычку. У тебя в голове появится внутренний секретарь, который в случае твоего громкого заявления начнёт постепенно шептать: убедитесь, что у вас достаточно фактов для такой уверенности. Со временем он окрепнет и начнёт орать. Наведение порядка в голове — это не героический спринт, а терпеливый марафон. Это не волшебная кремлёвская диета, а здоровое питание на всю жизнь.

• То есть для начала мне нужно просто иногда задумываться о том, насколько я уверен в том, что озвучиваю и какие для этого есть основания?

• Да. Со временем ты почувствуешь, что некоторые “основания” тебя часто подводят, а другие, наоборот, более надёжны. У тебя появится собственный протокол для руководства своим складом.

• Выглядит посильно.

• Вот и здорово. Тогда я пошёл.

• Стой, ты же обещал волшебный способ улучшения калибровки, или я неправильно понял.

• А, точно. Альперт и Раиффа, ну те, что просили установить доверительный интервал, провели повторный эксперимент. Они полностью повторили изначальные условия, но перед тем, как дать испытуемым приступить к работе, они показали результаты прошлого эксперимента и разъяснили концепцию калибровки. Затем испытуемые также установили 98% доверительный интервал, и на этот раз в среднем выпали уже 190 ответов (было 426), что, конечно, далеко от идеала, но сильно лучше прошлого раза. Так что я уже улучшил твою калибровку.

• (Себе под нос) подожди-ка, это значит, что Сашка, который мне так уверенно что-то заявляет…

• Ооо, блин. Стой. Я забыл. Знания о калибровке нужно применять к себе, а не использовать против того, с кем ты несогласен! Иначе ты можешь попасть в долину плохой рациональности!

• (Загадочно улыбаясь) А насколько ты уверен в этом?

 

Источник