Алексей Каптерев: Критическое мышление 101 (часть 2)

25 апреля в рамках «Дня тренинга МГУ 2020» Алексей Каптерев выступил с докладом про критическое мышление. Представляем вам часть 2 расшифровки лекции.

Часть 1 доступна по ссылке:

Единого ответа на этот вопрос нет.

Я прочитал книжку Джо Лау, профессор из Гонконга, «Введение в критическое мышление» (есть на русском в библиотеке Сбербанка). В ней описан процесс из четырех шагов:

Виды доказательств, чему вообще стоит верить. Единой классификации нет, но я выделяю:

Есть вопрос, котрый мне чаще всего задают:

В нем как-будто есть два отдельных вопроса:

1. Что должно убеждать лучше всего? (Как правильно)
2. Что фактически убеждает лучше всего? (Как есть на самом деле)

Начну со второго вопроса.

Я очень часто слышу, что истории убеждают лучше всего. На самом деле, нет ничего более далекого от истины. В некоторых контекстах они убедительны, но по большей части, истории — это наименее убедительные доказательства. В основном людей убеждает статистика и логика.

Истори влияют на намерение. Истории хорошо мотивируют, но не убеждают. Разница между убеждением и мотивацией примерно как разница между фразами: «Я считаю, что курить вредно» (убеждение) и «Я готов бросить курить» (мотивация).

Если мы хотим людей убедить рационально, то мы убеждаем статистикой, логикой. Если мы хотим чтобы люди что-то сделали, нам нужно рассказать им историю. Что-то висцеральное, что берет за душу, за живое.

Совсем недавно я видел результаты свежего очень хорошего мета-анализа:

То есть решения о здоровье люди склонны принимать на эмоциях. Почему-то. Хотя мне кажется, это последнее место, где нужно принимать решение на эмоциях.

Можем вспомнить метафору слона и всадника. Слон очень любит истории, всадник любит статистику или логику, зависит от того, к кому мы обращаемся.

Начнем с логики. Логика дико убедительна, сейчас я вам это докажу, смотрите:

Подумайте полминуты. Если вы считаете, что недостаточно данных, я могу вас отлично понять. Я несколько раз проделал этот трюк с разными аудиториями, часто находятся люди, считающие, что недостаточно данных.

Вот что показал опрос на Хабре в предыдущей части статьи:

Это на самом деле не так, вы ошиблись. Не стоит обижаться, я вам сейчас докажу, это не сложно.

Светлана может быть либо в браке, либо не в браке. Есть всего два варианта. Если Светлана, предположим, не в браке, а Мария на нее смотрит, получается, что кто-то, кто в браке смотрит на кого-то кто не в браке.

Если же Светлана наоборот в браке, и она смотрит на Ирину, то получается, что кто-то в браке смотрит на того, кто в не браке. Мы должны сделать вывод, что правильный ответ — да.

Если я вам не буду говорить правильный ответ, вы как группа будете находиться в одном пространстве, а я вас оставлю, то через какое-то время люди которые правы, переубедят людей, которые не правы.

Этот эксперимент делался много раз, он работает, но здесь есть очень важная оговорка. Вы не проинвестированы эмоционально в эту историю, для вас это какие-то чужие люди, и в целом вы готовы в итоге согласиться с логикой.

Логика хорошо работает, хорошо убеждает, если у людей нет сильных предварительных убеждений.

С логикой есть несколько проблем, это логические ошибки, которые люди совершают.

В презентации на TED №1, может вы ее видели, «Школы убивают креативность», там логика рассуждения, что все дети креативны, Петя ребенок, значит Петя креативный. Это дедуктивный вывод. Он должен быть 100% надежный, не может быть никаких других ситуаций, но потом оказалось, что нужно всегда начинать с определений.

Что такое креативность? Оказывается, что креативность — это способность иметь идеи, обладающие ценностью, внутри выступления автор сам дает это определение. То есть нам здесь не о чем спорить.

По этому критерию дети совершенно не креативны. Потому, что мы можем посмотреть на количество патентов зарегистрированных на детей, и мы можем обнаружить, что их очень-очень мало.

В основном, идеи рождающиеся в голове у детей, никакой ценностью не обладают. В рамках этого определения креативности, дети не креативны, и значит, что не факт, что Петя креативен. Это ложный посыл, когда мы делаем выводы на базе ложных допущений.

Люди часто делают дедуктивные рассуждения. (Дедукция — это от общего к частному, у нас есть обобщение, потом мы делаем какое-то умозаключение на базе этого).

Вот еще пример дедуктивной ошибки:

Что делают тесты на критическое мышление? Они заставляют вас достраивать пропущенное, исходя из каких посылок этот вывод был сделан.

И это заключение сделано из посыла, что все неестественное — плохо, и что абсолютно не так, города неестественны, плотины неестественны. Для бобров плотины естественны, а для людей совершенно нет. Но тем не менее, города и плотины — это хорошо, для меня — это хорошо.

И третий вариант, который может быть, индуктивные ошибки. Это когда мы накапливаем много вариантов, а потом делаем глобальный вывод.

Через какое-то время мы можем сделать вывод, что все люди правши, что совершенно не так, есть громное количество левшей и амбидекстров. Это типичная ошибка, что люди на базе какой-то ограниченной выборки делаю глобальные, далеко идущие выводы. Классическая ошибка.

Наверняка, психотерапевты говорят, что сейчас пандемия депрессии. Конечно у психотерапевта будет пандемия депрессии, потому что этот тот человек, к которому приходят люди с депрессией.

Хороший вопрос.

В науке, к примеру, в клинической фармакологии, похожая иерархия доказательства. На самом верху находятся исследования исследований, то есть обобщение большого количества экспериментов. Логически мы понимаем, чем больше выборка, тем надежнее результат. Одно исследование — это полная ерунда, а когда у тебя огромный материал, массив литературы, мы можем сделать вывод, что это довольно надежно. Конечно обобщается то, что опубликовано.

Мета-анализ — один из самых надежных источников.

Потом идет (классика) рандомизированные плацебо-контролируемые исследования. Это когда у нас есть контрольная группа и группа интервенции.

С контрольной группой мы делаем что-нибудь, а с группой интервенции мы делаем то, что хотим сделать на самом деле. Нельзя ничего не делать с контрольной группой, потому что люди расстраиваются. Мы с одной группой делаем придуманную терапию, а с другой настоящую терапию. Потом сравниваем результаты.

И всякие когортные исследования, кросс-секционные исследования, когда мы в течение долго времени наблюдаем за когортами людей. Например, рассматриваем всех вегетарианцев или всех сантехников. Потом мы делаем вывод, что сантехники склонны к тому или к другому. Не очень надежно, низкая оценка надежности исследования.

И в самом низу находится единичный случай, на базе одного случая мы можем сделать вывод только о том, это что произошло. Черный лебедь случился, уникальное событие случилось, но в целом, конечно, больших выводов на базе единичного случая мы делать не можем.

Вот так, примерно, работает иерархия доказательств. Верьте большим исследованиям, не верьте частным случаям. Разумеется, наш слон работает совсем наоборот, верит частным случаям, но не верит статистике.

Разбирая критическое мышление, вы обнаружите, что люди делаю огромное количество логических ошибок, потому что слон им мешает.

Ошибка выжившего, это когда, предположим, что курение убивает 99% людей, а 1% выживет, будет ходить и рассказывать всем, что я курил мне ничего не было. Разумеется, это ошибка, таких примеров очень много.

Полезно ли их знать, я не знаю. Почитать про это — прикольно. Помогает это себе? У меня большие сомнения.

Я видел какие-то эксперименты по борьбе с когнитивным искажением. Людей учили, а потом смотрели, принимаю ли они решения лучше. Результаты неоднозначные.

Меня, как человека из мира презентаций, интересуют логические искажения, сделанные намеренно.

Переход на личности, соломенный человек. Это когда люди формируют карикатурное изображение оппонента и говорят, что все консерваторы хотят запретить аборты, хотя это совершенно не так.

Давайте что-нибудь поразбираем. Что касается Киплинга, почитайте его «Бремя белого человека». Киплинг был расистом и империалистом. Если вам нравится Киплинг, значит, вы расист.

Это логично, в общем, но не правильно. Это вина по ассоциации, это плохое индуктивное рассуждение. На базе всего одного произведения мы делаем вывод о глобальных представлениях личности. Возможно, он жалел, что написал это стихотворение. Потом мы переносим (аналогия — это форма индукции) свойства Киплинга, на свойства совсем другого человека.

Очень слабое логическое рассуждение. Да, люди которым нравится Киплинг, могут быть расистами и империалистами, но таких людей, вероятно, будет меньшинство.

Является ли это логически разумным рассуждением?

Это тоже слабая индукция, у нас есть какое-то обобщение о боксерах, мы знаем, что боксерам бьют по голове и, наверно, если прогнать боксеров по тестам IQ, мы не получим результатов, как у нобелевских лауреатов. Это стереотипирование, в этом есть доля разумного, но это не надежный вывод.

Является ли это хорошим рассуждением? Тоже вряд ли. Грабить пенсионеров и взимать платежи по ЖКХ — это не одно и то же. Наверно, часть платежей ЖКХ вносится пенсионерами и, наверное, часть из них дезинформирована, но это очень небольшое пространство населения. Ввряд ли это разумное рассуждение. Подавляющее большинство людей скорее рады, что у них есть возможность оплатить готовую услугу.

Мы знаем, что бывает такая вещь, как ложная дилемма. Но здесь, боюсь, что это — истинная дилемма, это реально так. Не существует никаких других вариантов. По-крайней мере, я не смог найти. Не думаю, что вы можете что-то сделать, чтобы пить 6 банок пива в день и не зарабатывать цирроз печени. Вам нужно иметь уникально хорошую печень, чтобы этого не произошло. Скорее всего, это произойдет.

Логика очень убедительна, но если у людей нет уже готовых эмоциональных инвестиций в решение.

Вопрос всегда «какова сила аргумента?» Т.е. насколько валидны эти индуктивные обобщения? Насколько база, выборка, которая у нас есть, позволяет делать нам такие обобщения, о боксерах, предположим.

И верны ли посылки и скрытые допущения? В основном, тесты на критическое мышление как раз анализируют это. Сколько я их проходил, там учат выделять скрытые допущения. Можно их попроходить, просто для того, чтобы потренироваться.

Я могу вот какую книжку порекомендовать: «Гарри Поттер и методы рационального мышления». Я не уверен, что вы сможете ее найти в печатном виде, но она совершенно точно есть в электронном виде.

Посмотрите, она очень прикольная. Это фанфик, там Гарри Поттер попадает в начале своей карьеры не к мерзким Дурслям, а к ученым, которые учат его критическому рациональному мышлению. Он приезжает в Хогвартс и начинает там отжигать. Очень интересная книжка.

Может вы слышали, может нет, была такая байка про американскую космическую программу.

В космосе есть проблема, что там нет силы тяжести, поэтому традиционная шариковая ручка не пишет в космосе. Потому что чернила, которые вытекают, вытекают под действием силы тяжести.

И поэтому, якобы, в Америке проинвестировали какие-то адские миллионы долларов и создали ручку, которая пишет в невесомости. И раздали ее всем космонавтам, и они этой ручкой писали.

А в это время российские, советские тогда еще, космонавты на советской космической программе пользовались карандашом.

Это полная ерунда. Во-первых, даже из фотографии видно, что это реальная ручка, она действительно существует. Ее, правда, сделала частная корпорация на какие-то свои деньги, т.е. кому какое дело, это не деньги налогоплательщиков.

Но главное, что советская космическая программа закупила у американцев эти ручки, потому что писать карандашом — не лучшая идея. Карандаш крошится, возникает углеродная пыль, токопроводящая, она начинает в невесомости непредсказуемо летать и оседать на аппаратуре. В общем, писать карандашом в невесомости — не очень хорошая идея.

Я узнал об этом просто погуглив. Я набрал «космическая ручка», enter, и довольно быстро оказался на сайте под названием snopes.com. Я могу его рекомендовать, это один из лучших фактчекинговых сайтов в мире. И там подробный разбор, что в этом правда, что нет. И многие истории, как вы догадываетесь, частично правда, частично неправда.

Я очень рекомендую истории проверять, прежде чем кому-то их рассказывать, особенно во время публичного выступления. Точность историй всегда под вопросом. Истории непредсказуемо мутируют в пересказах, люди забывают какие-то фрагменты, вставляют что-то, чего не было, потому что им очень хочется, чтобы это было. В целом выживаемость истории — это ее способность производить вау-эффект. Чем больше она производит вау-эффект, тем больше людей ее пересказывают.

В пределе любая история мутирует в какую-то городскую легенду про каких-то огромных крыс в канализации, крокодилы там живут. Людям нравится это пересказывать. По всей видимости — это какая-то суть истории, как жанра. Они так работают, и ничего с этим не поделаешь.

Я хочу сказать, что истории прекрасно мотивируют людей. Я раньше вам уже приводил результаты метаобзора. Они очень влияют на отношение людей. Люди любят слушать истории, и истории их мотивируют. Но как доказательство, конечно, это полная ерунда.

В иерархии доказательств история находится где-то в самом-самом низу. История — это клинический случай. Это таже история, но она оформлена правильно. Клинический случай — это история, в которой все выверено. Она запротоколирована, есть исходник, и при пересказе можно с ним свериться.

Большинство историй, конечно — это просто байки, которые пересказывают.

Истории надо использовать для того, чтобы что-то объяснять людям, в качестве иллюстраций, аналогий. Истории часто используются для рассказа о критическом инциденте.

Т.е. первый раз когда коронавирус был зарегистрирован — это клинический случай. Это не было какое-то гигантское исследование. Критический инцидент. Произошло. Или эбола та же.

Пилотный проект, здесь место истории. Для мотивации, я уже сказал. Истории мотивируют, хотя доказательство так себе.

В некоторых практических областях работают рассуждения от кейсов. Юристов учат от кейсов рассуждать, в бизнесе очень часто кейс-метод используют, в медицине тоже. Но, еще раз, это какие-то единичные случаи.

На историях хорошо учиться рассуждать. Разбираешь историю, и становится понятно, где люди ошибки делали.

Пожалуйста, если вы рассказываете со сцены какие-то истории, проверяйте детали. Я бы рекомендовал чуть ли не каждый раз садиться и перечитывать, как там все было на самом деле.

Память очень сильно подводит, память реально плохо работает. Каждый раз, когда вы пересказывает, оно там перезаписывается по новому, и я много раз себя ловил на том, что я пересказываю что-то, что уже не имеет никакого отношения к реальности.

Я приведу цитату Карла Сагана, был такой великий американский астроном и популяризатор науки:

Давайте применим критическое мышление к этой же, собственно, фразе. Что с ней не так? И первое, что мы можем сказать — это мнение авторитета. То есть у нас возникает парадокс лжеца, мы не должны ему доверять, потому что это мнение авторитета.

И вторая проблема с этой фразой, как вы думаете, к кому Карл Саган обращался? Кто была целевая аудитория этой фразы, простые люди или другие ученые? И ответ — другие ученые. Ученые не должны доверять мнению других ученых.

В качестве простых людей или ученых других областей, у нас часто нет другого выхода. Мы не можем сказать «а я не верю в то, что они открыли бозон Хиггса, пойду во двор, запущу там свой коллайдер и проверю на нем». Это так не работает.

Есть люди у которых есть коллайдеры, чашки петри, микроскопы и все остальное. Они с большей вероятностью, чем инстаграм-блогеры, будут знать, как правильно. Такой факт жизни, ничего с этим не поделаешь.

Проблема с цитатой в том, что во-первых, это мнение авторитета, во-вторых, что она адресована ученым. Если вы не эксперт, вам придется пользоваться мнениями экспертов, никуда вы не денетесь. Сами вы во всем не разберетесь, никакой жизни на это не хватит.

Эксперт должен быть, во-первых, в своей области экспертизы, и во-вторых, он должен говорить что-то, что следует из тех исследований, которые он произвел.

Эксперт может также обобщать свой опыт, клинический, практический, управленческий и т.д.

К этому доверия намного меньше. Потому что это не эксперимент, это коллекция баек, историй, т.е. у него были в жизни какие-то ситуации, он их обобщил, это крайне ненадежно.

Молоток и гвозди, если у тебя есть какой-то инструмент в руке, ты начинаешь его везде применять, и он в ряде случаев работает, то значит, что он работает, к примеру, в 12% случаев, это не значит, что он работает всегда, это не значит, что это хоть сколько-нибудь надежно. Тебе просто повезло. С «ошибкой выжившего» уже разобрались, эффект выборки похож на нее.

Какие еще есть проблемы с цитатами?

Во-первых, самая большая проблема в том, что люди цитаты перевирают. Это просто непрерывно происходит, я себя столько раз ловил. Второе, это то, что люди цитируют экспертов за пределами экспертизы, т.е. астроном, а цитируют про коронавирус, а они не разбираются в этом, т.е. он уважаемый ученый в своей области, но это не астрономия. И третье, используют цитаты нобелевских лауреатов по каким-то общефилософским темам, где никто вообще не разбирается.

Точна ли цитата?

Пару недель назад я лично себя поймал на том, что я цитировал Фредерика Тейлора, это основатель научного менеджмента.

Здесь выделено жирным «принудительно обеспеченной коммуникации». У меня была тема про коммуникацию, и я это использовал. Там в оригинале было «кооперацией».

Я совершенно не помню, где я эту цитату взял. То ли уже в переводе была ошибка, то ли я перевел и ошибся, потому что мне было так удобно, но такое случается.

Пожалуйста, проверяйте ваши цитаты по первоисточникам. В переводе много страдает, к тому же, люди склонны перевирать потому, что ошибка — в подтверждение.

Есть такой сайт, который называется quoteinvestigator.com, я могу его порекомендовать, часто оказывается, что вы цитируете цитату Эйнштейна, а на деле, оказывается, что это цицита совершенно иного, никому неизвестного человека, которого вообще не хочется цитировать.

Во-вторых, очень важный вопрос, находится ли заявление в области компетентности эксперта.

Мне 44 и я застал рекламу витамина C Dr.Linus Pauling. Это одна из первых телереклам, которая была на советском телевидении. Был такой Linus Pauling, нобелевский лауреат по химии, и ещё вторую нобелевскую премию получил, по-моему, премию мира. Не важно. По химии он получил премию неразделенную. Представляете, он один её получил. Большинство Нобелевских премий получают в командах. Очень крутой ученый, очень крутой химик.

Он на старости лет сошел с ума и сказал, что витамин C — лекарство от всех болезней, продлевает жизнь, и, чтобы докинуть, долго жил, никак не умирал, как бы подтверждая на своём примере, что витамин C работает.

В реальности витамин C совершенно не продляет жизнь, в больших дозах он вреден. Очень важно помнить, что эксперт по химии — это не эксперт по медицине, Он был абсолютно гениальный химик, но совершенно никакой медик.

Некто Джереми Рифкин. Кто такой? Экономист и социальный теоретик. Сомнительно.

Открытое письмо, подписанное 154 нобелевскими лауреатами. Чуть-чуть более надёжный источник, да, но критически мыслящий Фрай должен спросить «А что это за нобелевские лауреаты? Из каких они областей?»

Я зашёл на сайт, посмотрел, большинство из них по медицине, есть по химии, и очень мало нобелевских лауреатов мира подписались под этим, почему-то. Я не знаю почему. Выглядит довольно надёжно, это не плохо, скажем так.

Хороший источник научного консенсуса — Википедия, как бы смешно это не звучало, но в основном английская. Именно потому, что её легко редактировать. Там очень трудно лажовым правкам выжить потому, что их бомбардируют со всех сторон. Википедия статистически очень неплохие результаты показывает.

Меня тут интересовала одна тема, простите, это история, конечно, не доказательство. Я зашел сначала в Википедию и обнаружил там хорошую сбалансированную статью, а потом зашёл в энциклопедию «Британника» и обнаружил там очень сильный перекос на одну сторону. Я был согласен с этой стороной, но статья очень односторонняя.

Но есть и доказательство, можете посмотреть. Есть люди, которые анализировали достоверность Википедии и, предположим, энциклопедии «Британника», оказывается, что Википедия не менее достоверна.

Здесь мы должны задать себе вопрос: «Кто и как мерял этот консенсус?» Очень важный вопрос.

Было несколько исследований, они показывают разные результаты, но минимум 91%. 91% — очень неплохо.

Вообще, конечно, наука к консенсусу стремиться не должна. Мы в климатологии не разбираемся и нет надежды, что разберёмся, это примерно 10 лет займёт, поэтому, скорее всего, для нас будет разумно довериться климатологам.

И последний вопрос это «Существует ли область экспертизы в принципе?» Например, вот эта цитата Эйнштейна. Я сразу скажу, что она ложная. Он никогда такого не говорил, но дело не в этом. Дело в том, что о чём это вообще? Это не предмет экспертизы. Это какое-то абстрактно-моральное утверждение. Кто угодно может сказать что угодно.

Или вот, тоже абсолютно ложная цитата. Это просто эффект выборки.

Мы посмотрим на огромное количество миллионеров и всегда найдём там очень странных людей, которые делают очень странные вещи. Это не значит, что всем так можно делать. Вполне может быть, что Билл Гейтс действительно съедает 2 банана в день, почему нет.

И самое важное, что у на есть.

Герберт Уэллс когда-то говорил, что если мы хотим получить граждан, которые принимают осмысленные решения на выборах, мы должны всех образовывать с точки зрения статистики.

Моя история, связанная со статистикой: я когда-то думал, что характер человека, его предрасположенности никак не зависят от генетики. Потом я прочитал очень хорошую книжку, очень взвешенную, ей уже лет 20. Недавно читал её свежий обзор — по прежнему, большая часть того, что в ней есть — правда.

Там задавался такой вопрос: у нас есть агрессивные родители, у них получаются агрессивные дети. Доминирующая точка зрения — воспитание делает людей агрессивными. Агрессивные родители так относятся к детям, что они тоже становятся агрессивными. Может ли это быть почему-то ещё?

Автор книжки Джудит Рич Харрис задала 2 вопроса:

1. Может ли это быть из-за школы?
2. Может ли это быть из-за генетики?

Может быть, агрессивные родители живут в таких районах, где кругом «войнушка» и поэтому у них дети агрессивные получаются? Может быть, агрессивные родители генетически передают свою агрессию детям?

Примерно 49% — это наследуемость характера. Приемные дети совершенно не похожи на приемных родителей. Берёшь приемного родителя и случайного человека на улице — точно такая же корреляция. Никакой разницы вообще. Воспитание довольно мало влияет на характер (от 5 до 15%). В основном оказывают влияние школа и генетика. Грустно, но хорошая новость что, 49% это по-прежнему меньше 50%, большая часть в наших руках.

Статистика очень хорошо работает против собирателей историй, диванных теоретиков и людей с опытом. Я стараюсь все гуглить, Google Scholar мой большой друг.

Предположим, мне нужно выяснить, влияет ли юмор на убедительность презентации. Мне часто на тренингах задают вопросы про юмор. Полезен ли юмор, вреден ли, позволяет ли юмор удерживать внимание? И частый вопрос, как это влияет на убедительность, позволяет ли юмор убеждать?

Я захожу в Google Scholar, набираю там “humor persuasion”, и добавляю слово “meta”, потому что меня интересуют мета-обзоры. Буквально на второй строке я вижу совсем свежий мета-анализ 2018 года, это просто мечта. Он в открытом доступе находится, бесплатно. Я кликаю на него, читаю abstract, и в принципе, могу даже не читать всю статью.

В abstract-е хорошо видно, что происходит. У юмора слабый эффект на убедительность — 0,13. 0,13 надо возвести в квадрат, получится совсем мало, т.е. почти никак не влияет юмор на убедительность. Можно забыть про это, как про способ кого-то убедить.

Дальше я могу проскроллить до графика и увидеть, что там инвертированная кривая, т.е. немного юмора — хорошо, много юмора — плохо, совсем мало юмора — тоже плохо. Т.е. чуть-чуть юмора, чуть-чуть влияет, вот такой у меня результат. Очень удобно, довольно быстро я получил ответ на свой вопрос.

Недавно, 2 года назад, я прошел курс в Carnegie Mellon University. Онлайн курс по менеджменту и консалтингу, основанномых на доказательствах. Там учили оценивать вероятность того, что исследование верное, и там была такая табличка, что систематические исследования, уровень доверия А+, 95%. А качественные исследования — 55%, в самом низу.

Т.е. в целом хорошая идея — присваивать какие-то рейтинги своему уровню доверия, и мета-исследование получает очень и очень высокий уровень доверия.

Оценивайте уровень своей уверенности. Вне разумных сомнений — 95%, разумное подозрение — 20%. Т.е. смотря на какие-то научные исследования, просто взвешивайте их на “весах”. Нам не нужна стопроцентная уверенность, критическое мышление это о том, что вы ни в чем на 100% не убеждены.

Джефф Безос — это генеральный директор Амазона, и один из богатейших людей в мире. Даже если вы руководите крупной компанией, вы тоже не принимаете решение только когда на 100% уверены. 70% уверенности достаточно, и мне кажется, это очень важная особенность людей, такая толерантность к двусмысленности, и способность принимать решения в недосказанности.

Вся информация, которая приходит, падает либо на одну чашу весов, либо на другую. Она либо подтверждает то, что у нас есть, либо опровергает. И в какой-то момент чаша перевешивает в одну сторону, а в какой-то момент в другую.

Поиграем в небольшую игру, чтобы исследовать этот процесс. Смотрите, у меня есть подруга, угадайте ее рост.

Вам сейчас нужно назвать самое вероятное. И, возможно, вы знаете, что средний рост женщин в нашей стране, ну или можете догадаться, — 1,65 м. Лучшая ваша ставка — это 1,65 м.

Я вам сейчас докину информацию, она играет в баскетбол. И в этот момент вы должны обновить свой ответ, и сказать «ааа, тогда, наверно, она выше, чем 1,65».

Примерно так же мы должны поступать со всеми доказательствами. К нам приходит доказательство, мы должны его ронять на чашу весов. Это говорит о том, что мы не запираемся в бинарных позициях да/нет, мы постоянно находимся в таком процессе байесовского обновления.

Еще один пример:

Вопрос: является ли это доказательством того, что финансовая интуиция Сергея действительно существует?

И ответ, как ни странно, да. Это не очень хорошее доказательство, оно не очень сильное, но мы должны взять его, и аккуратно положить на чашу весов. Т.е. это не о том, что интуиция действительно есть. Может быть миллион других причин, по которым Сергей просто угадал, случайно ему повезло. Надо смотреть дальше, на базе одного эпизода нельзя делать большие выводы. Но, это некоторое доказательство, и мы должны принять его во внимание. Статистическое мышление, оно об этом.

Несколько важных вопросов, которые на мой взгляд имеет смысл себе задавать, когда вы разговариваете с людьми про научные исследования, про статистику.

Я не предлагаю в статистике досконально разбираться. Я экономист по образованию, у меня было когда-то два семестра матстатистики, и я почти ничего из этого не помню, помню, только как считать корреляцию. Но я предлагаю обращаться к надежным источникам, где есть присмотр за этим.

И первое конечно, что такое надежный источник.

Не пересказывайте пересказы. Если вы видите в популярной прессе результат какого-то исследования, и вы хотите это пересказать кому-то, прежде чем пересказывать, найдите оригинал, посмотрите, что там на самом деле написано.

Журналисты к сожалению часто перевирают. Журналист тоже человек, он может ошибаться, у него есть свои догмы, он их подтверждает. Ищите первоисточники, это очень очень важно.

Второй важный вопрос — спонсорство исследования.

Есть в презентациях такой софт, называется Prezi. Есть исследование, сделанное в Гарварде, хорошее место. В котором говорится, что в Prezi лучше, более убедительно.

В статье наверху написано — «Correction», какая-то коррекция. Ты смотришь на эту коррекцию, и обнаруживается, что спонсор исследования — Prezi. Спонсор исследования, которое доказывает, что Prezi хорошо — это Prezi.

Не удивительно. Это не значит, что исследование полностью лажа, надо смотреть. Гарвард, по-прежнему, неплохо, там один из авторов исследований — Стивен Косслин. Это очень уважаемый человек в нейрофизиологии, и у него есть хобби, он исследует презентации. Т.е. может быть это правда. Я посмотрел, наверно, по Скайпу Prezi хорошо использовать.

Ищите по-новее. Особенно в социальных науках, в социальной психологии последнее время очень большой кризис воспроизводимости, и там даже мета-анализу доверять нельзя. Там нужно искать предварительно зарегистрированную мультилабораторную репликацию, когда много лабораторий одновременно на большой выборке ставят один и тот же эксперимент, и потом публикуют результаты независимо. У таких исследований выше достоверность, чем у мета-анализа, просто потому что мета-анализ анализирует только то, что опубликовано.

Вот мы дошли до Альберта Мергабяна и 93% невербальной коммуникации.

Погуглите Albert Mehrabian, цифры хорошо гуглятся. Вы обнаружите, что очень старое исследование, очень плохо сделанное, но по стандартам того времени, это стандарт 50-х, социальная психология сильно изменилась за последнее время.

Если вы видите всего одно исследование, это очень удобно, потому что вы говорите: «а вот ученые доказали». Но ищите какие-нибудь мета-анализы, когда анализируется массив статей по какой-то теме, ищите тематические обзоры, просматривайте массивы статей.

Если вы видите в исследованиях опросы, спросите себя, будет ли этот опрос надежным. Опросы часто ненадежны, особенно в маркетинговых исследованиях.

Ищите исследования, где смотрели на поведение людей, а не на то, что они говорят, это более достоверно, более надежно.

Есть такой анекдотический пример, когда у людей спрашивают сколько часов вы смотрите телевизор. Они говорят 7 часов в неделю, а коробочка Нильсона, которая регистрирует «телесмотрение», показывает, что 5 часов в день, представляете?

Но и ни то, ни другое неправда, на самом деле. Потому что Нильсон регистрирует только то, что телевизор включен, он не регистрирует то, что телевизор на самом деле смотрят. У большинства людей телевизор работает как радио, они приходят домой, включают его и он работает на фоне. И они в опросах говорят, что мы не смотрим его. Но это не значит, что опрос верен. Истина где-то посередине, надо стараться её найти.

Часто говорят «существенный эффект», имеется в виду статистически существенный, т.е. это на самом деле очень маленький эффект. Если вы увидите число R, его нужно возвести в квадрат. Т.е. там R обычно меньше единицы, вы возводите в квадрат, получается ещё меньше. Это и есть процент объясняемых расхождений. Т.е. 25% рабочих результатов объясняется критическим мышлением. Не 100%, не 98%, но и не 7%. Как мы получили 25%? Мы 0,5 возвели в квадрат.

Смотрите, пожалуйста, на надежные исследования. Больше 100 человек в выборке — нормально, 25 — плохо. Очень легко получить случайный шум.

Есть такой тренажер по ссылке, где можно догадываться по ряду параметров, воспроизведется исследование или нет, насколько оно вообще надежно.

Например, это исследование, могут ли люди догадаться по позе теннисиста, по невербальной коммуникации, понять, какие эмоции он испытывает, не видя его лица.

Здесь p — это вероятность того, что этот результат получится случайным образом, очень маленький 0,0000000015. Размер эффекта — 0,961. Очень большой эффект, но в группе было всего 15 человек. Вот на 15 человеках как вы думаете воспроизведется это или нет? Здесь воспроизведется, потому что запредельно маленький p и запредельно большой эффект. Если бы был не такой маленький p и не такой большой эффект, то было бы всё по-другому.

Оценивайте качество публикации: репутация журнала, спонсорство, импакт-фактор. Импакт-фактор — сколько раз цитируют статьи из этого журнала, он динамически пересчитывается. Если у журнала импакт-фактор 4 — это очень хороший журнал, 2,5 — неплохой. Спонсорство, свежие исследования, мета-обзоры, надежность опроса, размер эффекта, количество участников.

Ошибки по-прежнему случаются, т.е. ничему не нужно верить, ничто на 100% не достоверно. Оценивайте уровень вашей уверенности. Я вам предлагаю шкалу у американских юристов позаимствовать, я ей пользуюсь, на сколько процентов ты уверен.

Статистика — лучшее доказательство, экспертные мнения — это сокращенная статистика, истории — единичные случаи, логика для всего остального, довольно надежно, но, конечно, рассуждая сидя в кресле, можно тоже сильно ошибиться.

Я очень могу порекомендовать этот курс, он на английском языке, там нет видео, там только текст. Он очень хороший, я его прошел с большим удовольствием. Evidence-Based Practice
in Management and Consulting — менеджмент и консалтинг, основанные на доказательствах. Это вас может заинтересовать, если вы работаете в бизнесе, если вы менеджер или консультант.

Ну и наконец последнее — альтернативы. В целом про альтернативу мы уже частично поговорили, это вопрос: а почему ещё это может быть? Есть какое-то утверждение, мы к нему видим какие-то доказательства, и мы себя должны спросить: а есть ли ещё какие-то варианты? Приведу пример, есть такой вопрос:

Как вы думаете, полезно? Кто-то думает, что полезно, кто-то думает, вредно.

Я совсем недавно видел результаты исследования, это мета-обзор хорошего качества, на мой субъективный взгляд. Большинство исследований, особенно исследований высокого качества, показали, что те, кто избегал потребления мяса, имели существенно более высокие риски депрессии, тревожности и/или причинения себе вреда.

Перевожу на человеческий язык: люди, которые не едят мяса, чаще страдают от депрессии. Возникает вопрос: насколько чаще? Я уже забыл, но там существенно, статистически существенно, не очень большой процент, 10-20%, но 10-20% это всё равно довольно много.

Критическое мышление первого порядка — это когда мы говорим себе, смотрите, вообще исследования о питании очень ненадежные, прямо сильно ненадежные. Если мы начинаем обобщать ненадежные исследования, мы получаем не очень надежный результат. Надежность мета-анализа на базе когортных исследований невелика, но по-прежнему она выше, чем надежность мнения инстаблоггера. Правда, вот это вот надо понимать, что то, что есть это несовершенно, но это лучше чем альтернатива. Вот это очень важно.

Мышление второго порядка — это когда ты думаешь, а может быть в вегетарианцы идут люди, которые более склонны к депрессии, которые более невротичны, которые больше склонны беспокоится по поводу своего здоровья, может у них есть предрасположенность? Важно об этом подумать.

Критическое мышление третьего порядка — это когда ты понимаешь, что оба эти условия могут выполняться одновременно. Т.е. может быть такое, что в вегетарианцы идут невротичные люди, но может быть, что и мясо тоже как-то влияет. И то, и другое одновременно работает. 5% одного, 5% другого — в сумме получается 10%. Почему нет? Это возможно.

Последнее, и может быть, самое главное — это умение различать то, что если мясо есть полезно, это не значит, что мясо есть этично. И наоборот. У меня могут быть любые мнения по поводу гуманности или негуманности мяса. Насколько держать свиней в узких клетках, это вообще позволительно мне как человеку? Всё, что угодно я могу про это думать, но про качество исследований это никак не говорит. Вполне возможно, что вегетарианцы по-прежнему склонны к депрессии, ничего не поделаешь.

Мы не можем всё знать, но в наших силах абсолютно точно засомневаться и погуглить. Я догадываюсь, что вы будете гуглить, только если вам нужно защищать своё мнение. Перед тем как выходить на сцену, погуглите, пожалуйста, сильно спасает. Не нужно ничему на 100% доверять, но умеренно надежную информацию имеет смысл рассматривать.

Я всё больше и больше убеждаюсь, что человек, который на сцене очень долго и уверенно говорит, просто не разбирается в том, о чём он говорит. Категоричность — признак непрофессионализма.

Конечно, очень хорошо бы искать не только подтверждения, но и опровержения для своих мнений. Хорошо бы понять и разобраться не только, чем критическое мышление полезно, чем оно симпатично, но и чем оно вредно. Полезно и вредно, эти вещи друг друга не исключают, поэтому оно может быть полезно и вредно одновременно.

Я очень сильно призываю вас развивать критическое мышление в себе, но это работает, только если вы окружаете себя людьми, для которых важно критическое мышление.

Развивайте критическое мышление в ваших собеседниках. С кем-то вы поругаетесь, боюсь это неизбежно, но в целом, критичность вашего мышления зависит от вашего социального окружения. Работайте в командах, критически мыслят люди в командах, это самое основное, что я хотел вам сказать.