«Селдон»: как я обучала модель предсказывать войны и девальвации без подсказок из будущего

Прокомментировать Просмотры: 0

Главная страница проекта: для каждого события показаны три страны с наибольшей вероятностью

Я попыталась создать психоисторию на открытых данных. Вот что получилось

Трилогию Айзека Азимова «Основание» я прочитала в 2014 году в Донецке, во время обстрелов. Её герой, математик Гэри Селдон, создал психоисторию. Эта наука не предсказывает поступки отдельного человека, зато способна рассчитать движение миллиардов людей и за столетия предвидеть войны и падение империй.

Так появилась идея моего проекта. По образованию я физик, по профессии — продакт-менеджер. Спустя двенадцать лет я решила проверить более приземлённую версию психоистории: можно ли с помощью открытых данных оценить вероятность войны, валютного обвала или банковского кризиса в конкретной стране?

Я построила модель для 174 стран и по очереди проверила на ней предпосылки психоистории. Почти ни одна не выдержала проверки.

На каких предпосылках основана психоистория

В мире Азимова наука Селдона действует при нескольких условиях. Людей должно быть очень много — как молекул в газе. Они не должны заранее знать предсказание. Общество должно подчиняться законам, подобным физическим, а судьба множества людей — не зависеть от воли одного человека.

Мой проект называется «Селдон». Он оценивает вероятность четырёх событий: начала войны, девальвации за год, резкого изменения курса за месяц и банковского кризиса. Я использую исключительно открытые источники: базу конфликтов Уппсальского университета, статистику МВФ и Всемирного банка. Код и все отчёты опубликованы на GitHub; ссылка — в конце статьи.

Расскажу по порядку, что произошло с каждой из предпосылок Селдона.

«Людей много, как молекул в газе»

В стакане воды столько молекул, что их число записывается с двадцатью четырьмя нулями. Благодаря огромному количеству частиц давление газа предсказуемо, хотя каждая молекула движется по собственной траектории.

В моей модели роль «молекул» досталась не людям, а странам. Их 174, а событий ещё меньше. За тридцать лет в мире началась 151 война. В моей выборке 246 девальваций, из которых 37 пришлись на 15 постсоветских стран. Банковских кризисов, подходящих для проверки модели, оказалось всего девять.

На девяти событиях закон больших чисел не работает. Любую оценку, полученную на такой выборке, приходится сопровождать широким интервалом неопределённости. Для банковских кризисов этот интервал почти достигает уровня случайного угадывания.

Первая предпосылка отпала сразу. Селдон рассчитывал поведение населения целой Галактики, а в моём распоряжении — статистика по нескольким сотням случаев.

«Никто не знает будущего»

По Селдону, люди не должны знать прогноз. В моём случае будущее не должна знать сама модель. Это кажется очевидным, однако именно здесь я допустила самые серьёзные ошибки.

Поначалу результаты выглядели впечатляюще. Качество я измеряю показателем AUC (area under the ROC curve). Он отражает, как часто модель ставит страну, где впоследствии случится кризис, выше страны без кризиса. Значение 0,5 соответствует случайному угадыванию, а 1,0 — идеальному результату. Для девальваций я получила 0,77.

Затем проект прошёл внешний аудит, который показал: модель подглядывала в будущее.

Самый наглядный пример связан с рублём. В макроэкономических базах указывается средний курс за год. Рубль обвалился в декабре 2014-го, поэтому средний курс за 2015 год был значительно слабее, чем за 2014-й. Модель «предсказывала» кризис 2015 года, хотя обвал уже произошёл и его последствия присутствовали в исходных данных.

Когда я перешла к сравнению курса в декабре одного года с декабрём другого, результат изменился. Прежде за год до обвала Россия занимала 10-е место в мире по уровню риска. После исправления — 60-е из 121. На самом деле этот кризис модель не предвидела.

Такие ошибки называют утечками будущего. Я обнаружила несколько подобных случаев. Например, годовой показатель ВВП публикуют только следующей весной, а модель располагала им уже 1 января. После устранения утечек AUC снизился с 0,77 до 0,67.

Сейчас в проекте 121 автотест, и 65 из них проверяют одно и то же: тест берёт дату прогноза и намеренно портит все данные после неё. Если прогноз хоть немного меняется, значит, модель заглядывает вперёд.

«Общество подчиняется законам физики»

Как физику мне особенно хотелось подтвердить именно эту предпосылку. В теории сложных систем существует идея критического замедления: перед фазовым переходом система всё медленнее возвращается к равновесию, а её колебания усиливаются. Таким образом ищут ранние признаки гибели экосистем и резких изменений климата.

Я проверила, усиливаются ли колебания валютного курса перед девальвацией. Выяснилось обратное: у стран с привязкой валюты к доллару именно спокойный курс оказался признаком надвигающейся опасности.

Причина проста и к физике отношения не имеет. Центробанк до последнего удерживает курс, расходуя валютные резервы. Снаружи всё выглядит спокойно, но внутри системы заканчиваются деньги. Затем курс отпускают, и он резко падает. Здесь нет критического замедления — есть человек, управляющий рычагом.

На данных о войнах идея тоже не сработала, хотя по другой причине. Я изучала помесячные боевые потери на годовых отрезках. В 80 % таких отрезков все значения равны нулю. Колебаниям просто не из чего возникнуть.

«Поведение масс раскрывает будущее»

Психоистория наблюдает за поведением миллионов. Я попыталась сделать то же на российских данных: взяла архив новостей Lenta.ru за двадцать лет и подсчитала, как часто в нём упоминаются курс, кризис и банки. Затем добавила данные о вкладах населения в разных валютах и покупке валюты населением.

Все три источника оказались скорее термометром, чем барометром. Люди идут в обменники с рублями в месяц обвала или позже. Пресса начинает писать о кризисе, когда он уже наступил. Заметного опережения почти нет.

В 2014 году резервы сокращались с мая по сентябрь, а пресса на протяжении этого времени молчала.

Уточню: эту часть исследования я выполнила до аудита и с тех пор не пересчитывала. Поэтому здесь я привожу только общий вывод, без конкретных цифр.

«Один человек ничего не решает»

В «Основании» план Селдона разрушает Мул — мутант, единственная личность, которую его уравнения не смогли учесть. Так Азимов сам обозначил слабое место придуманной им науки.

Модель довольно хорошо распознаёт страны, где война назревает годами: с бедностью, слабым государством и конфликтами у соседей. Но есть войны, возникающие «из тишины», и в моих данных они играют роль Мула. За год до 2014-го Украина занимала в рейтинге модели 43-е место из 138 стран. Сирия перед 2011 годом была на 49-м месте, Ливия — на 67-м.

На результате для Украины я задержалась надолго. Моя модель не предсказала бы войну, во время которой я читала Азимова.

Когда решение принимает узкий круг людей, годовая статистика ничего о нём не сообщает. То же происходит, если война становится частью волны революций.

С валютными кризисами ситуация похожая. При прогнозировании на год вперёд в постсоветских странах моя модель работает хуже случайного угадывания: её результат — 0,42–0,47. Она учитывает внутренние показатели каждой страны, тогда как обвалы 1998 и 2014 годов пришли извне и затронули весь регион через нефть и рубль.

Проверка месячной валютной модели на постсоветских странах
Проверка месячной модели валютного риска на постсоветских странах

Страница проверки на сайте проекта. Для постсоветских стран модель ошибается чаще, чем простое правило, которое назначает всем среднюю частоту событий. Этот неудачный результат опубликован наряду с успешными.

Что всё же работает

После такого перечня закономерно спросить, удалось ли получить хоть какой-то результат. Да — и лучше всего сработали самые непримечательные решения.

Для прогноза войн эффективнее всего оказалась простая формула с несколькими признаками: детской смертностью как показателем бедности, типом политического режима, войной у соседей и собственной историей конфликтов страны. Её качество — 0,825. Перед войной 2020 года Азербайджан занимал в рейтинге 3-е место из 131 страны, Армения — 12-е. На первую десятку списка пришлось 44 % всех новых войн. При случайном порядке было бы 7 %.

Для валютных кризисов полезной оказалась именно та привязка курса, на которой не подтвердилась идея из физики. Страна удерживает курс, внутренние цены растут быстрее, чем у торговых партнёров, а резервы сокращаются. Я называю это сжатой пружиной. Годовая модель с подобными признаками за год до обвала поставила Беларусь в 2015 году на 1-е место из 119 стран. Украина и Россия перед кризисом 1998 года заняли соответственно 1-е и 3-е места из 96.

Лента исторической проверки: Беларусь-2015 на первом месте из 119
Историческая проверка: Беларусь в 2015 году занимает первое место из 119

Каждая строка обозначает год, каждая отметка — страну. Чёрная точка означает, что кризис произошёл. Чем левее она расположена, тем выше модель оценивала риск. Чёрные точки справа показывают пропущенные кризисы.

Более сложные методы преимуществ не дали. Ни градиентный бустинг, ни деревья решений не превзошли обычную логистическую регрессию. Не помогли и дополнительные признаки: идеология правящей партии, голосования в ООН, подробные индексы демократии. Каждый из них я проверила и внесла в отчёт с нулевым результатом.

С банковскими кризисами я поступила проще. Для работы модели нужны рыночные процентные ставки и данные о кредитовании, но они доступны лишь для 26 из 174 стран. Для остальных 148 сайт вместо оценки объясняет причину её отсутствия. Россия входит в их число.

Что осталось от психоистории

От науки Селдона сохранилось немного. Событий недостаточно для действия закона больших чисел. Идея из физики не подтвердилась там, где валютный курс удерживают люди. Газеты и вкладчики реагируют на кризис, когда он уже начался. А годовая статистика не позволяет заранее увидеть войну, подобную украинской.

В итоге получился более скромный инструмент: список стран с оценками вероятности и указанием областей, в которых модель бессильна. Она не ответит, начнётся ли война в конкретной стране, но покажет, куда стоит обратить внимание прежде всего.

Ответ на вопрос, который занимал меня во время чтения Азимова в 2014 году, оказался неприятным: по открытой статистике моя модель не смогла бы предсказать ту войну.

Главный урок проекта для меня таков: эффектная цифра ничего не стоит, пока неизвестно, какими данными модель располагала в момент прогноза. Поэтому раз в месяц я фиксирую прогнозы в репозитории. Через год их можно будет сопоставить с реальными событиями. Подогнать результаты такой проверки задним числом уже не получится.

Проект открыт, и я буду рада критике. У меня остаются три вопроса без ответа.

  1. Как распознать год общего удара? С 1996 года произошло три-четыре крупные волны девальваций. Добавление цен на нефть и курса доллара дало первое улучшение, но модель легко может просто запомнить такие эпизоды.

  2. Что может предупредить о войне «из тишины»? Протесты, перевороты, военные бюджеты и публикации в газетах я уже проверила — они не помогли.

  3. Где модель по-прежнему заглядывает в будущее? Обнаруженная утечка будущего — самый ценный отчёт об ошибке, который я могла бы получить.

Код, тесты и отчёты, включая все отрицательные результаты: github.com/unicat-42/seldon.

 

Источник

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов