Недавние исследования показывают, что крупные языковые модели (LLM) совершенствуются в умении предсказывать будущее. Тем не менее я сомневаюсь, что они превзойдут лучших человеческих аналитиков или смогут проследить ход истории с точностью физического эксперимента.
Дело в том, что LLM опираются исключительно на анализ текстов, а этого недостаточно для надёжных долгосрочных прогнозов.
Мы знаем, что слова меняют смысл: язык — это не вечная данность. Достаточно обратиться к Чосеру или Шекспиру. И всё же, как цена валюты стабилизируется миллиардами операций, лексическое значение фиксируется массовым употреблением.
Именно эта устойчивость делает возможным предсказание следующих слов в предложении: без надёжных ассоциаций между словами статистическая модель не справилась бы со своими задачами.
Однако, подобно взлёту гиперинфляции в Веймарской Германии, лексемы порой переживают внезапные семантические сдвиги. Кто в 1990-х мог представить, что «телефон» через двадцать лет станет в первую очередь игровым и коммуникационным центром?
Такие «семантические виражи» связаны с технологическими и культурными инновациями, которые лишь частично отражаются в языке. Поэтому текстовых данных недостаточно, чтобы предвосхитить новый виток изменений.
Проще говоря, язык отстаёт от практических новшеств, а не опережает их. Следовательно, LLM вряд ли смогут предугадать следующий крупный смысловой поворот.
Векторные вложения: когда слова превращаются в числа
Чтобы понять ограничения LLM, важно разобраться в механизме векторных вложений — числовых представлениях слов и фраз, лежащих в основе современных ИИ.
Как объясняет инженер IBM Мартин Кин:
Векторные вложения переводят слова в точки многомерного пространства, где близость отражает смысловое родство, а направление и расстояние кодируют степень сходства контекстов.
Иными словами, похожие по значению слова группируются рядом, а математические операции над векторами позволяют находить скрытые связи.
Здесь видно два кластера: «королевские термины» и «фрукты». Но есть и пересечение — «принцесса» и «персик» сближаются благодаря одному контексту: игре Super Mario Bros.
После преобразования слов в векторы их можно сохранять в базе данных, где расстояния и направления служат для семантического поиска и генерации ответов LLM.
Понимание того, что нейросеть — это сложный статистический механизм, а не мистический оракул, помогает формулировать более точные запросы.
Попробуйте свои силы с BotHub.
Сравнивайте ответы, настраивайте промпты, не беспокоясь о VPN и расплачиваясь привычными банковскими картами.
Получите 100 000 бесплатных токенов и начните работать с нейросетями прямо сейчас.
Миграция смыслов
Хотя LLM доступны публике всего несколько лет, учёные применяют векторные вложения, чтобы проследить эволюцию языка на протяжении столетий.
В статье «Диахронические векторные вложения слов: статистические законы семантических изменений» проанализированы корпуса на четырёх языках за два столетия. Исследователи проследили, как слова мигрируют в векторном пространстве, и выявили две ключевые закономерности.
Во-первых, часто употребляемые слова («и», «в», «вы») практически не меняют смысла — «закон конформизма». Во-вторых, полисемичные слова эволюционируют быстрее — «закон инноваций».
Но можно ли, исходя из этих закономерностей, предсказать будущие смысловые сдвиги?
Возможности и случайности
Короткий ответ: нет. Статистические законы лишь указывают на вероятность, но не раскрывают конкретный курс изменений.
В 1975 г. можно было оценить шанс сближения «принцессы» и «персика» в семантическом пространстве, но предугадать появление образа Принцессы Пич было невозможно.
Это подводит нас к главному: одного анализа языка недостаточно для прогнозирования общественных и технологических трансформаций.
Возьмём «телефон». Сначала — только голосовая связь. Портативность породила идею текстовых сообщений, затем — простые игры. Прогресс в графике и сенсорном управлении открыл приложения, невиданные первопроходцам изобретения.
Здесь проявляются две базовые концепции: «возможность» (affordance) и «случайность» (contingency).
Психолог Джеймс Гибсон определил «возможность» как свойство среды, предлагающее способы действия: стул — для сидения. Первые телефоны были для разговоров, но их портативность дала шанс на использование экрана.
Стивен Джей Гулд описал «случайность» как непредсказуемые повороты эволюции: если воспроизвести историю вселенной заново, результаты могли бы быть совсем другими.
Воплощённый ум вместо сухих векторов
Сложив воедино возможности и случайности, мы понимаем: язык лишь отражает верхушку когнитивного айсберга. Мы — «воплощённые умы», чьё восприятие формируется телом и сенсорными впечатлениями.
Это означает, что развитие языка зависит не только от его предыдущих форм, но и от физического взаимодействия с миром. Пример с телефоном ярко это демонстрирует: многие ключевые изменения становятся ясными лишь на практике.
Общение с LLM — всё равно что заглядывать в хрустальный шар, в котором видно лишь прошлое. Их архитектура позволяет экстраполировать языковые тенденции, но упускает из виду возможности и случайности, формирующие человеческую историю.
Возможно, когда-то ИИ обзаведутся собственным «телесным» опытом и смогут строить семантические модели, опираясь на чувственный опыт. А пока вспомним слова Йоги Берры:
«Трудно делать прогнозы, особенно ги необ кража зшуав ҳдагруд.»
А теперь ваше мнение: согласны ли вы с тем, что настоящее предвидение требует физического «воплощения» и прямого взаимодействия с миром? Делитесь мыслями в комментариях!
