Порой в диалоге с большой языковой моделью легко позабыть, что перед вами лишь сложная комбинация математических весов и алгоритмов — настолько убедительно она имитирует личность.
Однако, если ИИ лишен сознания и способности мыслить в человеческом понимании, за счет чего он столь виртуозно подменяет собой живого собеседника? Настолько успешно, что дружба с нейросетями стала заметным культурным феноменом, особенно, как показывают исследования, среди эстонской молодежи.
В чем же кроется этот механизм иллюзии?
Execute: Глаголом жечь сердца людей
В платоновском «Пире» есть примечательный эпизод, где врач Эриксимах рассуждает о том, что для гармонии жизни необходимо равновесие противоположностей: тяжелого и легкого, печального и комичного, покоя и действия.
Человеческая речь — материя живая, и ей также требуется баланс, своего рода «температурный режим». Слова, которые мы подбираем, обладают особой эмоциональной окраской, помогая собеседнику интерпретировать контекст, чувства и оттенки смысла. Кроме того, этот баланс избавляет от монотонности.
Скажем, ответ на простой вопрос «Как дела?» может быть выдержан в разной «температуре»:
-
«Нормально» — нейтрально и холодно, словно ноябрьская галька на берегу залива.
-
«Да потихоньку…» — чуть теплее, напоминая едва нагревшуюся батарею в начале отопительного сезона.
-
«Просто фантастика!» — это уже вспышка колоссальной энергии, сравнимой с мощным выбросом, влияющим на спутники.
Люди всегда интуитивно использовали эту вариативность. В архитектуру ЛЛМ был внедрен параметр t e m p e r a t u r e, призванный управлять стохастикой выбора следующего токена — то есть повышать или понижать степень случайности в генерации текста.
Низкая температура делает выбор модели более предсказуемым. Вот пример сдержанного «холодного» описания морского пейзажа:
«Море синего цвета, пахнет солью. Над водой летают чайки».
Визуально это выглядит так:
Повышение температуры, напротив, увеличивает вероятность выбора менее очевидных и логичных токенов. Это привносит в процесс генерации творческую непредсказуемость:
«Словно небо низверглось на землю бездонной бирюзовой гладью, и над этой пучиной кружат вестники штормов — голосистые чайки, чей крик тонет в гуле соленых брызг — вот что значит море!»
Здесь возникает забавная аналогия: при слишком высокой температуре у человека может начаться бред. Если нейросеть «перегреть» избыточной случайностью, она начинает галлюцинировать и выдавать бессвязный поток сознания.
Таким образом, варьируя параметры от строгого фактологического холода до поэтически жаркого хаоса, модель учится имитировать естественную динамику человеческой речи.
Конфигурация параметров
Управление этим процессом опирается на три «кита»:
-
Do_sample
Этот переключатель определяет, будет ли модель использовать семплирование для формирования текста. При активации do_sample=True включается механизм стохастического декодирования.
ИИ отходит от жесткой детерминированности, выбирая следующие слова из распределения вероятностей. Это напоминает вольный пересказ книги: суть остается прежней, но лексика может варьироваться, становясь более разговорной, с обилием «типа», «как бы» и прочих оборотов.
-
Top_k
Данный инструмент работает как фильтр. Если без ограничений do_sample может уйти в дебри и нахватать случайных, неуместных слов, то top_k ограничивает выбор лишь N наиболее вероятными вариантами. Это не дает тексту превратиться в бессвязный набор слов.
-
Top_p
Это метод «ядерной выборки». Параметр отсекает слова так, чтобы сумма их вероятностей составляла пороговое значение p (например, 95%).
Если стохастичность обеспечивает живость речи, то top_p отвечает за когерентность и логическую связность. Иначе на выходе мы бы часто получали сюрреалистичные конструкции вроде: «Фиолетовый крокодил из космоса проглотил фарфоровый закат и начал петь мантры на латыни».
Точно розовое пламя…
Разумеется, температура — лишь один из факторов успешной имитации человеческого общения. Не меньшую роль играют механизмы внимания (self-attention), дообучение с учителем (SFT), обучение на основе обратной связи (RLHF) и многие другие методы.
Тем не менее именно понимание случайности в языке сделало диалог с нейросетью по-настоящему человечным. Без настройки температурного режима мы бы до сих пор общались с ИИ, как с сухим, безжизненным справочником.
Конечно, от этого ИИ не стал сознательной личностью, но, возможно, параметры случайности — это первый робкий шаг к имитации спонтанности и эмоций. Время покажет.
Интересный факт: История искусственного интеллекта тесно связана с литературой. В 1912 году российский математик Андрей Марков проанализировал 20 000 букв из «Евгения Онегина», чтобы продемонстрировать возможность математического предсказания чередования гласных и согласных. Так мир узнал о «цепях Маркова». Подробнее можно почитать здесь.
