Погружение в мир смыслов: как структура LLM облегчает работу с семантикой и поиск новой теории познания

Погружение в мир смыслов: как структура LLM облегчает работу с семантикой и поиск новой теории познания

Когда в прошлом путь между континентами занимал месяцы и карты украшали пояснения «здесь живут драконы», наше представление о мире было соткано из легенд и догадок. Сегодня мы с лёгкостью открываем точную онлайн-карту планеты и прокладываем маршруты за секунды. Аналогичный прорыв грядёт сейчас в нефизическом пространстве — мире идей и смыслов: благодаря нейросетям и большим языковым моделям мы впервые получаем детальную «карту» семантического пространства.

Пространство смыслов

Платон ввёл в философию идею мирa идей — отдельной реалии, где обитают вечные образы геометрии, чисел, общих понятий. Вещи материального мира он считал лишь тенями этих идеальных форм. С течением веков мировоззрение менялось, но само понятие оставалось абстрактным. Лишь с появлением векторных баз данных и языковых моделей стало возможным буквально «открыть» и «измерить» это платоновское пространство.

Внутри таких моделей каждое слово или понятие представлено как точка или вектор в тысячемерном семантическом пространстве. Каждое измерение отражает отдельный признак — будь то цвет, материал, эмоция или функция. Хотя человеческий глаз видит лишь три измерения, с векторами мы взаимодействуем алгебраически: вычисляем расстояния, углы и средние.

Близкие по смыслу понятия лежат рядом: «огурец» и «помидор» объединены в кластер «овощи», а он, в свою очередь, соседствует с «фруктами» и «ягодами», образуя масштабную область «съедобных плодов». Структуру можно уподобить вложенным множествам или иерархиям классов в ООП.

Благодаря векторной арифметике можно выполнять операции над смыслами: из вектора «король» вычесть «мужчина» и добавить «женщина» — и мы получим вектор, близкий по смыслу к «королеве». Усреднение нескольких векторов даёт общий концепт, объединяющий исходные понятия.

Любая мысль — это цепочка понятий, то есть траектория в семантическом пространстве. Сон можно представить как скачущую, фрагментарную линию, тогда как поток сознания наяву — более гладкая и непрерывная. Иными словами, Чжуан-цзы в роли бабочки и бабочка в роли Чжуан-цзы — это просто разные треки в этом мире идей.

Новая теория познания

С рождения мы учимся абстрагировать: видя яблоки и апельсины, мы извлекаем общий признак «число», в школе превращаем функциональные зависимые в компактные формулы вроде y = 2x + 1, а в университете сталкиваемся с теорией групп и полугрупп.

Полугруппа — это любое множество с замкнутой бинарной операцией. Вот примеры на языке TypeScript:

add = (x: number, y: number): number
multiply = (x: number, y: number): number
turn = (x: 0|120|240, y: 0|120|240): 0|120|240

Моноид — это полугруппа с нейтральным элементом. Для сложения в целых числах это 0, для умножения в рациональных — 1, для поворота треугольника — 0°:

add(0, 5) === 5
multiply(1, 4) === 4
turn(0, 120) === 120

Группа — это моноид, где у каждого элемента есть обратный: у x при сложении — −x, при умножении — 1/x, при повороте — угол, возвращающий к исходному положению:

add(2, -2) === 0
multiply(3, 1/3) === 1
turn(120, 240) === 0

Ранее я подробно разбирал группы в статье «Язык мироздания — теория групп и теория категорий».

Учёные заметили, что сложение — это многократное прибавление единицы, умножение — многократное сложение, возведение в степень — многократное умножение. Эти уровни операций объединили под термином гипероператор: 4 + 3, затем 4 × 3, 4³ и далее 4 ↑↑ 3 (тетрация) — возведение в степень возведённой в степень.

При изучении форм в разных измерениях обнаружили единую сущность — гиперкуб: точка, отрезок, квадрат, куб, тессеракт и так далее. Каждый срез гиперкуба — это фигура на один размерность меньше.

Гиперкуб в восьми измерениях
Гиперкуб в восьми измерениях — поворачивать его мысленно на 45° может разве что Григорий Перельман.

Главное открытие кибернетики в том, что разные науки — от биологии до информатики и социологии — можно свести к единым абстракциям, описывающим потоки информации и петли обратной связи. Так эволюция попала в философию у Поппера, став «эволюцией знаний», а мемы у Докинза — в культуру. В машинном обучении естественный отбор обретает форму подкрепляющего обучения: нейронные веса растут и падают, имитируя биологический отбор.

Даже деньги удобно представить как форму энергии: бумажные купюры — лишь мера перехода движения материи из одного состояния в другое. Потратив их, мы переводим «энергию» в снижение энтропии дома — уборка комнаты.

Всё это показывает, что хорошая абстракция — функция в семантическом пространстве. Как y = 2x + 1 обобщает множество равенств, так гиперкуб, понятие энергии или теория отбора объединяют сотни конкретных случаев.

На заре познания идея кажется неясным пятном, а окончательно сформулированная теория — огранённым бриллиантом смысла.

Движение в пространстве смыслов

Некоторые физики связывают фундаментальные ограничения Вселенной с информацией. Джон Уилер предложил «it from bit» — всё из бита, а Яаков Бекенштейн вывел верхний предел информации в замкнутом объёме (предел Бекенштейна).

Аналогии возникают и в вычислениях фракталов: при глубоком приближении мы натыкаемся на пределы арифметики с плавающей точкой — ошибки округления разрушают картинку, пока не перейдёшь на медленную строковую математику. Возможно, скорость света — это не простой физический барьер, а граница вычислительных ресурсов: чем выше скорость, тем больше бит информации нужно для «расчёта» следующего «кадра» движущегося тела.

Пока эта идея — скорее необработанная гипотеза, но кто знает, может, когда-нибудь она превратится в ещё один огранённый бриллиант мысли.

P.S. Ещё больше материалов о семантических пространствах, философии, теологии и математике — в моём Telegram-канале.

 

Источник

Читайте также