Оценка независимости ИИ-моделей: философские грани технического задания

У каждой уважающей себя профессиональной сферы обязательно есть собственный арго. И дело здесь вовсе не в стремлении искусственно усложнить коммуникацию или придать себе значимости — специфическая лексика рождается сама собой из потребности в точном описании устоявшихся концептов. Так постепенно складываются предметные тезаурусы и онтологии. С естественными же языками ситуация обстоит на порядок сложнее.

Ключевую позицию здесь занимают тезаурусы как языковые модели смыслов и их взаимосвязей. Именно они выступают фундаментом взаимопонимания и достижения консенсуса. Вопросы же онтологии — как моделирования объектов объективной действительности (разумеется, в кавычках, ведь сама категория реальности представляет собой глубочайшую философскую проблему) — мы пока оставим за скобками.

До недавнего времени IT-индустрия вращалась преимущественно вокруг классической computer science, математики, точных финансов и промдизайна. Однако с приходом эпохи LLM этот уютный, камерный мирок, где «свои узнавали друг друга с полуслова», начал стремительно трансформироваться. Начавшись с банальных чат-ботов и голосовых ассистентов, технология переросла в принципиально новый формат информационного поиска, попыток управления физической реальностью и даже вынесения автономных суждений на ее основе.

Что примечательно, поисковая парадигма заметно упростилась. Если раньше разработчики отчаянно конкурировали за лидерство в бесконечных простынях выдачи, то сегодня стандарт — максимум три позиции. Генерация контента ресурсоемка, и сформировать даже топ-три ответа, представляющих собой емкие смысловые кортежи, — уже серьезное технологическое достижение.

Справедливости ради, задача валидации и верификации полученного материала стала двоякой. С одной стороны, анализировать гигантские массивы первоисточников больше не нужно; с другой — усложнилась проверка самих речевых конструкций на адекватность, наличие скрытых смыслов и потенциальных деструктивных подтекстов.

Сама потребность в подобной цензуре выглядит вполне обоснованно сквозь призму этики и права. Как бы яростно ни отстаивали абсолютную свободу слова апологеты либертарианства, определенные рамки существуют даже у них. Классический пример — пресловутая «культура отмены». Не говоря уже об очевидной необходимости защиты государственной тайны, коммерческих секретов и элементарного права на частную жизнь.

Именно из таких соображений логично исходит современный законодатель. В конце концов, традиционные, то есть разделяемые большинством базовые ценности как ориентиры поведения присутствуют в любом социуме. Несмотря на атомизацию общества, расцвет индивидуализма и размывание ценностных ориентиров, мы по-прежнему делим общее пространство, а значит, вынуждены вырабатывать общие правила взаимодействия.

Высказанные соображения служат отправной точкой для дальнейшего анализа: полностью отбросить ограничения вряд ли удастся, сколь бы горячо мы ни жаждали абсолютной свободы слова. Следовательно, необходимо искать прагматичные пути выхода из этой коллизии.

В качестве иллюстрации уместно вспомнить судебный иск к OpenAI, создателей которой обвиняют в том, что они не сообщили правоохранительным органам о готовящемся пользователем преступлении. Фокус здесь не столько на оценке действий менеджмента корпорации, сколько на самом факте: нейросеть предоставила несовершеннолетнему сведения, непосредственно задействованные в подготовке противоправного деяния.

Разобравшись с этим базисом, мы можем вплотную подойти к проблеме суверенного искусственного интеллекта и его соответствия заданным нормативам — будь то традиционные или любые иные ценности. Абстрагируя проблему, можно констатировать наличие перманентной потребности в бесконфликтном сосуществовании различных социальных страт внутри единого государственного пространства.

В статье 4 нового закона об ИИ зафиксирован ряд принципиальных требований к регулированию отношений в этой сфере:

3) обеспечение прав, свобод и законных интересов человека
и гражданина;

4) уважение автономии и свободы воли человека;

6) пункт Б) учет и уважение традиционных российских духовно-нравственных ценностей — обеспечение применения больших фундаментальных моделей искусственного интеллекта на основе таких ценностей, как жизнь, достоинство, права и свободы человека, патриотизм, гражданственность, служение Отечеству и ответственность за его судьбу, высокие нравственные идеалы, крепкая семья, созидательный труд, приоритет духовного над материальным, гуманизм, милосердие, справедливость, коллективизм, взаимопомощь и взаимоуважение, историческая память
и преемственность поколений, единство народов России;

 

Таким образом, наша задача распадается на три составляющие:

1. Формирование единого ценностного тезауруса.

2. Его полноценное юридическое закрепление.

3. Проектирование формализованных инструментов валидации и верификации на его основе.

Вот как описывают создатели отечественный бенчмарк RUBIN, разработанный платформой «Мера»:

«текстовый датасет элементов культурного кода русского языка (ВШЭ / Huawei), проверяющий способность моделей понимать фразы и лингвистические явления, специфичные не столько для языка, сколько для его культурной среды: мемы, сленг, песни, фильмы, фольклор, скороговорки, поговорки и смежные явления»

При этом:

«Исходный пул RUBIN включает 5000 стандартизированных вопросов. После HumanEval на носителях языка (Yandex Tasks) вопросы с долей верных ответов людей не ниже 50% образовали подмножество RUBIN-Easy (4216 примеров).»

В итоге итоговый массив насчитывает около восьми тысяч вопросов, где эталонные ответы верифицированы живыми людьми.

Мы сталкиваемся с кейсами, где ответы проверены социумом, что порождает фундаментальную проблему: субъективность как источник и носитель ценностей.

Как отмечает отечественный философ И.И. Докучаев в монографии «Глобальный перфоманс», субъективность носит как индивидуальный, так и надличный характер, причем:

 «ценность есть проекция социально-ориентированной субъективности человека в исторический процесс».  

В другом фрагменте он подчеркивает:

«ценность нельзя понимать как результат произвольной мыслительной деятельности какого-либо субъекта…она не может быть результатом какого-либо научного анализа, абстракцией».

И еще одна ключевая мысль философа:

«ценностные модели порождают все остальные, а не наоборот».

Более того, аксиологические системы принимаются монолитно, они не подлежат логическому выводу или плавной эволюции — возможна лишь радикальная замена одной матрицы другой. Причина кроется в их принципиальной неуязвимости для классического логического анализа. Следовательно, попытки свести тонкую материю ценностей к сухой алгебре заранее обречены на провал. Мы склонны усваивать подобные конструкции целиком и сразу.

Исходя из этого, становится очевидным, что:

1. Сконструировать единую, непротиворечивую аксиологическую модель, органично объединяющую все социальные группы, крайне проблематично. Буддизм и христианство в лучшем случае ортогональны, но никоим образом не сводимы друг к другу.

2. В распоряжении науки попросту отсутствуют математические инструменты, способные корректно и рационально сопоставлять разнородные аксиологические системы».

Здесь без экспертизы философов и филологов обойтись невозможно. Ценностной проблематикой занимается специальный раздел философии — аксиология, тесно сопряженный с деонтологией, изучающей сферу должного. Термин «теория» употребляется здесь осознанно, поскольку прежде всего необходимо концептуализировать предмет, дать дефиниции и выстроить рабочие модели, и лишь затем наполнять их эмпирическим содержанием.

Одно из наиболее емких определений культуры сформулировал Э.С. Маркарян в труде «Очерки теории культуры»:

«Культура есть общий способ человеческого существования, способ человеческой деятельности и объективированный в различных продуктах (орудия труда, обычаях, системе представлений о добре и зле, прекрасном и уродливом, средствах коммуникации и т.д.) результат этой деятельности, который может включать в себя как элементы, имеющие положительное значение для функционирования социальной системы, так и отрицательное значение»

Культурные артефакты могут проявляться как в процессуальной форме, так и в виде материальных объектов.

Другим краеугольным камнем понимания данной проблемы выступает дихотомия формы и содержания. В качестве наглядной иллюстрации приведем тезис О.В. Шимельфенига, озвученный в ходе недавней дискуссии о природе сознания:

«…поваренная книга содержит информацию о супе. Но она не содержит супа. Карта содержит информацию о территории. Но она не есть территория. LLM содержит статистическую модель человеческого опыта. Но она не содержит опыта.

Это не принижение LLM. Это различение уровней. LLM — это карта, след, отпечаток. Это не «седиментированный океан культуры». Это описание этого океана, сжатое до параметров. И описание — не есть описываемое.»

Следовательно, любая модель остается лишь инструментом идеализации отдельных аспектов объективной реальности. Мир ценностей существует как минимум в пространстве культуры, которую Ортега-и-Гассет справедливо охарактеризовал как «сверхприроду», надстраивающуюся над физическим миром.

Любая модель призвана отражать лишь локальные грани, не претендуя на полный изоморфизм. Ее ценность заключается в упрощении, достаточном для прогнозирования реакций объекта в заданных границах. Говоря о ценностной системе, мы вправе ограничиться базовыми экзистенциальными константами.

В контексте LLM ситуация осложняется их статистической и стохастической природой. Отсюда следует принципиальный вывод: ни одна генеративная модель не способна выступать в роли беспристрастного арбитра или гаранта оценки тех или иных высказываний. Более того, мы не можем обеспечить даже идемпотентности, то есть абсолютной воспроизводимости результатов.

Возникает закономерный вопрос: способны ли существующие бенчмарки гарантировать хоть что-то?

И наконец, важнейший сюжет — проблема перевода. Суть трудностей блестяще раскрыта Умберто Эко в книге «Сказать почти то же самое. Опыты о переводе»:

«Что значит „переводить“? Первый ответ, и притом обнадеживающий, мог бы стать таким: сказать то же самое на другом языке. Правда, при этом мы, во-первых, испытываем немалые затруднения, пытаясь установить, что́ означает „сказать то же самое“, и недостаточно ясно осознаем это в ходе таких операций, как парафраза, определение, разъяснение, переформулировка, не говоря уж о предполагаемых синонимических подстановках. Во-вторых, держа перед собою текст, подлежащий переводу, мы не знаем, что такое то́. Наконец, в некоторых случаях сомнительно даже значение слова сказать.»

Наша страна полиэтнична, поликультурна и многоконфессиональна. В этом заключается ее колоссальная сила и одновременно — системная сложность. В прикладном ключе это означает необходимость адаптации подобных бенчмарков под все языки, на которых говорят народы России.

Выводы:

1. GenAI оперирует стохастическими алгоритмами генерации токенов, что по определению исключает гарантии идемпотентности и воспроизводимости результатов.

2. Категория ценности носит глубоко субъективный, стохастический характер, что делает невозможным построение механизмов контроля на основе чисто логического вывода.

3. Теоретически синтез универсального тезауруса, охватывающего все культурные коды, возможен лишь на пересечении локальных систем (различных конфессий, светских мировоззрений и т.д.), что неизбежно ведет к слепым зонам в оценке сложных контекстов.

4. Создание единого словаря ценностей упирается в языковое многообразие народов РФ, требуя серьезной проработки на законодательном уровне.

5. Юридическая ответственность возможна лишь после официального утверждения такого тезауруса законодателем, однако даже это не снимет проблему неоднозначности интерпретаций, зависящих от актуального контекста.

6. Судебные разбирательства в этой сфере неизбежно потребуют института присяжных со всеми издержками неизбежной субъективности каждого заседателя.

7. В конечном счете мы возвращаемся к исходной точке, предшествовавшей буму ИИ, — к жесткому контролю источников, формирующих обучающие датасеты.

8. Перспективные бенчмарки должны опираться не на линейные подборки речевых образцов (хотя с этого неизбежно начнется этап становления), а на многомерные матрицы, объединяющие онтологию ситуаций и тезаурусы дискурсов.

Очевидно, что без глубокого вовлечения философов и филологов решение этой задачи едва ли возможно. Разработчикам профильных моделей придется интегрировать профильных экспертов в свои штаты и возвращать академическую философию в самый центр технологического дискурса вокруг ИИ.

Автор вовсе не стремится доказать бессмысленность этих усилий — напротив, хотим мы того или нет, двигаться в этом направлении придется. Задача статьи заключалась лишь в том, чтобы наглядно продемонстрировать всю масштабность и сложность стоящих перед нами вызовов.

 

Источник