«Марш девяток» Андрея Карпати: как инженерные просчеты бьют по надежности ИИ-систем

В современной индустрии искусственного интеллекта бытует мнение, что 90-процентная надежность системы — это выдающийся результат. Однако Андрей Карпати подчеркивает: даже показатель в 99% пригоден лишь для демонстрационных прототипов, но недопустим в критически важных бизнес-процессах. Концепция «марша девяток» наглядно иллюстрирует, что каждая последующая ступень повышения точности требует экспоненциально больших инженерных ресурсов, в то время как общая устойчивость сложных систем стремительно деградирует из-за накопления микроошибок на каждом этапе.

Рассмотрим стандартный цикл работы ИИ-агента, включающий парсинг, планирование, взаимодействие с инструментами и валидацию. Итоговая вероятность успеха всей цепочки является произведением вероятностей каждого отдельного шага. Если процесс состоит из десяти этапов с надежностью 90% каждый, шансы на корректный итоговый результат составляют всего 35%. Даже при почти эталонных 99% на каждом звене суммарная надежность едва достигает 90%, что неизбежно ведет к регулярным сбоям в реальной эксплуатации.

Для достижения промышленного уровня отказоустойчивости необходимо сместить фокус с простого улучшения моделей на внедрение строгих инженерных парадигм. Карпати выделяет девять фундаментальных принципов: ограничение автономности через структурированные графы задач, жесткое соблюдение контрактов на стыках систем, многоуровневую верификацию данных, риск-ориентированную маршрутизацию и восприятие вызовов внешних инструментов как элементов распределенных систем. Кроме того, критически важны наблюдаемость процессов извлечения данных, непрерывный аудит в среде продакшена, развитая система мониторинга и наличие механизмов ручного перехвата управления с безопасными сценариями отката.

Иллюстрация: Grok

Особая роль отводится измеримым целям по качеству обслуживания (SLO) и тотальной валидации всех информационных потоков. Установление конкретных целевых метрик для каждого процесса и трансформация любого инцидента в новый тестовый сценарий позволяют минимизировать риск повторных ошибок. Такой подход превращает нейросетевые решения в прозрачный и управляемый инструмент, отвечающий требованиям бизнеса.

Практическое воплощение этих идей подразумевает использование строгой типизации, версионирование схем данных, установку тайм-аутов и лимитов на повторные попытки, а также автоматическое переключение на консервативные режимы работы при возникновении аномалий. Именно эти меры позволяют трансформировать ИИ из экспериментальной технологии в надежный фундамент корпоративной инфраструктуры.

Согласно отчету McKinsey за 2025 год, более половины организаций уже столкнулись с негативными последствиями из-за низкой стабильности нейросетей, а каждая третья компания понесла убытки от их неточности. В этих условиях переход от «первых девяток» к промышленным стандартам надежности становится главным условием успешной цифровой трансформации и массового внедрения ИИ в реальный сектор.

Источник: iXBT