ИИ как пожиратель литературы: издательства массово уничтожают оцифрованные книги ради обучения нейросетей

Разработчики систем искусственного интеллекта развернули масштабную скупку физических изданий для тренировки своих нейросетей, после чего безжалостно утилизируют литературу. Журналисты 404 Media выяснили, что поставки осуществляются через сеть контрагентов, что позволяет заказчикам сохранять анонимность. Масштабы впечатляют: единовременно приобретаются партии объемом от одной тысячи до миллиона экземпляров, причем алгоритмы отбора совершенно не привередливы — скупают всё подряд, невзирая на жанровую принадлежность, популярность авторов или узкую специализацию.

Заметным игроком на этом теневом рынке стала платформа ISBNdb. Если раньше этот ресурс специализировался на поддержке библиотечных фондов и книжных лавок, то теперь он переориентировался на оптовые поставки печатной продукции для нужд индустрии машинного обучения.

Букинисты фиксируют многократный скачок спроса: если ранее торговые точки сбывали не более двух десятков изданий еженедельно, то сегодня речь идет о сотенных партиях. Схожие изменения наблюдают и независимые торговцы на торговых площадках вроде Alibris и Biblio.

Тенденция применения бумажных носителей для тренировки нейросетей ранее всплывала в рамках судебных разбирательств против корпорации Anthropic. Компания приобретала литературу, привлекала сторонних подрядчиков для оцифровки, после чего корешки книг безжалостно срезались для ускоренной потоковой обработки на промышленных сканерах — такой радикальный метод обходится значительно дешевле бережного сканирования.

Хотя служители Фемиды сочли применение легально купленных экземпляров правомерным в рамках доктрины добросовестного использования (fair use), Anthropic параллельно отбивается от претензий из-за обладания архивом из семи миллионов пиратских электронных книг. Параллельный судебный процесс инициировали книгоиздатели против компании Google, обвинив ее в несанкционированном задействовании защищенных копирайтом произведений для совершенствования семейства моделей Gemini.

Авторы расследования подчеркивают, что литература обрела статус дефицитного и крайне ценного сырья для обучения алгоритмов, поскольку написана людьми и свободна от «цифрового мусора», генерируемого нейросетями. Тревожным фактором остается судьба уникальных и библиографически редких изданий: из-за вандальского метода оцифровки они исчезают физически навсегда, оседая в закрытых репозиториях, доступных исключительно создателям искусственного интеллекта.

Источник: iXBT