Стремительное развитие технологий искусственного интеллекта привело к неожиданным последствиям: индустрия столкнулась с острой нехваткой мощностей для хранения данных, что стало серьезным испытанием для проектов по архивированию интернета. Как сообщает издание 404 Media, повышенный спрос спровоцировал дефицит NAND-памяти и жестких дисков, в результате чего стоимость накопителей большой емкости подскочила в три раза.
Наиболее уязвимым оказался проект Internet Archive, главной задачей которого является сбережение цифрового наследия. Объем хранилища организации уже достиг 210 петабайт, а ежедневный приток новой информации составляет порядка 100 терабайт, что требует колоссальных финансовых вложений. Брюстер Кейл, основатель ресурса, подтвердил, что приобретение высокоемких накопителей на 28–30 ТБ превратилось в сложный квест: востребованные модели либо дефицитны, либо предлагаются по завышенным ценам.
Аналогичные трудности испытывает и Wikimedia Foundation. Представители фонда подчеркивают, что ценовая турбулентность затронула не только сегмент накопителей, но и поставки серверного оборудования, что крайне затрудняет долгосрочное планирование инфраструктурных мощностей.
Ситуацию усугубляет и то, что многие владельцы сайтов начали активно препятствовать работе сканирующих ботов. Опасаясь неконтролируемого сбора контента для обучения нейросетей, веб-ресурсы закрывают доступ даже для тех инструментов, которые выполняют социально значимую функцию сохранения истории интернета. Таким образом, хранители данных вынуждены бороться не только с непомерными расходами на «железо», но и с растущими барьерами при сборе информации.
Источник: iXBT
