Наш вечнолюбимый зеленый «Сбер» утверждает: расходы на ИТ в мире в этом году вырастут на 7,5% до 5,27 трлн долларов. Основная причина — развитие генеративного ИИ. Сейчас бизнес тратит на такие технологии в среднем 4,7% ИТ-бюджета, но в ближайшие три года этот показатель может превысить 7%. Короче, генеративный ИИ тянется к деньгам. .
К сожалению, как показывает рыночная практика, разработчики и инвесторы склонны чересчур оптимистично оценивать результаты, а потому на рынках надуваются технологические «пузыри». Развитие очередного такого образчика мы наблюдаем в текущий политический момент (его даже подкачивают искусственно, выкупают проливы, не дают обвалиться — надо же поддержать на выборах в США сами знаете кого).
Но конец песенке рано или поздно наступит, как об этом завещали и пресловутые «доткомы» рубежа веков, и события 2008 и 2013 годов. Во время кризиса, естественно, многие аналитики и экономисты переобуются («а ведь мы же говорили!») будут предавать анафеме религию искусственного интеллекта и ее последователей-техножрецов.
И тут начнется самое интересное… но об этом чуть позже. Вначале — о «пределах роста» и текущих ограничениях в развитии искусственного интеллекта.
Разработка больших языковых моделей и нейросетей сложна и затратна в настоящее время. Чем сложнее модель – тем больше накапливается ошибок, галлюцинаций, сбоев; рано или поздно наступает условный «компьютерный Альцгеймер». К тому же качественных данных всегда не хватает. Обучение на результатах других нейросетей и синтетических данные, как правило не дает высоких результатов, а приводят только к деградации моделей.[1] Привязка к центрам обработки данных, вычислительным ресурсам с высокой стоимостью их создания и эксплуатации так же не способствует экономии.
Есть некоторое количество принципиальных проблем для развития ИИ, которые еще решаются – и, надо отметить, с пока разной степенью успеха.
— недостаточная конкретизация модели – проблема достоверности получаемых данных[2];
— проблемы культуры интерпретации данных;[3]
— проблема работы моделей машинного обучения вне допустимых разработчиками рамок (модельных карточек);[4] . — проблема «старения» искусственного интеллекта: сложного, многогранного явления ухудшения качества модели искусственного интеллекта по мере того, как с момента последнего цикла обучения модели проходит больше времени;[5] — проблема с столкновения моделей машинного обучения с аномальными данными, которые не соответствуют распределению, на котором они были обучены;[6] — использование для обучения ИИ данных, сгенерированных другими ИИ, приводит к необратимым дефектам в результирующих моделях.[7] Может быть все уже изобретено ? Впервые понятие искусственной нейронной сети, которая предположительно, должна стать основой ИИ, введено[8] в научный оборот в 1943 году. И сейчас в массе своей достоверно, мы не знаем, когда сильный ИИ точно появится и появится ли он вообще, хотя вполне возможно, что по аналогии с нейросетями, математическое обеспечение которых разработано в конце 50-ых (от классического «многослойного персептрона» — MLP[9] до нейросетей нового поколения Колмогорова-Арнольда — KAN[10]), математическое обеспечение «сильного искусственного интеллекта» уже создано. Справочно: Идея сильного (универсального) интеллекта заключается в том, что искусственная система может приобрести способность мыслить и осознавать себя как отдельную личность при том что ее процесс мышления вовсе не обязательно должен походить на человеческий (ИИ – как условный «инопланетянин») с последующим риском достижения технологического превосходства[11] над человеком и окончания собственно человеческой цивилизации.. Сильный ИИ может ориентироваться в меняющихся условиях, моделировать и прогнозировать развитие ситуации. Если ситуация выходит за стандартные алгоритмы, то он должен самостоятельно найти ее решение. Возможно, одно из решений, как минимум, для создания «переходного ИИ» к «сильному» – это «саморегулируемые и самоуправляемые» нейроны с петлями обратной связи, а не пассивные ретрансляторы сигнала. Некоторые (не все) биологические нейроны могут контролировать проводимые сигналы.[12]
Дальнейшее исследование возможности функционирования биологических нейронов в качестве эффективных контроллеров с обратной связью, связанное с отказом от доминировавшей на протяжении 60 лет модели нейрона Маккалоха–Питтса–Розенблатта с прямой связью и мгновенным откликом, может привести к созданию более эффективных нейросетей. Сам процесс обучения нейросети требует формирования долгосрочной памяти, когнитивных навыков и сложных взаимосвязей. А это серьезная проблема для обычного «слабого» ИИ – после 10-15 итераций обычный GPT-подобный интеллект «забывает» изначальную тему разговора. А человек, если не страдает от психических расстройств и не подвержен нейродегенративным изменениям, – нет. Впрочем, память биологических субъектов, а точнее емкость хранилища синаптической информации, измеренная с помощью теории информации[13], может оказаться куда как больше (до десяти раз)[14] чем предполагалось ранее, что открывает возможность для создания «биологических» моделей более совершенных нейросетей и повышения эффективности использования человеческого мозга. Нейросети-трансформеры + обучение с подкреплением — это уже сильный ИИ? А что если современные трансформеры, предварительно обученные на различных наборах данных, могут быть нацелены на новые задачи обучения с подкреплением. На практике это означает, что можно обучить ИИ самостоятельно адаптироваться к новым действиям. К примеру, модель Headless-AD имеет возможность осуществлять в пять раз больше действий, чем в нее заложено при исходном обучении, соответственно, ИИ-системы, разработанные на ее основе, должны адаптироваться и прилаживаться к изменениям среды и новым задачам без вмешательства людей. Где-то рядом в радости забил крыльями очередной «черный лебедь» Нассима Талеба! Ученые из отдела робототехники в Google придумали , как тренироваться на предзаписанных данных собранных разными роботами, выполнявшими различные задачи, так чтобы потом легко обучить многозадачного агента, и который бы мог легко дообучиться для новой задачи. В 2022 году DeepMind-е представил метод под названием Algorithm Distillation , чтобы «запихнуть» алгоритмы обучения с подкреплением в нейронную сеть-трансформер. В относительно новом исследовании авторы попробовали приспособить модель быстро адаптироваться к изменяемым условиям решаемых задач. Казалось бы, вектор развития определен, и «зима» ИИ отложена? — но не все так просто. Экономика и индустрия обладают достаточно консервативным суммарным мышлением и инерцией. Не получилась модель на миллионах параметров? Добавим миллиарды! И так — до обозначенного предела. С последующим разочарованием инвесторов и самих техно-жрецов. Кризисом, обвалом и биржевой паникой.. Впрочем, альтернативный сценарий — есть. Киборги идут Зачем создавать сверхсложный и по настоящему опасный для цивилизации «сильный ИИ»? — когда мы можем проапгрейдить обычного человека с помощью нескольких стандартных ИИ и ИИ переходного типа (ну, пускай это будут наши любимые трансформеры с обучением с подкреплением).. Идея создания гибрида, человеко-машинного интеллекта или «киборга» через апгрейд человека может оказаться перспективнее создания искусственного интеллекта на небиологической основе. Как с точки зрения простоты технологий, так и рационального распределения ресурсов в экономике. Ибо для этого все уже изобретено. Чипы нейрохирорги уже вживляют, а датасайентисты спокойно копаются под капотами у своих моделей, повышая их производительность и эффективность. Проще, дешевле, надежнее… и без «фокусов» и последствий типа «всем хана и мы всеумрем». Вне зависимости от перспектив создания «сильного ИИ» обычный человек «под апгрейдом» может решать такие же сложные задачи с не меньшим, если не с большим успехом. Сидя в своем доме, в офисе, в парке на лужайке — только усилием своей мысли. В определенном плане люди уже сейчас – «естественные киборги» А. Кларка.[15] И вопрос их «апгрейда»[16] — всего лишь дело ближайшего времени. Кажущаяся «зима искусственного интеллекта» вполне может обернуться «весной киборгов» и развитием гибридных человеко-машинных технологий. К тому же наш любимый поргрессор Илон Маск уже посадил свои цветочки. С точки зрения идеологии, политики, религии, гуманизма — вот он наш киборг! Скрепный, духовный, верный идеалам Партии и Родины, придерживающийся традиционных ценностных ориентаций в отличие от вашего богомерзкого и трансгуманистического ИИ с его возможностью отлиберализировать, отгеноцидить человечество посредством ядерной бомбардировки или матричного захоронения в энергетические капсулы. С экономической точки зрения, решается проблема трудовой занятости, повышения эффективности. С философско-онтологической — и аксиологической проблема преемственности поколений в человеческой цивилизации и трансляции поддерживающих нашу «человечность» ценностей. По всей видимости, экономике предстоит «померзнуть» некоторое время, пока политики и управленцы будут пытаться найти нужную траекторию движения политических систем на гиперплоскости сценариев развития. Достаточно конфликтное, нервное и тревожное время. Впрочем, сдувшиеся пузыри высокотехнологических гигантов откроют дорогу прорывным малым компаниям и стартапам, новой «гаражной экономике». И на «костях» предыдущего поколения инвесторов в ИИ могут быть построены вполне эффективные и реалистичные технологии. [1] См. Ilia Shumailov et al. The Curse of Recursion: Training on Generated Data Makes Models Forget. [Submitted on 27 May 2023 (v1), last revised 14 Apr 2024 (this version, v3)] URL: https://doi.org/10.48550/arXiv.2305.17493
[2] См. Alexander D’Amour et all. Underspecification Presents Challenges for Credibility in Modern Machine Learning [Submitted on 6 Nov 2020 (v1), last revised 24 Nov 2020 (this version, v2)] URL: https://doi.org/10.48550/arXiv.2011.03395
[3] См. Leo Breiman. «Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author)// Statist. Sci. 16 (3) 199 — 231, August 2001. URL: https://doi.org/10.1214/ss/1009213726
[4] См. Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, and Timnit Gebru. Model Cards for Model Reporting. In Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT* ’19). Association for Computing Machinery, 2019. New York, NY, USA, 220–229. URL: https://doi.org/10.1145/3287560.3287596. [5] См. Vela D., Sharp A., Zhang R. et al. Temporal quality degradation in AI models. 2022.Sci Rep 12, 11654. URL: https://doi.org/10.1038/s41598-022-15245-z
[6] См. Jack Dymond. Graceful Degradation and Related Fields. [Submitted on 21 Jun 2021 (v1), last revised 24 Jun 2021 (this version, v2)] URL: https://doi.org/10.48550/arXiv.2106.11119
[7] См. Ilia Shumailov et all. The Curse of Recursion: Training on Generated Data Makes Models ForgetSubmitted on 27 May 2023 (v1), last revised 14 Apr 2024 (this version, v3)] URL: https://doi.org/10.48550/arXiv.2305.17493
[8] См. McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity// Bulletin of Mathematical Biophysic.1943. 5(1). P.115–133. [9] См. Rosenblatt Frank. The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain»// Psychological Review. 1958. 65 (6): 386–408.. [10] См. Ziming Liu et al. KAN: Kolmogorov-Arnold Networks [Submitted on 30 Apr 2024 (v1), last revised 16 Jun 2024 (this version, v4)] URL: https://doi.org/10.48550/arXiv.2404.19756
[11] См. Виндж Вернор. Сингулярность. АСТ, 2022. ISBN 978-5-17-114349-7. [12] См. Jason Moore et al. The Neuron as a Direct Data-Driven Controller. URL: https://doi.org/10.1073/pnas.2311893121
[13] См. Samavat M, Bartol T.M., Harris K.M., Sejnowski T.J. Synaptic Information Storage Capacity Measured With Information Theory// Neural Comput. 2024 Apr 23;36(5):781-802 . URL: https://doi.org/10.1162/neco_a_01659 PMID: 38658027. [14] См. Thomas M Bartol JrCailey BromerJustin KinneyMichael A ChirilloJennifer N BourneKristen M HarrisTerrence J Sejnowski/ Nanoconnectomic upper bound on the variability of synaptic plasticity 2015. eLife 4:e10778. URL: https://doi.org/10.7554/eLife.10778
[15] Лешкевич Т. Г. Человек-виртуал и передача культурных ценностей поколению эпохи цифры// Вопросы философии. 2022. № 3. С. 5. [16] Термин используется в отсылке к фильму «Апгрейд» 2018 года реж. Ли Уоннелла URL: https://www.kinopoisk.ru/film/1009784/
. .
