[Перевод] Как Илон Маск и Y Combinator планируют остановить тиранию компьютеров

Они собираются финансировать новую организацию, OpenAI, для создания самых совершенных видов искусственного интеллекта – а затем отдать результаты обществу.

Как будто область разработки ИИ испытывала недостаток в конкуренции – там уже обосновались такие гиганты, как Google, Apple, Facebook, Microsoft и даже автопроизводители вроде Toyota пытаются нанимать исследователей – она может поприветствовать нового игрока, да не простого. Это некоммерческая организация OpenAI, анонс которой прошёл в декабре 2015 года, и которая клянётся отдать все результаты работы в общественное достояние, включая патенты – всё, чтобы избежать антиутопии, в которой компьютеры превосходят в интеллекте людей.

Финансирование будет осуществляться группой технознаменитостей, включающей таких людей, как Илон Маск, Рейд Хоффман, Питер Тиль, Джессика Ливингстон и компанию Amazon Web Services. Вместе они планируют потратить миллиард долларов в долгосрочной перспективе. Руководить проектом будут Маск и Сэм Альтман, директор Y Combinator, чья исследовательская группа также внесёт свою лепту (и Альтман тоже поучаствует).

Неудивительно видеть в этом ряду Маска, известного критикой ИИ. Но как же Y Combinator? Инкубатор стартапов, открывшийся 10 лет назад в качестве летнего проекта, осуществивший финансирование шести стартапов. Инкубатор платил их основателям жалования и давал ценные советы по развитию бизнеса. С тех пор YC помог почти тысяче компаний, включая Dropbox, Airbnb и Stripe, а недавно открыл исследовательский отдел. Последние два года им управлял Альтман, чья компания Loopt стартовала в 2005 году, а в 2012 была продана за $43,2 миллиона. Хотя YC и Альтман основали OpenAI, а Альтман ещё и директор этого предприятия, оно всё же является независимым.

По сути, OpenAI – это исследовательская лаборатория, призванная противостоять крупным корпорациям, чтобы те не смогли заработать слишком больших прибылей, получив в своё распоряжение ИИ. Также проект будет работать против правительств, которые могут воспользоваться ИИ для усиления своей власти и притеснения граждан. Это звучит слишком идеалистично, но команда уже наняла несколько серьёзных людей, включая бывшего главного технолога Stripe, Грега Брокмана (он будет главным по технологии в OpenAI), и исследователя мирового класса Илью Сацкевера, работавшего в Google, и принадлежавшего к прославившейся группе молодых учёных, учившихся под началом пионера нейросетей Джеффа Хинтона в Торонто. Он будет директором исследовательского отдела. Другие вакансии заняли талантливые молодые люди, в резюме которых работы в научных проектах, Facebook AI и DeepMind. Предприятие может похвастаться и звёздными советниками, включая Алана Кэя, одного из пионеров информатики.

Лидеры проекта побеседовали со мной о нём и о его стремлениях. Сначала я беседовал с Альтманом, а потом ещё раз с ним в компании с Маском и Брокманом. Я скомбинировал их в одну статью.

Как всё началось?

Сэм Альтман: Мы запустили исследовательскую группу YC полтора месяца назад, но мысли об ИИ посещали меня уже давно, как и Илона. Если задуматься о самых важных для будущего всего мира вещах, то, по моему мнению, хороший ИИ будет среди самых важных из них. Поэтому мы и создаём OpenAI. Организация попытается разработать ИИ, дружественный к людям. А поскольку она некоммерческая, владеть им будет весь мир.

Илон Маск: Как вы знаете, я некоторое время опасался ИИ. И я много говорил с Сэмом и Рейдом [Хоффманом], Питером Тилем и другими. И мы подумали, «а нет ли способа удостовериться, или хотя бы увеличить вероятность того, что ИИ принесёт нам какие-то преимущества?». В результате разговоров мы решили, что организовать НКО будет неплохой идеей. И мы будем очень серьёзно концентрироваться на безопасности.

С философской точки зрения существует важный элемент: мы хотим большой распространённости ИИ. Существует два варианта мнений – нужно ли нам множество ИИ, или всего несколько ИИ? Мы считаем, что лучше много. И хорошо, если их можно будет представить как расширение воли человека.

Воли человека?

ИМ: ИИ как продолжение вас самих, то есть, чтобы человек жил в симбиозе с ИИ, вместо того, чтобы ИИ был неким центральным интеллектом какого-то типа. Как вы думаете о, допустим, приложениях в интернете – у вас есть электронная почта, соцсети, мобильные приложения. Они, по сути, делают вас сверхчеловеком, и вы не думаете о них как о чём-то отдельном, вы думаете о них, как о продолжении себя. Поэтому, в той степени, в которой мы можем вести ИИ в этом направлении, мы хотим это делать. И мы нашли много инженеров-единомышленников и исследователей в области ИИ, думающих так же.

СА: Мы считаем, что лучше, если ИИ будет развиваться в сторону повышения индивидуальных возможностей и улучшения людей, и будет доступен всем, а не будет единственной сущностью, в миллион раз более мощной, чем человек. Поскольку наша компания некоммерческая, мы сосредоточимся не на обогащении акционеров, но на том, что лучше для будущего человечества.

А разве Google не делится разработками с общественностью, как он только что сделал с машинным обучением?

СА: Они делятся многими разработками. Но с течением времени, когда мы всё ближе подбираемся к тому, чтобы превзойти человеческий интеллект, появляется вопрос, чем Google решит поделиться.

А ваш проект не превзойдёт человеческий интеллект?

СА: Я думаю, да, но это будет проект с открытым кодом, который сможет использовать, кто угодно, а не только, допустим, Google. Всё, что разработает группа, будет доступно всем. Если вы возьмёте эту работу и приспособите под свои нужды, вам не обязательно будет делиться результатами. Но всё, что мы делаем, будет доступно каждому.

А если я – доктор Зло, и использую это в своих целях? Разве вы не помогаете мне в этом?

ИМ: Это прекрасный вопрос, и мы об этом много спорили.

СА: На эту тему есть много мыслей. Так же, как люди защищают человечество от докторов Зло тем, что их много, а доктор один, так, мы думаем, будет работать и наша схема, в которой множество ИИ будут работать против редких злодеев. Эта схема лучше той, в которой есть один ИИ, более могущественный, чем всё остальное. Если одна эта могучая штука слетает с катушек, или ею завладевает доктор Зло, и ему нечего противопоставить – это будет большой проблемой.

Будете ли вы контролировать то, что вырастает из OpenAI?

СА: Мы хотим со временем построить систему контроля. Пока это будем только мы с Илоном. До разработки реального ИИ ещё очень далеко. Думаю, у нас будет достаточно времени на создание функции контроля.

ИМ: Я собираюсь примерно раз в неделю или две недели проводить некоторое время с командой пректа в офисе, узнавая об обновлениях, выражая своё мнение и разбираясь в том, как далеко продвинулся ИИ, и как близко мы подобрались к чему-то опасному. Лично я буду очень серьёзно заниматься безопасностью. Этим я очень обеспокоен. И если мы обнаружим какие-то рискованные моменты, мы обязательно это обнародуем.

Есть у вас примеры злого ИИ?

СА: Есть куча научной фантастики, до реализации которой ещё много лет – Терминатор и тому подобное. Я не волнуюсь о возникновении таких вещей в ближайшее время. А вот с какой проблемой придётся столкнуться – хотя это и не злой ИИ – так с это с повальной автоматизацией и исчезновением рабочих мест. Ещё один пример злого ИИ – это когда люди рассуждают об умных программах, взламывающих компьютеры лучше, чем люди. И это уже происходит.

Вы начинаете работу с какой-то готовой системы?

СА: Нет. Исследование начнётся как в любой лаборатории, и очень долго это будет выглядеть как лаборатория. Пока никто не знает, как это строить. У нас уже есть восемь исследователей, и ещё несколько присоединятся к проекту в течение нескольких месяцев. Пока что они будут работать в офисе YC, а по мере роста переедут в свой. Они будут играться с идеями и писать софт, чтобы понять, могут ли они развить текущее состояние искусства создания ИИ.

Будут ли участвовать в этом люди извне?

СА: Конечно. Одно из преимуществ открытой программы – лаборатории могут сотрудничать с кем угодно, поскольку они могут свободно делиться информацией. Очень сложно работать совместно с сотрудниками Google, так как у них есть куча ограничений по конфиденциальности.

Сэм, если OpenAI будет работать в офисе YC, будет ли у ваших стартапов доступ к результатам их работы?

СА: Если OpenAI разовьют в интересную технологию и все смогут использовать её бесплатно, это будет плюсом для любой технокомпании. Но не более того. Тем не менее, мы попросим наши стартапы предоставить столько информации, сколько они посчитают нужным, для OpenAI. И Илон тоже подумает, чем смогут поделиться Tesla и SpaceX.

А какой, например, будет информация, которой можно делиться?

СА: Много всего. К примеру, все данные с Reddit могут быть прекрасным набором для тренировки. Видео с тренировок робомобилей Tesla тоже будут очень ценны. Огромные объёмы данных очень важны. Люди умнеют, читая книги. Но человек умнеет, только прочитав книгу сам. А если одна из машин Tesla, например, что-нибудь узнает о новой ситуации, то все машины Tesla автоматически от этого выиграют.

ИМ: В общем, у нас нет большого количества конкретных планов, поскольку компания только зарождается. Она в состоянии эмбриона. Но у Tesla действительно очень много данных из реального мира, благодаря миллионам миль, накапливающихся каждый день с нашего автопарка. Возможно, у Tesla больше данных о реальном мире, чем у любой другой компании мира.

ИИ требует серьёзных вычислительных мощностей. Что у вас будет за инфраструктура?

СА: Мы кооперируемся с Amazon Web Services. Они предоставляют очень большие мощности проекту.

И проект получит миллиард?

ИМ: Можно сказать, что будет даже больше. Мы точные расценки не даём, но крупные поступления будут идти от всех перечисленных личностей.

За какое время?

СА: За время, требуемое на создание системы. Экономить мы будем, но проект, судя по всему, рассчитан на десятилетия, и потребует очень много людей и оборудования.

И прибыль вам не обязательна?

ИМ: Точно. Это инвестиция не в прибыли. Возможно, что в будущем появится выручка, точно так же, как некоммерческий Исследовательский институт в Стэнфорде её получает. В будущем может появиться выручка, но не будет прибылей, обогащающих совладельцев, не будет акций и прочего. Мы считаем, что так надо.

Илон, вы ранее уже вкладывались в ИИ-компанию DeepMind, насколько я понимаю, примерно по тем же причинам – чтобы следить за развитием ИИ. А затем их купил Google. Это вторая попытка?

ИМ: я вообще-то не инвестор в обычном смысле. Я не делаю инвестиций с целью получения финансовой прибыли. Я вкладываюсь в компании, которые я помогаю создавать, и могу помочь другу, или ради какой-то цели, в которую я верю, или из-за того, что меня волнует. Я не провожу диверсификацию за пределами моей компании в материальном смысле. Но мои «инвестиции» в DeepMind были сделаны ради лучшего понимании ИИ и надзора за ним, если хотите.

Вы будете соревноваться с лучшими учёными, которые могут пойти работать в DeepMind или Facebook или Microsoft?

СА: Найм пока идёт хорошо. Исследователей очень радует свобода, открытость и возможность делиться своей работой, которой нет в обычной производственной лаборатории. Мы собрали такую качественную начальную команду, что остальные будут присоединяться только ради совместной работы с ними. И ещё я думаю, что наша миссия и видение и структура очень нравятся людям.

Сколько исследователей вам понадобится? Сотни?

СА: Возможно.

Вернёмся к идее, что общее использование ИИ может избавить нас от отрицательных последствий. Нет ли риска, что делая его более доступным, вы увеличите потенциальную опасность?

СА: Хотел бы я подсчитать все те часы, что я провёл за спором об этом с Илоном и другими. И всё равно на 100% я не уверен. Нельзя ведь быть уверенным на 100%? Но попробуйте разные варианты развития. Безопасность через секретность в случае технологий редко срабатывала. Если она достанется кому-то одному, как решить, у кого – у Google, у американского правительства, у китайского правительства, у ИГИЛ [запрещённая в РФ организация – прим.перев.], или у кого? В мире есть много злодеев, но человечество процветает. А что случится, если один из них окажется в миллиард раз более могущественным, чем другой человек?

ИМ: Думаю, что лучшей защитой от неправильного использования ИИ будет вооружить им как можно больше людей. Если у всех есть возможности ИИ, тогда не будет такого небольшого набора людей, в распоряжении которых окажутся супер-способности.

Илон, вы директор в двух компаниях и заседаете в совете директоров третьей. Вроде бы у вас не так много свободного времени, чтобы посвящать его новому проекту.

ИМ: Это правда. Но безопасность ИИ слишком долго довлела над моим сознанием, и я думаю, что ради своего спокойствия пойду на сделку с самим собой.