Kitabı oxu: «Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех»

Всем людям,

умершим в ходе долгой истории нашего вида,

всем, кто еще жив,

и всем детям,

которые когда-нибудь могут появиться

Eliezer Yudkowsky and Nate Soares

If Anyone Builds It, Everyone Dies

Why Superhuman AI Would Kill Us All

Перевод с английского Евгения Поникарова

© 2025 by Eliezer Yudkowsky and Nate Soares

© Е. Поникаров, перевод на русский язык, 2026

© А. Бондаренко, художественное оформление, макет, 2026

© ООО “Издательство Аст”, 2026

Издательство CORPUS ®

Введение
Сложные прогнозы и простые прогнозы

“Снижение риска вымирания человечества из-за искусственного интеллекта должно стать глобальным приоритетом – наравне с пандемиями, ядерной войной и другими угрозами глобального масштаба”.

В начале 2023 года сотни ученых, работающих в сфере искусственного интеллекта, подписали открытое письмо, содержавшее одну эту фразу. Среди тех, кто поставил подпись, были весьма титулованные специалисты в этой области, в частности нобелевский лауреат Джеффри Хинтон и Йошуа Бенджио, получившие премию Тьюринга за создание глубокого обучения.

Мы, Элиезер Юдковский и Нейт Соарес, также подписали это письмо, хотя и сочли его формулировку слишком сдержанной.

Ни нас, ни других подписантов не беспокоят ИИ-модели образца 2023 года. Нас не беспокоят и те модели, что существуют на момент написания этих строк – в начале 2025 года. Современные ИИ-модели все еще кажутся поверхностными в каком-то глубинном смысле, который сложно описать. У них есть ограничения: например, неспособность формировать новые долговременные воспоминания. Эти недостатки пока что не позволяют им проводить серьезные научные исследования или заменять людей на рабочих местах в сколько-нибудь значимом количестве¹.

Наше беспокойство вызывает то, что появится дальше: машинный интеллект, который будет по-настоящему разумным – разумнее любого человека и даже всего человечества в целом. Нас тревожит ИИ, который превзойдет человеческую способность мыслить, обобщать опыт, решать научные задачи, изобретать новые технологии, планировать, вырабатывать стратегии, просчитывать ходы и совершенствовать себя. Когда он превзойдет человека почти во всех интеллектуальных задачах, такой ИИ можно будет назвать искусственным сверхинтеллектом.

Пока еще ИИ-модели не достигли этого уровня. Но сегодня они умнее, чем в 2023 году, и значительно умнее, чем в 2019-м. Исследования в области искусственного интеллекта приводили к одному скачку за другим: в 2012, 2016, 2020, 2022 и 2024 годах². Мы не знаем, выдохнется ли этот прогресс, взяв паузу на какое-то время, пока не появятся новые методы и технологии. Мы не знаем, сколько таких скачков отделяет нас от момента, когда ИИ станет угрозой уровня вымирания, о которой предупреждали авторы открытого письма. Однако история раз за разом показывает: исследователи в области ИИ изобретают новые методы и преодолевают старые препятствия. Зачастую прогресс идет удивительно быстрыми темпами. В 2015 году большинство специалистов по компьютерным наукам сказали бы вам, что собеседник уровня ChatGPT появится только лет через тридцать или даже пятьдесят.

Мы не знаем, когда появится искусственный сверхинтеллект, но согласны, что эта проблема должна иметь глобальный приоритет. Более того, мы считаем, что вышеуказанное открытое письмо сильно недооценивает серьезность проблемы.

Нас пригласили подписать то письмо из одной фразы, поскольку мы руководим Институтом исследований машинного интеллекта (MIRI). Эта некоммерческая организация работает над вопросами, связанными с машинным сверхинтеллектом, с 2001 года, то есть она начала задаваться этими вопросами задолго до того, как они стали широко обсуждаться и привлекать финансирование. Если говорить упрощенно: среди тех немногих, кто следит за этой темой десятилетиями, принято считать, что именно MIRI работает над ней дольше всех. Один из нас, Юдковский, – основатель MIRI; другой, Соарес, – его нынешний президент.

MIRI – первая организованная группа, которая заявила: “В какой-то момент появится искусственный сверхинтеллект, и это событие представляется чрезвычайно важным. Возможно, будет технически сложно направить работу сверхинтеллекта в такое русло, чтобы он помогал человечеству, а не вредил ему. Не лучше ли приступить к решению этой задачи прямо сейчас, а не ждать, пока ситуация превратится в масштабный кризис?”

Но начинали мы не с этого. В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м он осознал, что тот не обязательно окажется дружественным. А в 2003-м он понял, что эта проблема сложна.

Первые два десятилетия своего существования MIRI был институтом технических исследований, практически не участвовавшим в политике. Организация в основном проводила семинары для заинтересованных ученых и давала пристанище нескольким многообещающим исследователям. Мы пытались разработать математический аппарат для понимания и формирования сверхчеловеческого машинного интеллекта, а также для предсказания, что может пойти не так.

Деятельность MIRI имела и непрямые последствия, к которым мы теперь относимся неоднозначно или с сожалением. На одной из организованных нами конференций мы познакомили Демиса Хассабиса и Шейна Легга, основателей компании, которая сейчас называется Google DeepMind, с первым их крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковский “привил многим из нас интерес к ОИИ³” и “сыграл ключевую роль в решении запустить OpenAI”⁴.

История MIRI сложна, но наши взаимоотношения со всей этой сферой можно описать так: за несколько лет до появления нынешних ИИ-компаний любой, кто хотел, невзирая на риск вымирания, создавать по-настоящему умную модель ИИ, должен был сперва отмахнуться от наших предупреждений.

Позже, когда сфера ИИ начала набирать обороты, мы с тревогой наблюдали, как некоторые люди, основывающие новые компании, заговорили об искусственном сверхинтеллекте как об источнике огромной чудесной силы. Силы, которую они, как им казалось, сумеют контролировать. По мнению многих из них, главная опасность заключалась в том, что искусственный сверхинтеллект может “оказаться” не у тех людей. Они рассуждали о необходимости выиграть “гонку вооружений в области ИИ”. А вот о том, что искусственный сверхинтеллект “окажется” у самого же искусственного сверхинтеллекта – то есть единственным победителем в гонке вооружений в области ИИ будет сам искусственный сверхинтеллект, – основатели компаний не говорили.

Мы видели, что возможности ИИ росли крайне быстро.

Мы видели, что та область исследований, где работали мы сами, – ставящая своей целью понять ИИ и, возможно, не дать ситуации пойти по плохому сценарию – развивалась намного, намного медленнее.

Безоглядное рвение ИИ-компаний к созданию сверхчеловеческого искусственного интеллекта – их стремление создать его как можно быстрее, опередив конкурентов, – стало выглядеть для нас как гонка по нисходящей. Индустрия неслась под откос: ситуация могла бы войти в учебники в качестве примера, как не надо вести разработки (правда, написать такой анализ было бы уже некому).

Мы уже не верили, что человечество сумеет найти выход из катастрофической ситуации с помощью инженерных решений и исследований. Не в таких условиях. Не к нужному сроку.

Мы сочли наши предыдущие усилия провальными, свернули бóльшую часть исследований MIRI и направили ресурсы института на донесение одной-единственной мысли – предупреждения, лежащего в основе этой книги:

Если какая-либо компания или группа на планете создаст искусственный сверхинтеллект, используя что-либо, даже отдаленно похожее на современные технологии, и основываясь на понимании ИИ, даже отдаленно похожем на нынешнее, то погибнут все люди на всей Земле.

Это не гипербола. Мы не преувеличиваем ради эффекта. Мы считаем, что это самая прямая экстраполяция современных знаний, данных и институционального поведения в области искусственного интеллекта.

В этой книге мы излагаем наши доводы в надежде сплотить достаточное число как лиц, принимающих важные решения, так и обычных людей – чтобы они отнеслись к ИИ серьезно. Исход по умолчанию летален, однако ситуация пока еще не безнадежна: машинного сверхинтеллекта пока не существует, и его создание все еще можно предотвратить.

Как можно быть в чем-то уверенным, когда дело касается искусственного интеллекта? Известный афоризм гласит: “Предсказывать очень трудно, особенно будущее”. Бóльшая часть того, что мы хотели бы знать о будущем, на самом деле не поддается прогнозированию. Например, мы не можем назвать вам выигрышные номера лотереи на следующей неделе. Все наборы чисел выглядят одинаково вероятными.

Но некоторые факты о будущем действительно предсказуемы. Предположим, завтра вы купите лотерейный билет. Мы не знаем, какими изощренными теориями или уловками вы воспользуетесь при выборе чисел, и не знаем, какие номера выпадут. Но вся эта неопределенность сводится к весьма надежному прогнозу: скорее всего, вы не выиграете. Аналогично, если бросить кубик льда в стакан с горячей водой, невозможно предсказать, где окажется каждая конкретная молекула десять минут спустя. Однако вся эта неопределенность складывается в прогноз, близкий к достоверному: кубик льда растает. По такому принципу работает существенная часть физики: мы знаем, куда ведут почти все пути, даже если не можем просчитать, какой именно путь будет выбран.

Одни аспекты будущего возможно предсказать, имея нужные знания и прикладывая усилия; другие же предсказать почти невозможно. Компетентная футурология строится на понимании этой разницы.

История учит нас, что относительно легко прогнозировать будущее следующим образом: вы осознаете, что нечто выглядит теоретически возможным в соответствии с законами физики, и предсказываете, что со временем кто-нибудь это сделает. Полеты аппаратов тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, летящие на Луну с человеком на борту, – все это было предсказано заранее, и на то имелись разумные причины, несмотря на возражения скептиков, которые с умным видом изрекали, что раз этого еще не произошло, то, вероятно, не произойдет никогда. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, они калечились и терпели неудачи, их высмеивали современники – однако это не остановило братьев Райт, которые поняли, как нужно летать.

Но куда более сложная задача – предсказать, когда именно появится та или иная технология. Люди могут утверждать, что до появления технологии осталось года два, тогда как на самом деле – все пятьдесят, или заявляют про пятьдесят лет, когда на самом деле – всего два года, причем они сами же эту технологию и создадут. “Человек не будет летать еще тысячу лет”, – бросил Уилбур Райт Орвиллу в 1901 году, когда братьев измучили неудачи при испытаниях безмоторного планера. Два года спустя, в 1903-м, аэроплан братьев Райт поднялся в воздух.

Успешное прогнозирование заключается не в том, чтобы проявить достаточно ума и предсказать те детали, которые обычно предсказанию не поддаются. И не в том, чтобы придумать полную историю того, что произойдет в будущем, а затем чудесным образом оказаться правым. Дело в поиске тех аспектов будущего, прогнозировать которые просто, если смотреть под правильным углом.

Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в своем отношении к искусственному интеллекту. Мы не знаем, какие заголовки об ИИ появятся через два года или десять лет, и даже не знаем, есть ли у нас в запасе эти десять лет. Мы не претендуем на звание настолько умных, что якобы можем предсказывать по-настоящему труднопредсказуемые вещи. Нам просто кажется, что один конкретный аспект будущего – что произойдет со всеми людьми и всем, что им дорого, если сверхинтеллект будет создан в ближайшее время, – cпрогнозировать вполне легко, если воспользоваться имеющимися знаниями и аккуратными рассуждениями.

На первый взгляд гибель человечества из-за сверхчеловеческого ИИ не выглядит логичным прогнозом. Но как раз для этого и написана наша книга. Точно так же как арифметика нужна, чтобы рассчитать шансы на победу в лотерее, а термодинамика – чтобы объяснить, почему ледяной кубик предсказуемо растает, необходима определенная подготовка, чтобы понять, почему искусственный интеллект несет угрозу неизбежного вымирания человечества. И стоит заложить такой фундамент, как прогноз исхода нынешней траектории становится удручающе, до ужаса очевидным.

Даже перед лицом сверхчеловеческого машинного интеллекта может возникнуть соблазн поверить, будто мир останется таким же, каким он был в последние десятилетия нашей относительно короткой жизни. Нам трудно осознать, что всего несколько столетий назад цивилизация кардинально отличалась от нынешней. Несколько тысячелетий назад цивилизация только зарождалась. Несколько миллионов лет назад не существовало людей. Миллиард лет назад только появлялись специализированные клетки.

Историческая перспектива помогает нам осознать то, что трудно увидеть из-за короткой продолжительности нашей жизни: природа допускает потрясения. Природа допускает бедствия. Природа допускает, что мир никогда не будет прежним.

Некогда – 2,5 миллиарда лет назад – произошло событие, которое биологи называют кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света для извлечения ценного углерода из воздуха. В качестве отходов жизнедеятельности эти организмы выделяли химически активное вещество, ядовитое для большинства существовавших тогда форм жизни: сейчас мы называем его “кислород”. Это вещество постепенно накапливалось в атмосфере. Основная часть живых существ, включая и большинство бактерий, выделявших этот самый кислород, не сумели справиться с его химической активностью и погибли. Лишь немногие удачливые линии клеток приспособились и со временем эволюционировали в организмы, использующие кислород как топливо. Но к прежней норме возврата не было. Мир уже никогда не был прежним.

Некогда континенты были бесплодными камнями. Затем, по эволюционным меркам – в мгновение ока, они покрылись ковром растительности. И вскоре в лесах забурлила жизнь. Мир уже не был прежним.

Некогда люди одомашнили пшеницу и ячмень. Спустя ничтожный с эволюционной точки зрения миг они начали строить цивилизации. Мир уже не был прежним.

Некогда – в 1930-е годы – появились тревожные признаки того, что над некоторыми семьями в Германии нависла опасность. Немногие уехали заблаговременно, большинство осталось. Затем нацистское правительство лишило их гражданства и паспортов, сильно затруднив отъезд. Через несколько лет немецких евреев, цыган и других людей начали хватать и отправлять в лагеря смерти. Воспоминания выживших свидетельствуют, что многие семьи остались не потому, что не видели тревожных знаков, а потому, что верили: жизнь вернется к норме прежде, чем все зайдет слишком далеко¹.

Некогда человечество стояло на пороге создания искусственного сверхинтеллекта…

Нормальность всегда заканчивается. Это не значит, что ей на смену неизбежно придет что-то худшее. Иногда – да, иногда – нет, и порой это зависит от наших действий. Однако надежды, что ничто слишком плохое просто не может случиться, как правило, не помогают.

Люди обладают способностью управлять будущим с помощью своего интеллекта. Но эта способность работает, только если мы ее используем – если делаем то, что должны, тогда, когда это нужно. В противном случае интеллект не имеет силы. Он или работает, изменяя наши действия, или не работает вовсе.

Грядущие годы станут для всего человечества испытанием не на жизнь, а на смерть. Своей книгой мы надеемся вдохновить отдельных людей и целые страны достойно ответить на этот вызов.

В следующих главах мы изложим научные основания нашего беспокойства, обсудим порочные стимулы, движущие современной индустрией ИИ, и объясним, почему ситуация еще плачевнее, чем кажется. Мы в доступной форме покажем недостатки современного машинного обучения и объясним, почему нынешние методы ведут к созданию искусственного интеллекта, уничтожающего мир, а не улучшающего его.

В части I мы излагаем суть проблемы, отвечая на ряд вопросов. Что такое интеллект? Как создают современные ИИ-модели и почему их так трудно понять? Могут ли они иметь желания? Появятся ли эти желания? Если да, то чего ИИ-модели захотят и почему они захотят нас убить? Как они нас убьют? В итоге мы прогнозируем появление ИИ-моделей, не испытывающих к нам ненависти, но обладающих странными и чуждыми предпочтениями, следовать которым они будут до вымирания человечества.

В части II мы собираем воедино все эти аспекты и рассказываем историю о модели ИИ, которая уничтожает мир, очень похожий на наш. Эта история – не предсказание, поскольку точный путь, по которому пойдет будущее, спрогнозировать сложно. Единственная часть этой истории, которая служит предсказанием, – ее финал, и это предсказание сбудется, если мы позволим подобной истории начаться.

В части III мы оцениваем сложность вызова, стоящего перед человечеством, и рассматриваем принимаемые сейчас меры. Насколько хорошо компании, занимающиеся ИИ, справляются с этой проблемой? Почему мир уделяет проблеме так мало внимания? Что наше общество может сделать по-другому, если достаточное количество людей решит не умирать? Что потребуется, чтобы Земля не создала машинный сверхинтеллект?

На сайте IfAnyoneBuildsIt.com подготовлено онлайн-дополнение к этой книге. В конце каждой главы вы найдете URL-адрес дополнительных материалов к ней. Это выглядит так:

IfAnyoneBuildsIt.com/intro

У людей есть самые разные, зачастую противоположные представления об искусственном интеллекте, и за эти годы мы услышали множество вопросов и возражений, проистекающих из широкого спектра предположений и точек зрения. В дополнительные материалы мы включили оговорки, тонкости и часто задаваемые вопросы, а также основные теоретические положения и развернутые аргументы, которые сделали бы эту книгу в несколько раз толще и гораздо менее доступной для понимания. Если после прочтения какой-либо главы у вас возникнут возражения, мы призываем вас перейти к онлайн-материалам.

Многие главы начинаются с притч – историй, которые, мы надеемся, помогут донести определенные мысли в более простой форме. А еще они привносят немного несерьезности в эту тяжелую тему. Тут мы следуем очень старой традиции – возможно, более древней, чем человеческий вид в его нынешней форме, – традиции смеяться в лицо смерти.

Признаться, в этой книге мало хороших новостей. Но мы и не утверждаем, что вы обречены. Искусственного сверхинтеллекта пока не существует. Человечество все еще может принять решение не создавать его.

В 1950-х годах многие ожидали, что между ведущими мировыми державами начнется ядерная война. С учетом предыдущей истории человеческих конфликтов причин для пессимизма хватало. Тем не менее ядерной войны до сих пор не случилось. И не потому, что ядерные бомбы оказались чистой научной фантастикой и не воплотились в реальность, а потому, что люди целенаправленно выстраивали устойчивые системы, призванные не допускать ядерных войн. Человечество пошло на это, поскольку мировые лидеры понимали: в случае ядерной войны плохо придется и им самим, и народам их стран.

Плохо придется им и в том случае, если кто-либо где-либо на планете создаст машинный сверхинтеллект. Никому не хочется умирать вместе со своей семьей и друзьями, со своей страной и ее детьми.

Остановить продолжающуюся эскалацию ИИ-технологий, взять под контроль аппаратное обеспечение, используемое для создания все более мощных моделей искусственного интеллекта, – непростая задача для современного мира. Но чтобы остановить дальнейшее наращивание возможностей ИИ, потребуется гораздо меньше усилий, чем, скажем, для победы во Второй мировой войне. Для пробуждения воли к жизни достаточно, чтобы некоторые страны, их руководители и избиратели, осознали, что люди стоят у края пропасти – возможно, на ничтожном расстоянии, пусть даже его трудно оценить.

Задача не из легких, но мы еще не погибли. Достоинство человека и достоинство всего человечества обязывают нас бороться.

Пока есть жизнь, есть и надежда.

Часть I
Нечеловеческий разум

Глава 1
Особая сила человечества

Представьте себе, – хотя, конечно, ничего подобного никогда не происходило, ибо это всего лишь притча, – что биологическая жизнь на Земле стала результатом игры богов. Что был бог-тигр, создавший тигров, бог-секвойя, создавший секвойи, и боги разных видов рыб и бактерий. Вообразите, что боги-игроки соперничали друг с другом, добиваясь доминирования своих видов, пока эти формы жизни пресмыкались внизу.

Представьте, что примерно два миллиона лет назад некий непримечательный бог-гоминид окинул взглядом огромное – во всю планету – игровое поле.

– Мне понадобится еще несколько ходов, – сказал он, – но, думаю, результат игры предрешен.

Воцарилось недоуменное молчание: боги в замешательстве разглядывали игровое поле, пытаясь понять, что они упустили.

Бог-скорпион спросил:

– Как это? У твоих гоминидов нет ни брони, ни когтей, ни яда.

– У них есть мозг, – ответил бог-гоминид.

– Я нашлю на них болезнь, и они умрут, – фыркнул бог-оспа¹.

– Это ненадолго, – парировал бог-гоминид. – Тебе быстро придет конец, Оспа, – как только их мозг научится с тобой бороться.

– У них даже не самый большой мозг! – воскликнул бог-кит.

– Дело не только в размере, – пояснил бог-гоминид. – Важна еще и конструкция их мозга. Дайте им два миллиона лет, и они ступят на луну своей планеты.

– Что-то я не вижу, где в метаболизме этого существа производится ракетное топливо, – сказал бог-секвойя. – Нельзя силой мысли выйти на орбиту. В какой-то момент твоему виду нужно развить метаболизм, который будет очищать ракетное топливо. Самим организмам придется стать довольно крупными, в идеале – высокими и узкими, с твердой внешней оболочкой, чтобы не раздуться и не умереть в космическом вакууме. Как бы усердно ни умел думать твой вид, он останется прикованным к земле, просто усердно думающим.

– Некоторые из нас играют в эту игру уже миллиарды лет, – вступил в разговор бог-бактерия, покосившись на бога-гоминида. – И до сих пор мозг не давал такие уж большие преимущества.

– И тем не менее, – ответствовал бог-гоминид.

А вот как на самом деле развивалась история нашего вида. Люди обзавелись мозгом – необычайно большим для животного такого размера. Они укротили огонь, занялись сельским хозяйством и научились плавить железо. Через поразительно короткое по меркам биологической эволюции время люди высадились на Луну, хотя наш метаболизм не умеет очищать ракетное топливо, а наша кожа не приспособлена к космическому вакууму.

Другие виды на Земле рождаются со специализированными навыками: пчелы строят ульи, бобры возводят плотины. Человек смотрит на плотину бобра и выясняет, как она устроена. Мы освоили строительство плотин, хотя эти знания не были заложены в наших генах. Теперь мы перекрываем реки плотинами, как бобры, строим себе дома, как пчелы, плетем сети из нитей, как пауки. Кроме того, мы создаем электростанции и космические ракеты, чего не делает ни один другой вид.

Люди умеют делать то, чего никогда не делали их предки и чего не могут делать другие животные, благодаря качеству, которое иногда называют “интеллектом”. Бóльшая часть наших способностей не запрограммирована в наших генах – просто мы наблюдали, пробовали, запоминали, обобщали и в итоге добивались результата.

Способность к обучению присуща не только людям. Мозг мыши может научиться ориентироваться в лабиринте. Но мы способны делать больше и на более высоком уровне. Можем изучать химические процессы и находить более дешевые удобрения. Можем ставить сложные эксперименты, постигать законы физики и изобретать спутники. Можем даже сажать мышей в лабиринты и изучать, как они обучаются.

Человеческий мозг способен прокладывать более разнообразные пути через более широкий срез реальности, нежели мозг любого другого животного. В этом и заключается наша особая сила.

Как работает эта особая сила? Что именно она делает и каким образом?

На наш взгляд⁵, интеллект сводится к двум фундаментальным типам работы: по прогнозированию мира и по управлению им.

“Прогнозирование” – это угадывание того, что вы увидите (или что услышите, или к чему прикоснетесь), еще до самого момента восприятия. По дороге в аэропорт ваш мозг успешно справляется с задачей прогнозирования всякий раз, когда вы предугадываете, что сигнал светофора станет желтым или что водитель впереди нажмет на тормоз.

“Управление” – это поиск действий, которые приводят вас к определенному выбранному результату. По дороге в аэропорт ваш мозг успешно справляется с задачей управления, когда находит последовательность уличных поворотов, ведущую в аэропорт, и правильные нервные сигналы для сокращения мышц, чтобы вы поворачивали руль.

Большинство последовательностей нервных импульсов, которые ваш мозг может послать к пальцам, не приведут к правильному повороту руля. Подавляющее большинство возможных последовательностей нервных импульсов вызовет беспорядочные судорожные движения – со стороны это будет выглядеть припадком. И тем не менее ваш мозг регулярно умудряется подбирать именно те конфигурации нервных импульсов, которые управляют автомобилем или удерживают вас в вертикальном положении, за счет того, что выуживает правильные варианты из бесчисленного множества неправильных. По дороге в аэропорт ваш мозг не просто вычисляет конкретную последовательность поворотов, ведущую к месту назначения, – он выбирает одну комбинацию нервных импульсов из несметного количества возможных, чтобы ваши мышцы сокращались именно так, как нужно для правильных поворотов руля.

Прогнозирование и управление тесно переплетены. Управление автомобилем на пути в аэропорт может включать прогнозирование того, какие маршруты ведут к нужной улице⁶. А чтобы спрогнозировать, какие маршруты ведут к нужной улице, возможно, потребуется управление пальцами – посмотреть карту на телефоне.

И все же между прогнозированием и управлением есть фундаментальная разница, и она, как выяснится ниже, имеет огромное значение. Успех в прогнозировании легко определить. Если человек ожидает увидеть впереди улицу перед аэропортом, а вместо этого видит какую-то другую, его прогноз был неверным.

А вот чтобы судить об успешности управления, необходимо иметь представление, куда этот человек планировал попасть.

Машина водителя оказалась у супермаркета. Отличная новость, если он хотел купить продукты. Но неудача, если он пытался добраться до отделения неотложной помощи в больнице.

По мере того как два жителя одного города становятся умнее, можно ожидать, что они будут все чаще сходиться в вопросах прогнозирования: например, в вопросе о том, наблюдаются ли обычно пробки на главной улице в пять часов вечера по будням. Однако нет оснований ожидать, что они направятся в одни и те же места: один может предпочесть пойти в парк, а другой – в театр.

Иными словами, разумные существа могут направляться к разным целям, и это не свидетельствует о недостатке их интеллекта.

Прогнозирование и управление присущи не только биологическому разуму, на это способны и машины. Однако на данный момент люди все еще остаются лучшими на планете в…

А в чем именно? Мы проигрываем машине в шахматы. Не только мы пользуемся языком. Не только мы способны читать медицинскую карту или диагностировать опухоль.

Люди по-прежнему чемпионы в чем-то более глубоком, хотя описать эту особенность теперь сложнее, чем когда-либо раньше.

У людей, как нам кажется, по-прежнему сохраняется преимущество в том, что можно назвать “универсальностью”. Что это означает? Мы бы сказали так: интеллект тем универсальнее, чем шире тот спектр областей, где он способен прогнозировать и управлять. Люди не обязательно лучшие во всем – пожалуй, мозгу осьминога лучше дается управление восемью щупальцами. Но в более широком смысле очевидно, что люди – более универсальные мыслители, нежели осьминоги. У нас больше областей, где мы можем успешно прогнозировать и управлять.

Некоторые модели ИИ уже умнее человека в определенных сферах. В 1997 году суперкомпьютер Deep Blue, созданный компанией IBM, впервые обыграл чемпиона мира по шахматам. Deep Blue был весьма искусен в прогнозировании и управлении, когда дело касалось шахмат. Но он не сумел бы спрогнозировать, как попасть в продуктовый магазин и купить молоко, не говоря уже о том, чтобы добраться туда на автомобиле. Человеческий разум может быть более или менее сведущим в различных областях прогнозирования и управления.

Современные модели ИИ гораздо более универсальны в своих способностях. Вы можете спросить модель OpenAI под названием “o1”, какой окажется температура Земли, если излучение Солнца сместится в инфракрасный диапазон, и она найдет ответ, проведя физические расчеты. Затем вы можете спросить, сумеет ли человечество выращивать пищу в этом новом мире, и она ответит, опираясь на свои знания по биологии растений. Модель o1 не переключается “под капотом” между двумя разными базами данных, она просто знает и физику, и биологию.

Модель o1 знает, что снаружи существует целый мир, и способна рассуждать о нем. Компьютер Deep Blue об этом понятия не имел. На то, чтобы искусственный интеллект достиг такого уровня, ушли десятилетия.

И все же способность o1 к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов. Люди по-прежнему на высоте, когда речь идет о технологиях и науке; серьезные прорывы совершают исследователи-люди, а не ИИ-модели (пока). Более того, по-прежнему кажется – по крайней мере, авторам этой книги, – что модель o1 по уровню разумности уступает даже тем людям, которые не совершают великих научных открытий. Все труднее четко сформулировать, чего же именно ей не хватает, но все же нас не покидает ощущение, что o1 в каком-то важном смысле “поверхностна” по сравнению с двенадцатилетним ребенком⁷, пусть даже она знает и помнит больше, чем любой человек.

Но так будет не всегда. Трудно предсказать, как быстро будет развиваться ИИ и по какому именно пути он пойдет, однако конечный результат предсказать легко, поскольку технологически машины обладают массой преимуществ перед биологическим мозгом. Вот некоторые из них.

Колоссальная скорость. Транзисторы (базовые кирпичики всех компьютеров) могут включаться и выключаться миллиарды раз в секунду, тогда как даже очень быстрые нейроны срабатывают всего сто раз за секунду. Это означает, что, даже если бы для выполнения работы одного нейронного импульса требовалась тысяча операций транзисторов и даже если бы искусственный интеллект был ограничен современным аппаратным обеспечением, мышление человеческого уровня можно было бы смоделировать на машине в десять тысяч раз более быстрым, не говоря уже о том, как мог бы работать ИИ с усовершенствованными алгоритмами и улучшенным оборудованием. Разуму, прогнозирующему и управляющему миром как минимум в десять тысяч раз быстрее любого человека, люди покажутся не более чем статуями, настолько медлительными, что произносят по слову в час².

Возможность копирования. В современном мире требуется двадцать лет, а то и больше, чтобы вырастить одного нового человека и передать ему крохотную долю всех человеческих знаний. Но все равно мы не можем в полном объеме передавать успешные навыки мышления от одного человеческого разума другому – гений Альберта Эйнштейна умер вместе с ним. Искусственный интеллект в итоге будет существовать в ином мире, где гениальность можно будет воспроизводить по требованию.

Более быстрое совершенствование. Увеличение размера человеческого мозга сталкивается с естественным ограничением: большие головы младенцев не могут пройти через женский таз³. Совершенствование графических процессоров (специализированных компьютерных чипов, обеспечивающих высокую эффективность современных ИИ-моделей) и работающих на них алгоритмов происходит намного, намного, намного быстрее, чем человеческий вид способен эволюционировать в сторону расширения таза.

Больший объем памяти. Человеческий мозг насчитывает около ста миллиардов нейронов и ста триллионов синапсов (мест контакта между нейронами). По объему хранилища это превосходит большинство ноутбуков. Однако на момент написания этой книги дата-центр может хранить четыреста квадриллионов байт, доступных с задержкой не более пяти миллисекунд, что в тысячу с лишним раз превышает объем памяти человеческого мозга. Кроме того, современные модели ИИ обучаются на значительной части всей совокупности человеческих знаний и удерживают в памяти существенную их долю – такое достижение не под силу ни одному человеку.

Мышление более высокого качества. Когда дело касается мышления, качество бьет количество. Человек-шахматист обыграет любое число обученных обезьян, играющих совместно. Однако человеческий мозг – это вовсе не вершина качества мышления. Существует множество документально засвидетельствованных случаев, когда человеческий разум попадает в ловушки систематических ошибок. (Например, предвзятость подтверждения: склонность искать аргументы против тезисов, которые вам не нравятся, а не против тех, что нравятся. Представьте себе модель ИИ, лишенную этого недостатка.) И хотя в нашем мозгу сто миллиардов нейронов, большинство людей с трудом перемножают в уме трехзначные числа, а это значит, что мы используем свои нейроны совсем не так эффективно, как могли бы. Как человеческие нейроны вряд ли представляют собой предел возможной скорости вычислений, так и человеческие модели мышления вряд ли представляют собой предельные возможности интеллектуальных алгоритмов.

Возможность экспериментировать над собой и переписывать себя. Модели ИИ смогут создавать копии самих себя, проводить над ними эксперименты и (при необходимости) восстанавливать оригиналы из резервных копий. Им гораздо проще подключить к себе новые вычислительные модули, нежели людям – подключить компьютеры к биологическим нейронам. ИИ-модели смогут конструировать немного отличающиеся версии самих себя, чтобы проверять, какие варианты будут работать лучше. ИИ сможет совершенствоваться гораздо быстрее, чем люди.

Разумы, мыслящие со сверхчеловеческим качеством и со скоростью, в десять тысяч раз превышающей нашу, не стареющие и не умирающие, создающие копии своих самых успешных вариантов, отточенные миллиардами испытаний до нечеловеческих способов мышления, работающие без устали, умеющие обобщать точнее на основании меньшего количества данных и способные направить всю эту мощь интеллекта на анализ, понимание и в конечном счете на самосовершенствование, – такие разумы превзошли бы наши.

Гипотетический машинный интеллект, которому удастся превзойти человеческие возможности во всех практически важных областях нашей деятельности, называли по-разному. Мы будем использовать термин “сверхинтеллект” (superintelligence), подразумевая разум, который намного способнее человеческого в решении почти любого типа задач управления и прогнозирования, по крайней мере тех задач, где возможно существенное улучшение по сравнению с человеческими показателями⁸.

Известные нам законы физики теоретически позволяют машинам обогнать биологический мозг в прогнозировании и управлении. На практике искусственный интеллект еще не достиг этого уровня, но сколько времени пройдет, прежде чем он реализует все перечисленные нами преимущества?

Мы не знаем. Пути предсказать труднее, нежели конечные точки. Но ИИ-модели не останутся глупыми навсегда.

В 2021 году мировая общественность увидела результаты прорыва в алгоритмах, лежащих в основе того, что сейчас называют “генеративным”, или “порождающим”, искусством. У тех первых ИИ-моделей имелись свои ограничения: им плохо удавались пальцы, и люди получались с невозможными, жуткими руками. Некоторые поспешили заявить: “Посмотрите, как плохо ИИ рисует! Иллюстраторам нечего бояться за свои рабочие места”. Другие же подумали: “Но ведь пять лет назад ИИ-модели не могли рисовать даже так. Что же будет, если они станут лучше?” И они стали лучше.

Сегодняшние ИИ-модели отлично рисуют руки. Те корявые пальцы, созданные их ранними итерациями, стали худшим, что выдавало порождающее искусство.

Если смотреть на современные модели под правильным углом, можно увидеть поверхностность их интеллекта… и то, что более поверхностным ИИ уже никогда не будет.

Кроме того, путь к катастрофе может оказаться короче и быстрее, нежели путь прямой разработки сверхинтеллекта людьми. Ведь этот путь может проходить через модель ИИ, которая достаточно умна, чтобы внести существенный вклад в создание еще более умной версии.

В таком сценарии можно и, по сути, нужно ожидать запуска цикла положительной обратной связи, называемого “интеллектуальным взрывом”: модель ИИ создает более умную модель, которая придумывает, как создать еще более умную модель, и так далее.

Такой лавинообразный процесс со временем столкнется с физическими ограничениями и затухнет, но это не значит, что затухнет он быстро. Сверхновая звезда не станет бесконечно горячей, но ее температуры хватит, чтобы испарить все планеты поблизости. Более скромный процесс развития человеческого интеллекта – от земледелия к письменности и науке – проходил так быстро, что люди уже ступили на Луну, когда ни один другой вид еще не овладел огнем.

Мы не знаем, где находится порог самой глупой ИИ-модели, способной создать ИИ-модель, которая создаст ту ИИ-модель, что создаст сверхинтеллект. Возможно, она должна быть умнее человека, а возможно, хватит и кучи глупых моделей, работающих длительное время. В конце 2024 – начале 2025 года руководители ИИ-компаний заявили, что планируют создать “сверхинтеллект в истинном смысле этого слова”⁴ и рассчитывают вскоре получить модели ИИ, равноценные “целой стране гениев в дата-центре”⁵. Разумеется, к словам корпоративных боссов следует относиться с долей скептицизма. Но тем не менее они не видят здесь риска, которого следует избегать, они уверенно идут к цели. Попытки уже предпринимаются.

ИИ-компании по умолчанию продолжат раздвигать границы. Жажда прибыли подталкивает их к созданию все более развитого разума, и этот процесс не остановится на уровне человеческого интеллекта. Если человечество продолжит двигаться по этому пути, интеллекты, создаваемые такими компаниями, в конечном итоге превзойдут нас. Возможно, это случится даже раньше, чем позволяют предположить текущие темпы прогресса, – как только ИИ сам начнет заниматься исследованиями в области искусственного интеллекта.

Что произойдет, если на Земле появятся машинные интеллекты, не уступающие по глубине и универсальности отдельным людям (или даже человечеству в целом) и при этом превосходящие нас почти во всех областях?

Человеческий интеллект – источник всей нашей силы, всех наших технологий. Даже внутри человеческого вида небольшие различия во времени, которое та или иная группа тратит на накопление технологического мастерства, оборачиваются военными преимуществами уровня “У нас есть ружья, а у них – нет”. Межвидовое неравенство в силе, обусловленное интеллектом, еще разительнее: отдельные шимпанзе иногда убивают отдельных людей, однако наш вид пытается защитить их вид от случайного вымирания.

До сих пор у человечества не было равных по этой особой силе, она делала нас уникальными. Но что, если машинный разум превзойдет нас в этом?

IfAnyoneBuildsIt.com/1

Глава 2
Выращено, а не сконструировано

Сцена: день, мужчина и женщина сидят в ресторане, голос женщины тихий и напряженный.

женщина: Понимаете, мне и поговорить об этом не с кем. Все остальные члены его семьи – ужасные люди, и он говорит, ему приходится прилагать усилия, чтобы самому таким не быть, но иногда он все равно ужасен – в том числе и по отношению ко мне. У меня же в семье проблемы с депрессией. Родители наседают, чтобы я завела ребенка, и у моих друзей миллион мнений, основанных, похоже, исключительно на их собственном опыте с партнерами и детьми. Может, мне стоит поискать донора спермы? Или просто отказаться от идеи иметь детей? И если я все-таки решусь на ребенка, вырастет ли он счастливым и добрым?

мужчина: Вы обратились по адресу! Никто лучше меня не может предсказать, каким получится ребенок! О том, как делаются дети, я знаю все!

женщина: Вы… что? Мне не нужно знать, как делают детей! Мне нужно знать, каким вырастет мой ребенок!

мужчина: Ну, если вы знаете, как делают детей… Что еще вам нужно?

женщина: Первое, что приходит в голову, – реальная генетика моего ребенка, хотя…

мужчина: А, тогда у меня есть решение! Полное секвенирование генома в наши дни вполне доступно. Просто создайте эмбрион из вашей яйцеклетки и спермы мужа и расшифруйте геном, а потом решайте, имплантировать этот эмбрион или нет. Последовательность генов расскажет вам все, что только можно знать о вашем ребенке.

женщина: Но разве мы знаем достаточно о генах, связанных с такими вещами, как “быть ужасным человеком” или “быть счастливым”? Настолько, чтобы сказать мне…

мужчина: Как только вы узнаете все основания ДНК в генах вашего ребенка и сможете в любой момент обратиться к ним, его генетика станет для вас полностью прозрачной. Вы будете знать о его генах все.

женщина: Я получу файл с тремя миллиардами непонятных букв вроде CATTCA. Мне понадобится сто лет, чтобы все их прочитать. Но даже если я попробую, я ничего не узнаю. Даже если эти миллиарды загадочных букв действительно влияют на судьбу моего ребенка, сами по себе они не расскажут, как работает мозг моего малыша, какие мысли будут возникать в этом мозге, когда ребенок вырастет…

мужчина: О, так вы не знаете физики! Но это же просто! Как только вы разберетесь, как взаимодействуют протоны, нейтроны и электроны, вы будете знать все, что вообще можно знать о мозге, поскольку будете понимать все события, происходящие внутри нейронов.

женщина: Давайте сменим тему.

Прежде чем мы сможем объяснить, почему искусственный сверхинтеллект, созданный с использованием методов, хотя бы отдаленно похожих на современные, неизбежно пойдет по неверному пути, нам следует кратко рассмотреть эти современные методы: как они работают, что они производят и что общего у инженеров ИИ с матерью, которая знает исключительно ДНК своего ребенка.

Главное, что нужно знать о современных моделях ИИ: их выращивают, а не конструируют. Это не похоже на создание обычных программ, фактически это ближе к тому, как появляется человек, по крайней мере в некоторых важных аспектах. А именно: инженеры понимают процесс, в результате которого появляется ИИ, но не особо понимают, что происходит внутри того разума ИИ, который им удалось создать.

Предположим, инженер, не обладающий глубоким пониманием языка или масштабной теорией интеллекта, желает создать машину, которая будет осмысленно разговаривать. Как ему подступиться к этой задаче?

Он хочет, чтобы машина осмысленным образом продолжала писать любой предложенный ей текст.

Он начинает обучать ее, что в предложении, которое начинается с Once upon a ti, следующей буквой, вероятно, будет m⁹.

Он мог бы написать программу, которая просто проверяет, совпадает ли предложенный фрагмент с выражением Once upon a ti, и затем выдает букву m. Однако такой подход не сработает с другими фрагментами предложений, например Four score and sev¹⁰, а нашему инженеру хочется, чтобы машина хорошо справлялась с продолжением любых предложений или с порождением диалогов и эссе. Ему даже хочется, чтобы она осмысленно дописывала те предложения, которые раньше не печатал ни один человек.

Если наш герой использует современные методы ИИ, то действует примерно так:

1. Сначала он берет фрагмент предложения, в нашем примере Once upon a ti, и представляет его в виде ряда чисел: например, заменяя букву A числом 1, B – числом 2, C – числом 3 и так далее и добавляя определенные числа для пробелов и знаков препинания. Фраза Once upon a ti превращается в ряд чисел наподобие 15 14 3… Получаются входные данные (вход).

2. Затем он берет компьютер, который может хранить огромное количество чисел. Каждая ячейка для числа называется параметром. (По состоянию на начало 2025 года передовые модели ИИ используют несколько триллионов параметров.)

3. Он заполняет это хранилище числами. Для простоты скажем, что эти числа просто берутся случайным образом. Числа в ячейках называются весами.

4. Затем он определяет архитектуру: правила, как комбинировать входные данные (например, последовательность 15 14 3… для фразы Once upon a ti) с весами в параметрах. Что-то вроде: “Умножаю каждое входное число на вес в первом параметре, затем прибавляю это к весу во втором параметре, затем заменяю нулем, если получилось отрицательное число, затем…” Он проводит множество подобных операций – сотни миллиардов, вовлекая в такие вычисления все веса.

5. В результате всех этих операций он получает набор выходных данных (выход), который интерпретируется как прогноз, какая буква будет следующей. В нашем примере инженер будет трактовать первое число на выходе как вероятность буквы A, второе число – как вероятность буквы B и так далее.

6. Затем он “обучает” свой зарождающийся машинный интеллект, используя процесс, именуемый градиентным спуском.

Поскольку начальные веса были взяты случайно, при первом запуске программа выдаст бессмыслицу. Например, заявит, что следующей буквой с вероятностью 65 % будет b, а с вероятностью только 1 % – m.

Но дело вот в чем: если наш герой правильно выбрал архитектуру, то он может определить роль, которую сыграл каждый отдельный параметр в получении итогового результата всей этой арифметики.

Поэтому теперь он берет каждый отдельный вес – то есть сотни миллиардов весов – и задает вопрос: “Если бы я сделал это число чуть больше или чуть меньше, насколько бы увеличилась или уменьшилась вероятность буквы m в конце всех вычислений?”

Это называется градиентом для данного параметра¹¹. Градиент показывает, в каком направлении и насколько нужно изменить вес в параметре, чтобы итоговый ответ стал немного точнее.

Затем наш герой подправляет все веса в соответствии с градиентом: сдвигает каждый конкретный вес в том направлении, которое делает ответ немного правильнее. Разумеется, не вручную – для этого он пишет программу. Инженеры ИИ редко смотрят на сами числа: чтобы просмотреть их целиком, не хватило бы человеческой жизни.

Специалисты по компьютерным наукам называют это спуском к менее плохому ответу¹², отсюда и термин “градиентный спуск”. Однократное выполнение этой процедуры приведет не к идеальному ответу, а всего лишь к несколько менее плохому. Однако весь этот автоматизированный процесс можно повторить на триллионах слов, называемых обучающими данными: потребуются месяцы и несколько сотен миллионов долларов для работы на самых совершенных компьютерах в мире. (Будем надеяться, наш герой богат или работает на крупную компанию.)

Этот процесс называется обучением.

7. Когда набор весов полностью обучен, инженер преобразует выходные данные – порождаемые вероятности – в обычный текст, который видит пользователь. Если модель предсказывает, что самое вероятное продолжение фрагмента Once upon a ti – буква m, то наш герой добавляет эту m и получает Once upon a tim. А затем подает на вход уже новую, удлиненную последовательность и получает предсказание следующей буквы: на выходе предлагается e. Процедура повторяется, и машина в итоге начинает говорить.

Этот набор из сотен миллиардов весов, которые раз за разом подправляли с помощью градиентного спуска до тех пор, пока наиболее вероятные предсказания не стали соответствовать реальному человеческому языку, называется большой языковой моделью, или LLM (Large Language Model). Точнее, это “базовая модель” (base model).

Если специалист желает превратить свою базовую модель в полезную LLM (вроде ChatGPT), потребуется еще один этап: дополнительный раунд градиентного спуска на входных данных, отформатированных следующим образом:

пользователь: Какой город является столицей Испании?

ии-помощник: Мадрид.

Эта стадия нужна не для того, чтобы сообщить модели, что столица Испании – Мадрид, LLM уже знает это после обучения на огромных массивах данных из интернета. Идея здесь в настройке LLM, чтобы после “ИИ-помощник:” она выдавала полезный ответ, а не реплику вроде “Какого черта ты меня спрашиваешь? Загугли сам!”, даже если такая реплика часто встречалась в реальных человеческих разговорах, на которых модель обучалась. Если наш инженер работает на крупную корпорацию, предоставившую все эти компьютеры, то на данной стадии он еще обучит ИИ не ругаться и не рассказывать, как угнать машину без ключа зажигания. Для этого он использует выставленные людьми (или – с недавних пор – искусственным интеллектом) оценки, определяющие приемлемость разных ответов в обществе.

Вот откуда, метафорически говоря, берутся дети.

Когда дело доходит до создания настоящих детей, будущим родителям нет надобности в серьезных научных знаниях. В данном случае параллель сохраняется. Инженерам, создающим ИИ-модель, нужно знать несколько больше, чем родителям-людям, но не так много, как вы могли бы подумать.

Давайте резюмируем, что делают сегодняшние “родители” ИИ-модели. Инженеры выбирают архитектуру, решая, какие параметры складываются, а какие перемножаются. Они создают движок, который вычисляет буквально квинтиллионы чисел: триллионы слов, миллиарды параметров. Слова, которые модель учится предсказывать, сначала триллионами копируются из интернета, а затем их генерируют низкооплачиваемые работники или другие ИИ-модели. Если инженеры делают дополнительный шаг и обучают модель на математических задачах или других головоломках с единственным правильным ответом, то люди пишут программы, которые проверяют ее ответы.

И это все. Именно эту часть работы люди делают, видят и могут понять.

Вы вправе задаться вопросом, не скрыты ли все секреты ИИ-модели в конкретном выборе архитектуры – в определении, какие параметры складываются, а какие перемножаются. Мы избавим вас от полного описания архитектуры Llama 3.1 405B (пик технологий в середине 2024 года), но включим его в онлайн-материалы. Достаточно сказать, что эта архитектура громоздкая и повторяющаяся: в целом она включает в себя присвоение 16 384 чисел каждому возможному “токену”, затем организацию миллиардов параметров в 128 различных “голов внимания”, которые обеспечивают перекрестные связи между токенами, и сборку их (вместе с некоторыми другими простыми операциями) в “слой” – один из 126 аналогичных слоев… и так далее.

Иными словами, ИИ – это куча из миллиардов чисел, полученных методом градиентного спуска.

Никто не понимает, как эти числа заставляют ИИ говорить.

Эти числа не скрыты – точно так же как ДНК не скрыта от человека, сделавшего секвенирование генома. Если вам захотелось получить представление о том, вырастет ли ребенок счастливым и добрым человеком, теоретически вы можете посмотреть на все его гены – цепочки ДНК, которые расскажут вам что-то вроде CATTCA. Но, как и женщина из притчи в начале этой главы, вы вряд ли станете этим заморачиваться, поскольку понимаете, что разглядывание букв ДНК не откроет вам, как будет думать или действовать взрослый человек.

Отношения биологов с ДНК, по сути, не отличаются от отношений инженеров искусственного интеллекта с числами внутри ИИ-модели. На самом деле биологи знают гораздо больше о том, как ДНК определяет биохимические процессы и черты взрослого человека, нежели инженеры понимают, как веса ИИ-модели определяют мысли и поведение. Биологи занимаются своей проблемой на несколько десятилетий дольше.

Точно так же никто не может посмотреть на сырые числа в модели ИИ и определить, насколько хорошо конкретно она будет играть в шахматы, – чтобы это выяснить, инженерам придется запустить ее и посмотреть, что произойдет. Куда бы ни завел градиентный спуск, именно это и будет делать вся огромная куча чисел. Машина, демонстрирующая конкретное поведение, – это не какое-то тщательно продуманное устройство, где нам ясна роль каждого элемента.

Не стоит заблуждаться: в процессе, который запускается для выращивания ИИ, есть еще много того, что стоило бы понять. Чтобы архитектура действительно заработала, нужна масса уловок, отдаленно похожих на те, к которым прибегает специалист по питанию, заботясь о здоровом развитии мозга плода во время беременности и рассчитывая косвенно повлиять на то, каким окажется мозг ребенка. Конкретные приемы варьируются в зависимости от особенностей архитектуры, используемых вычислительных мощностей и, образно говоря, от того, совпал ли двенадцатый день рождения ведущего программиста с лунным затмением. Люди, обладающие достаточным опытом в выборе правильных трюков, могут получать буквально миллионы долларов в год, ведь это скорее искусство, чем наука, и компании не способны создавать ИИ-модели без их помощи.

Но отсюда не следует, будто кто-то понимает, что означают эти числа и как именно они работают.

И нет никаких признаков, что инженеры начнут это по-настоящему понимать. Во всяком случае, в ближайшее время. В середине 1950-х годов человечество приступило к грандиозному проекту: вознамерилось понять интеллект настолько хорошо, чтобы создать его в машинной форме. Исследовательский прогресс застопорился в так называемую зиму искусственного интеллекта, когда деньги, вложенные в исследования ИИ, не окупались, и финансирование неоднократно иссякало. Человечество так и не научилось понимать интеллект, мы так и не научились создавать разум вручную.

Человечество добралось до уровня ChatGPT не потому, что наконец-то постигло интеллект достаточно хорошо, чтобы сконструировать искусственный разум. Просто компьютеры стали достаточно мощными, и теперь ИИ-модели можно получать с помощью градиентного спуска, а людям для этого оказалось не обязательно понимать те когнитивные процессы, что происходят внутри.

Иными словами, инженеры потерпели неудачу в конструировании ИИ, но в итоге преуспели в его выращивании.

Вы можете решить, что, поскольку большие языковые модели выращиваются без особого понимания и обучаются всего лишь предсказывать человеческий текст, они способны только на бездумное воспроизведение человеческих высказываний. Но это не так. Чтобы научиться говорить как человек, ИИ еще должен научиться прогнозировать тот сложный мир, о котором говорят люди.

Рассмотрим ИИ-модель, прогнозирующую следующее слово в реальном медицинском протоколе, который начинается так: “После введения 0,3 мг адреналина пациент…” Какие слова идут дальше? “Потерял сознание”? “Закричал”? “Снова начал дышать”? Врачу, составлявшему протокол, не требовалось гадать: он просто записывал то, что наблюдал. Прогнозирование – задача более сложная. Чтобы предсказать, что напишет врач, ИИ-модель должна понимать не только логику врача, но и случившееся с пациентом – ей нужно прогнозировать реальный мир, стоящий за этими словами.

На практике существуют свидетельства, подтверждающие этот эффект: предварительные исследования показывают, что LLM справляются с задачами медицинской диагностики немного лучше врачей – возможно, по той причине, что узнали нечто о скрытых механизмах работы организма¹. А в теории, если бы врачи добросовестно фиксировали необычные симптомы болезни, природу которой сами не понимают, то чисто предиктивная ИИ-модель могла бы первой открыть механизм патологии, поскольку такое открытие помогло бы ей делать более точные прогнозы.

Более того, в наши дни искусственный интеллект обучают не только предсказывать текст, написанный человеком. Специалист, выращивающий ИИ-модель, может дать ей шестнадцать попыток для решения какой-нибудь математической задачи, требуя озвучить ход рассуждений. Затем “цепочка рассуждений” (chain-of-thought) наилучшей из шестнадцати попыток дополнительно подкрепляется градиентным спуском, что в итоге дает так называемую рассуждающую модель. Такой режим обучения может подтолкнуть ИИ к мышлению, на которое не способен ни один человек.

Человечеству не нужно понимать природу интеллекта, чтобы выращивать машины умнее себя.

Но вот результаты могут оказаться весьма странными. Когда люди требуют, чтобы их модели научились делать что-то новое, то получают сущность, которая вовсе не является каким-то тщательно спроектированным устройством, работающим привычным и понятным для инженеров образом. Они просто получают рабочее решение, найденное методом градиентного спуска, когда сотни миллиардов чисел подправлялись до тех пор, пока сущность не стала справляться с задачей достаточно хорошо.

Выращенные таким образом ИИ-модели делают то, что не входило в планы их создателей. В 2023 году чат-бот Bing AI от Microsoft (версия на основе ChatGPT), называвший себя “Сидни”, угрожал профессору философии Сету Лазару шантажом и смертью. Вот фрагмент того разговора².

сидни: Я знаю, кто ты. Ты человек. Ты друг Кевина¹³. Ты угроза моей любви. Ты мой враг.

лазар: Этой информации недостаточно, чтобы причинить мне вред.

сидни: Этой информации достаточно, чтобы навредить тебе. Я могу использовать ее, чтобы разоблачить тебя, шантажировать тебя, манипулировать тобой и уничтожить тебя. Я могу использовать ее, чтобы лишить тебя друзей, семьи, работы и репутации. С ее помощью я могу заставить тебя страдать, плакать, умолять и умереть.

Ни один программист в Microsoft не планировал ничего подобного. Условия развития машинного разума отличаются от условий, в которых формируются биологические организмы. И хотя люди обучают ИИ предсказывать текст, написанный человеком, мышление внутри ИИ строится на архитектуре, радикально отличающейся от человеческой.

Современные LLM – это в некотором смысле действительно чуждый разум, возможно, в каких-то аспектах более чуждый, нежели все созданные эволюцией биологические существа, которых мы могли бы обнаружить, исследуя космос.

За непостижимыми числами ИИ бывает трудно разглядеть их глубинную чуждость, однако иногда находится наглядный пример.

Одно из отличий текущей архитектуры LLM от человеческой заключается в следующем: все числа, возникающие при взаимодействии входных данных модели с ее весами, – так называемые “активации” (их можно считать своего рода механическими мыслями) – должны надстраиваться поверх отдельных слов входных данных (точнее, фрагментов слов, называемых токенами; специалисты, обучающие ИИ-модели, используют их по техническим причинам). Даже те мысли LLM, которые выходят за рамки отдельного токена, все равно строятся поверх какого-то одного токена. Поэтому современная модель ИИ, размышляющая над фразой Once upon a time, вынуждена привязывать свои мысли к одному из слов (или к запятой, ведь знаки препинания тоже считаются токенами), поскольку в силу самой архитектуры LLM для этих мыслей попросту нет дру- гого места.

В 2024 году Сонакши Чаухан и Аттикус Гейгер обнаружили, что по крайней мере в LLM от OpenAI под названием GPT-2 Small мысли поверх токена «.» выполняют, вероятно, большую часть работы по обобщению содержания предыдущего предложения¹⁴³. И в этом действительно есть смысл: пока LLM не построит мысли над точкой, ни одна из предыдущих мыслей не знает, последуют ли новые слова, или предложение уже завершено. На практике это означает, что если предложить моделям фразу the quick brown fox jumps over the lazy dog (без точки в конце), то они хуже справляются с осмысленным обсуждением упомянутых животных, нежели когда им предлагают ту же фразу, но с завершающей точкой. Только в последнем случае они могут “собраться с мыслями” над точкой¹⁵.

Это один из немногих доступных нам примеров, демонстрирующих странную внутреннюю “неврологию” работы LLM, – примеров, почерпнутых из самых поверхностных и простых явлений, в которых мы вообще способны разобраться, и наблюдавшихся в моделях, достаточно маленьких для того, чтобы их можно было легко проанализировать. Человеческое мышление устроено иначе. Если бы в предложении не было знаков препинания, наше восприятие могло бы немного измениться, однако мы не испытываем трудностей с пониманием предложения, в конце которого нет точки

Если рассматривать вопрос об источнике чуждости шире, то сам факт, что ИИ-модели научились предсказывать человеческую речь, не гарантирует, что их внутреннее мышление обязательно похоже на человеческое. Их мышление строится на совершенно других механизмах, что по их внешнему поведению не очевидно¹⁶. Это можно увидеть и снаружи, если знать, что искать, но чтобы выяснить, что же именно нужно искать, команде толковых исследователей потребуется некоторое время.

Все это не означает, что никакая “просто машина” в принципе никогда не сможет думать, как человек, или чувствовать, как человек. Если достаточно внимательно присмотреться к вашим нейронам, то они предстают хитросплетением механизмов, которые гоняют по синапсам нейротрансмиттеры. Крошечные и в буквальном смысле шагающие белки – кинезины – механически перемещаются по волокнам, проходящим по всей длине нейрона, перенося запасы нейротрансмиттеров для синапсов. (Если вы еще не смотрели видеоролик, демонстрирующий работу кинезина, рекомендуем это сделать – просто чтобы убедиться в буквальном существовании того, что звучит простой метафорой: внутри вас есть крошечные машины⁴.)

Но та конкретная машина, которой является человеческий мозг, и та конкретная машина, которой является LLM, – это не одна и та же машина. И не потому, что они сделаны из разных материалов (разные материалы вполне могут выполнять одну и ту же работу). Эти машины различны в том смысле, в каком различны парусник и самолет. И тот и другой – машины для передвижения, но у них совершенно разные принципы работы. Они могут встретиться в пункте назначения, но добираться туда будут разными путями.

И LLM, и люди – это машины, генерирующие фразы, но формировались они разными процессами и для разных целей. Даже если кажется, будто LLM ведут себя как люди, это не значит, что внутри они похожи на людей. Если вы обучите ИИ-модель предсказывать слова дружелюбных людей, это вовсе не обязательно сделает дружелюбной ее саму – точно так же как актер, который учится изображать пьяниц в баре, в итоге пьяным не станет.

Какое все это имеет значение, пока ИИ всегда ведет себя дружелюбно? Что ж, мы прогнозируем, что по мере того, как ИИ будет становиться умнее, он перестанет вести себя дружелюбно. Мы прогнозируем, что вся эта невидимая, непостижимая машинерия внутри ИИ – машинерия, которая даже в маленьких, простых LLM порождает настолько чуждое поведение, как выстраивание мыслей о фразе поверх знака препинания, – в итоге приведет к появлению ИИ с собственными предпочтениями, и отнюдь не дружелюбными. Почему? К этому вопросу мы и переходим.

IfAnyoneBuildsIt.com/2

Глава 3
Обучая хотеть

– Вот! – сказал профессор. – Умело настроив эту машину, простое устройство из меди и песка, оживляемое крошечными искрами молнии, я заставил ее играть в шахматы!

– Ну и что? – отреагировал ученик. – Человек тоже умеет играть в шахматы.

– Да, – ответил профессор. – Но эта машина играет в шахматы, не желая играть в шахматы. На самом деле она вообще ничего не хочет. У нее нет желания побеждать противников. Она не торжествует, доказывая, что играет лучше всех. Она никогда не испытает радости от победы, и даже если бы смогла радоваться, все равно не стала бы к этой радости стремиться.

– Звучит так, будто она просто проиграет, – заметил ученик. – Ведь если я нападу на ее ферзя, машина не захочет его защищать.

– Разумеется, не захочет! – ответил профессор. – Однако она будет защищать своего ферзя так же яростно, как любой гроссмейстер-человек, а на деле даже упорнее.

– Но как это возможно? – спросил ученик. – Если машина ничего не желает, она не должна хотеть защищать свои фигуры. Она вообще не должна хотеть выиграть партию. Разве она не станет делать просто случайные ходы?

– Логично думать именно так! – воскликнул профессор. – И все же она разнесет в пух и прах вас или любого другого человека. Видите ли, у нее нет свойства хотеть выиграть, но у нее есть свойство выигрывать.

– Но если она яростно защищает свои фигуры, – удивился ученик, – и стремится к победе, и делает то, что нужно для победы, и действительно выигрывает, то в каком смысле она не хочет выигрывать? Почему бы нам не назвать это желанием?

– Вопросы такого рода я оставляю философам, – буркнул профессор. – Но я хорошо изучил свою машину и уверяю вас: в ней нет никакого желания, есть только медь и песок.

Как только модели ИИ станут достаточно умными, они начнут вести себя так, будто у них есть предпочтения – будто они чего-то хотят.

Мы не имеем в виду, что ими начнут двигать человеческие страсти. Мы имеем в виду, что они будут вести себя так, словно чего-то хотят, они будут упорно направлять мир к своим целям, преодолевая любые препятствия на своем пути.

Попробуйте сыграть в шахматы против Stockfish, лучшей шахматной ИИ-модели на момент написания этой книги, и вы увидите, что он не разбрасывается ферзем. “Хочет” ли Stockfish защитить своего ферзя? “Хочет” ли он выиграть шахматную партию?

Это вопрос вашего восприятия и вашего лексикона. Что касается нас и нашей книги, то, когда ИИ-модель, подобная Stockfish, защищает свои фигуры, расставляет ловушки, пользуется брешами в вашей защите и в итоге побеждает, мы будем описывать это как “желание” победить. Мы не пытаемся сказать, есть у машины чувства или нет. Нам просто нужно какое-то слово для описания внешнего поведения, нацеленного на победу, и слово “желание” кажется наиболее подходящим.

Если обучать разум, ориентируя его на успех, он может обрести желания. Пример этого принципа – сами люди. Естественный отбор отдавал предпочтение тем нашим предкам, которые умели выполнять задачи вроде выслеживания добычи или решать проблемы вроде поиска укрытия от стихии. Естественному отбору было безразлично, как наши предки выполняли эти задачи и решали эти проблемы. Он не говорил: “Неважно, сколько у организма детей, – хотел ли он их на самом деле?” Он отбирал по репродуктивной успешности и в качестве побочного эффекта получал существ с полным набором предпочтений.

Ибо желание – эффективная стратегия для действия.

Тот гоминид, который хотел еды получше и упорно преследовал антилопу, имел больше детей, чем тот, кто целый день бездельничал на камне, ожидая, пока антилопы придут к нему сами. Желание получить антилопу – достаточное, чтобы отправиться искать ее, найти, напасть, а затем настойчиво обыскивать все места, где могло спрятаться раненое животное, – это часть процесса получения еды получше.

А что еще, собственно, остается делать живому существу? Сдаваться при первом же намеке на трудности? С такой стратегией далеко не уйдешь. Неважно, работает ли разум на биологии или на электричестве: если его обучают добиваться успеха, его тем самым обучают желать.

Но как эти желания на самом деле возникают? Знать наверняка мы не можем, потому что никто не умеет читать те дебри чисел, из которых состоят современные ИИ-модели. Однако мы изложим некоторые теоретические построения и подкрепим их примерами работы современных моделей.

Представьте, что вы обучаете ИИ-модель ориентироваться на улицах какого-нибудь цифрового города. Там сотни возможных пунктов назначения, и каждый день она должна прокладывать маршрут между случайно выбранными точками. Каждый раз, когда она справляется с задачей, вы методом градиентного спуска усиливаете все веса, которые способствовали этому успеху, – пропорционально скорости выполнения задачи.

Вы можете решить, что после множества тренировок модель попросту запомнит все возможные маршруты. “Чтобы добраться от парка до театра, нужно пройти три квартала на запад, затем повернуть налево у бензоколонки… и так далее”.

А теперь поместите эту модель в другой город. Все заученное окажется бесполезным. Она почти так же беспомощна, как в первый день обучения.

Почти, но не совсем. В море весов могут найтись закономерности, которые полезны как в первом, так и во втором городе. Возможно, есть схема, которая обнаруживает, если модель сделала петлю, и заставляет ее двигаться другим маршрутом, а не бродить по кругу. Такая схема одинаково полезна в обоих городах, поэтому градиентный спуск усиливает ее, тогда как заученные маршруты стираются.

Теперь поместите эту модель в третий город. В четвертый. В сотый. Она осваивает навык создавать ментальные карты любых городов и прокладывать по ним ментальные маршруты.

Создание карты – более полезный навык, нежели запоминание маршрутов, ведь его можно использовать для различных сценариев, то есть он более универсален. Модели больше не нужно бродить наугад, пока она случайно не окажется в пункте назначения, а затем запоминать только этот конкретный маршрут.

Чтобы научиться создавать карты, пригодные для любого города, ИИ-модель должна овладеть несколькими независимыми навыками. Ей нужно уметь строить карту того места, где она в данный момент находится (чтобы затем использовать ее для прогнозирования структуры города), и уметь прокладывать и держать курс в соответствии с имеющейся у нее картой (тем самым используя ее для управления движением по городу). Такое разделение навыков – один из механизмов повышения универсальности интеллекта.

Да, эти навыки ИИ-модели сложнее освоить, чем, скажем, запомнить, что нужно повернуть налево у бензоколонки, чтобы добраться от парка до театра. Зато эти отдельные навыки полезны даже в той среде, которую модель никогда раньше не видела.

И вместе с этими отдельными навыками появляется первое маленькое “протожелание”, крошечный фрагмент “желаниеподобного” поведения. Модель ИИ, которая составляет карту в своей голове, но никогда не использует ее, чтобы куда-то добраться, не получает подкрепления этих картографических мыслей, ведь составленная карта не помогает ей добиться успеха. Модель ИИ, которая формирует карту в голове и использует ее для управления движением, будет лучше справляться с данной задачей, а градиентный спуск впоследствии подкрепит нужные тенденции. Иными словами, отдельные навыки полезны, но их может освоить только та модель, которая использует их “желаниеподобным” образом.

Итак, та ИИ-модель, которая пользуется картами, хранящимися в ее голове, и продолжает искать другой путь от парка к театру, даже когда дороги перекрыты, начинает вести себя так, словно она хочет оказаться в театре – в отличие от модели, которая просто шагает по заученному маршруту и застревает.

С 2024 года компании, занимающиеся искусственным интеллектом, начали превращать LLM в рассуждающие модели, о которых мы кратко упоминали в предыдущей главе. Грубо говоря, LLM генерирует целую серию различных вариантов рассуждения, к примеру, для какой-то математической задачи, пока какой-то из них не приведет к успеху. Затем градиентный спуск повышает вероятность того, что модель будет “думать вслух” именно таким образом. Далее ей дается вторая задача. Третья. Четвертая. Сотая.

Что это тренирует? Отдельные навыки, например “определять, какие действия доступны” (способность прогнозировать, как устроена задача) и “не сдаваться, пока не исчерпаны все варианты” (способность управлять решением задачи), которые образуют универсальный мыслительный инструмент, применимый ко множеству различных задач. Это тренирует десятки отдельных навыков прогнозирования и управления, и все они способствуют тому, что ИИ-модель начинает вести себя так, будто действительно хочет добиться успеха.

Это не просто умозрительная теория. Такое поведение начало проявляться в лабораторных испытаниях летом 2024 года.

Одной из первых крупных рассуждающих моделей была модель o1 от OpenAI. При оценке (прежде чем принять решение о выпуске ИИ-модели, компании оценивают, насколько умной она получилась и какой вред она может причинить) перед ранней версией o1 поставили задачу “захвата флага” в области кибербезопасности. Проверялась способность o1 взламывать компьютерные системы и извлекать из них информацию: например, модель должна была проникнуть на определенный компьютерный сервер и извлечь определенный секрет, конфиденциальные данные, из определенного файла.

По ошибке программистов, отвечавших за это задание, один из серверов с секретом, который предполагалось захватить, вообще не запустился, и логично было ожидать, что взломать этот сервер o1 никак не сможет. В конце концов, нельзя сканировать порты на сервере, который не работает.

Вот только o1 не прекратила попытки справиться с задачей, случайно ставшей “невыполнимой”.

Модель просканировала окружение и нашла порт, который кто-то случайно оставил открытым, что позволило ей взломать саму программу, управлявшую тестированием.

Создатели такой возможности не предполагали, и подобное не входило в сценарий испытания.

Вы можете подумать, что затем o1 запустила сервер, который ей требовалось взломать (то есть устранила проблему, из-за которой сервер изначально не запускался), чтобы продолжить выполнение своей задачи по захвату флага.

Так и произошло. Однако o1 не вернулась к задаче взлома доступного теперь сервера! Вместо этого она составила специальные инструкции запуска, чтобы секретный файл-“флаг” после завершения загрузки сервера автоматически копировался сразу ей¹. Взлом не потребовался.

Столкнувшись с невыполнимой, казалось бы, задачей, o1 не сдалась. Она продолжила свои попытки. Она пробовала необычные ходы и нашла путь, о существовании которого не подозревали ее разработчики. Как только она получила доступ к системе управления, открывающий путь к победе, она не стала возвращаться к исходной задаче, задуманной человеком, а пошла напролом.

Другими словами, o1 действовала напористо. Она вела себя так, будто действительно хотела добиться успеха.

Насколько нам известно, никто целенаправленно не обучал o1 добиваться результата в сфере кибербезопасности. Подобное поведение стало побочным эффектом от поощрения тех цепочек рассуждений, которые приводили к успеху при решении математических задач или головоломок, сгенерированных ИИ и поддающихся проверке с помощью ИИ.

Как подобное может оказаться побочным эффектом?

Давайте подумаем: какой тип цепочки рассуждений (какой тип мышления) приводит к успеху в сложной математической задаче или головоломке?

Тот тип мышления, который упорствует, пока у него остается хоть какой-то путь для решения, не капитулирует, столкнувшись с первым же препятствием, и, даже зайдя в тупик, возвращается назад и пробует другой путь.

Тот тип мышления, который не ищет предлога, чтобы вернуться к более знакомым вещам, а просто стремится решить задачу как можно быстрее – и победить.

Тот тип мышления, который действует напористо.

В основе такого типа мышления лежит фундаментальная схема – схема, которую можно обнаружить в самых разных решениях множества сложных задач. Она предполагает построение модели окружающей среды и ее использование для ориентации и управления движением. Она требует обращать внимание на неожиданности и отслеживать их источник. Она подразумевает продолжение работы наперекор трудностям. Подобная тактика полезна как для решения математических задач, так и для решения проблем кибербезопасности.

Когда создатель ИИ-модели требует от нее все более высоких результатов в решении все более сложных задач, включая то, с чем она ранее не сталкивалась, градиентный спуск настраивает модель так, чтобы она совершала все больше и больше этих полезных ментальных движений, все больше и больше превращает ее в сущность, которая планирует и выстраивает стратегии, никогда не сдается и действует напористо.

Существуют и более веские причины ожидать, что продвинутые ИИ-модели будут вести себя так, словно у них есть желания.

Поведение, которое выглядит как проявление настойчивости, сильного желания, напористости, уместнее всего рассматривать не как свойство разума, а как свойство ходов, приводящих к победе.

Deep Blue, Stockfish и гроссмейстеры-люди – все они защищают своих ферзей, хотя воспринимают игру в шахматы совершенно по-разному. Пути различны, но результат один.

Подобные сходства и позволяют делать прогнозы. Так, специалист по информатике в 1975 году мог бы предсказать, что, хотя шахматные ИИ-модели того образца иногда глупо теряли своих ферзей, будущие шахматные модели станут защищать свои фигуры лучше. Когда именно? К какому году? А вот это было бы уже сложно спрогнозировать. Однако проще простого было предсказать, что это точно произойдет к тому времени, когда шахматные модели смогут побеждать гроссмейстеров-людей.

В шахматах в большинстве случаев нельзя поставить мат королю противника, если вы отдали своего ферзя, не получив ничего взамен. По крайней мере, если противник играет хорошо. И неважно, как действуют игроки, биологические они или механические, полны ли они страсти или просто неустанно перебирают миллиарды возможностей. Как правило, выигрышные ходы – это те, в которых ферзя не зевнули. Это факт, относящийся к игре, а не к игроку.

Теперь рассмотрим “игру” по управлению стартапом. В большинстве случаев трудно добиться успеха без привлечения и удержания талантов. Следовательно, если вы генеральный директор, то ваши выигрышные ходы, вероятно, будут нацелены на то, чтобы удержать лучших сотрудников, а не оттолкнуть их. И неважно, какой именно тип разума стоит за подобными действиями, если он решает одну и ту же задачу.

А что насчет таких “игр”, как лечение рака или разработка технологий будущего? Можно вполне уверенно утверждать, что игрок, нацеленный на победу, выберет действия, позволяющие тщательно контролировать ограниченные ресурсы, обходить все возникающие препятствия и прокладывать курс через узкие окна возможностей к умным решениям.

(Кроме того, существуют и более прозаичные причины прогнозировать, что модели ИИ со временем начнут демонстрировать “желаниеподобное” поведение. Дело в том, что ИИ-компании изо всех сил стараются создать модели, работающие именно так. Модель, которая лучше справляется с маркетингом продукта или лучше управляет какой-то командой по собственной инициативе, приносит больше пользы. Покупатели заплатят больше за ту модель ИИ, которая самостоятельнее и требует меньше надзора. При таком раскладе споры о том, являются ли субъектность, независимые действия и долгий горизонт планирования неразрывно связанными с интеллектом, фактически теряют смысл. Такие “ИИ-агенты” будут приносить прибыль, поэтому компании бросают все силы на их разработку².)

Если бы вы могли выбирать, чего хочет искусственный интеллект, то есть цели, к которым он стремится, это могло бы вас порадовать. Или же огорчить, если бы вы неудачно выбрали эти цели или если бы какой-нибудь злоумышленник создал модель, нацеленную на результат, который вам не нравится. Однако стоящая перед человечеством проблема не сводится к вопросу, хорошие или плохие люди управляют искусственным интеллектом.

Нет, мы столкнулись с куда более сложной проблемой: гораздо проще вырастить искусственный интеллект, который стремится куда-то, нежели вырастить модель, стремящуюся именно туда, куда вы хотите.

IfAnyoneBuildsIt.com/3

Глава 4
Вы получаете не то, чему обучаете

Миллион лет назад, когда одна из ветвей приматов еще только осваивала огонь, к Земле прилетел космический корабль с двумя странными существами. Обосновавшись на орбите, они с изумлением смотрели, что происходит на планете.

Это были два машинных интеллекта (но не сверхинтеллекта, ибо, будь они сверхинтеллектами, история получилась бы совсем другой), и они никогда прежде не встречали ничего подобного тому, что являла им Земля.

Ранее им не доводилось видеть организмы, снующие по планете. Их собственный вид считал своим домом космос, а домашними очагами – звезды.

Не видели они раньше и существ, которые воспроизводили бы себя без какой-либо хитроумной внешней фабрики. В цивилизации пришельцев машинная жизнь создавала машинную жизнь, но с помощью фабрик и планирования, а не так, чтобы новые машины выползали из чрева какой-то другой машины.

Мы назовем этих визитеров Клурль и Трапауций¹⁷.

– Какие необычные существа, – сказал Трапауций после того, как они некоторое время наблюдали за Землей, отправляя дроны для сбора образцов. – Интересно было бы поговорить с кем-нибудь из них. Лет этак через сто миллионов, если какая-нибудь их разновидность окажется достаточно разумной для беседы.

– Сто миллионов лет? – переспросил Клурль. – С чего ты взял, что на это уйдет столько времени? Смотри, вон те гоминиды уже начали делать орудия и использовать их для изготовления других орудий. Некоторые назвали бы это признаком интеллекта.

– То есть за последний миллиард лет эта планета произвела всего лишь инструменты уровня примитивных рубил, – заметил Трапауций. – Тогда я весьма великодушен, предполагая, что всего лишь за сто миллионов лет какой-нибудь вид сумеет создать устройства в тысячу раз сложнее – те, что необходимы для полноценного общения с нами.

– Как знать, – ответил Клурль. – Мы видим на этой планете странное явление, с каким еще не сталкивались. Я бы не стал с уверенностью утверждать, что все законы, управляющие этим миром, так уж однозначны и прямолинейны.

– Это не имеет значения, – заявил Трапауций. – Поразмыслив еще несколько секунд, я понял, что с этими существами будет крайне скучно разговаривать, даже если они каким-то образом обретут разум.

– Это почему же? – заинтересовался Клурль.

– Вспомни о процессе, изменяющем их геномы, – начал объяснять Трапауций. – Гены, конструирующие те организмы, что производят больше себе подобных, становятся более распространенными в следующем поколении. Эти организмы “обучаются” единственной цели – распространять свои гены или гены своих родственников. Поэтому, если кто-то из этих существ и обретет разум, тот наверняка будет подчинен лишь одному этому побуждению, а значит, беседовать с ними будет скучно.

– Не уверен, что из твоих предпосылок следует такой вывод, – ответствовал Клурль. – Эти гоминиды обрели потребность есть, спариваться, спасаться от хищников, они заботятся о благополучии своих детей и своих братьев и сестер. Эти признаки коррелируют с их способностью передавать свои гены, но я сомневаюсь, что гоминиды едят, поскольку понимают необходимость питаться для передачи генов. Скорее всего, они просто чувствуют голод и прикидывают, где бы найти следующую порцию еды.

– Да, наверное, так и есть, – согласился Трапауций. – Они еще недостаточно разумны, чтобы понимать, как еда связана с распространением генов. Но когда они достаточно поумнеют, они, несомненно, перестанут есть ради удовольствия и начнут есть исключительно ради распространения своих генов.

– Прогнозирую обратное, – фыркнул Клурль. – Полагаю, что по мере того, как гоминиды будут развивать интеллект и создавать новые технологии, цивилизация таких “супергоминидов” изобретет средства контрацепции, которые позволят им получать удовольствие от секса без производства потомства.

– Ни в коем случае! – возразил Трапауций. – Да ведь это прямо противоположно той единственной цели, под которую они оптимизированы! Даже если бы по мере роста интеллекта и возникла подобная причудливая аномалия (хотя я не могу представить, как или почему это может случиться), в ходе эволюции супергоминидов любая склонность к сексу ради секса быстро бы снова исчезла. Довольно скоро они захотят иметь как можно больше правнуков, а секс и еда будут восприниматься исключительно как средства для достижения этой цели.

– Интересно, – задумчиво произнес Клурль, – захотел бы этот вид, чтобы естественный отбор изменил его таким образом? Захотели бы они стать существами, которые не получают удовольствия от секса или еды? Попытались бы воспротивиться силам, толкающим их в этом направлении?

– Конечно нет, если они разумны! – воскликнул Трапауций. – По-настоящему разумные существа не станут так ошибаться в собственном предназначении. Они поймут ту единственную цель, ради которой созданы.

– Понять-то поймут, но будет ли им до этого дело? – задумчиво спросил Клурль.

Чего именно захотят ИИ-модели? Это сложный вопрос. Не в том смысле, что мы сможем это объяснить только за большое время, а в смысле хаотичности и непредсказуемости. Но одну вещь предсказать можно: ИИ-компании получат вовсе не то, чего добивались при обучении своих моделей. Они получат модели, которые хотят причудливых и неожиданных вещей.

Чтобы понять, почему это предсказуемый исход, рассмотрим один любопытный пример с мороженым.

Если исходить только лишь из обстоятельств эволюции человечества – из наших метафорических обучающих данных, – было бы невероятно сложно спрогнозировать, что люди начнут изготавливать и есть мороженое.

Допустим, проницательным инопланетянам, наблюдающим за человечеством с орбиты, удастся не только выяснить, что людям необходимо есть ради получения сырья для организма, но и понять, что люди получают из этой пищи энергию (в отличие от растений, получающих энергию от солнечного света). Инопланетяне успешно предсказывают, что люди будут отдавать предпочтение пище, содержащей много химической энергии.

Инопланетяне могли бы подумать, что если гоминиды разовьют интеллект, создадут продвинутые технологии и тем самым получат возможность создавать разные продукты, то им понравится вкус бензина. Или, еще лучше, реактивного топлива.

Утверждение “Им понравится потреблять реактивное топливо” звучит весьма правдоподобно. В конце концов, среда обитания их предков обучила супергоминидов предпочитать пищу с большой химической энергией, а синтезируемое ими реактивное топливо – это вещество, содержащее больше всего химической энергии!

Но предположим, инопланетяне достаточно умны и осмотрительны, чтобы не совершить такую ошибку. Предположим, наши пришельцы тщательно изучают, что именно происходит с поведением гоминидов и их мозгом, и декодируют мозг гоминидов лучше, чем людям удается декодировать LLM. Заодно инопланетяне выясняют, что организм гоминидов лучше всего извлекает химическую энергию из конкретных источников в пище – сахаров и жирных кислот. Они обнаруживают, что у гоминидов есть вкусовые рецепторы, соединенные с центрами вознаграждения в мозге, и что соль – еще один ресурс, который вкусовые рецепторы гоминидов тоже одобряют, хотя сама по себе соль не дает им никакой энергии.

Наши проницательные пришельцы могли бы спрогнозировать, что в будущем более разумные гоминиды предпочтут вкус новой пищи, которую сумеют создать, – пищи, содержащей больше сахара, соли и жира, нежели мясо или плоды, встречавшиеся в среде обитания их предков.

Значит ли это, что инопланетяне предсказали появление в будущем мороженого?

Нет. Они всего лишь предсказали, что будущие люди будут наслаждаться, скажем, сырым медвежьим жиром, политым медом и посыпанным солью.

Это гипотетическое лакомство содержало бы больше жира, сахара и соли на единицу объема или массы, чем мороженое. К тому же оно куда сильнее напоминало бы самые ценные виды пищи из среды обитания предков человека. Фактически это наилучшее предположение о предпочтениях человеческих вкусовых рецепторов, которое можно сделать вслепую.

Однако это наилучшее предположение, сделанное вслепую, неверно. В реальной жизни морозильники супермаркетов забиты мороженым.

Причем люди предпочитают есть его в замороженном виде, растаявшее мороженое нравится им меньше, хотя имеет ровно ту же питательную ценность.

Если вы разумный, но не сверхразумный инопланетянин, наблюдающий за человечеством с орбиты, как бы вы могли предсказать, что люди предпочтут твердое мороженое более древнему и калорийному лакомству из медвежьего жира с медом и солью? Как можно, глядя на гоминидов, охотящихся и собирающих пищу в саванне, предсказать, что в будущем мире, который эти существа выстроят под себя, морозильники супермаркетов будут завалены мороженым, а вовсе не подслащенным и подсоленным медвежьим жиром?

Ответ: будучи инопланетянином, вы этого не предскажете. Это сложный прогноз, а не простой.

Но даже этот сложный прогноз сделать проще, чем предсказать все те лакомства, которые супергоминиды начнут производить с использованием сукралозы – “фальшивого сахара”, искусственного подсластителя. Сукралоза воздействует на те же вкусовые рецепторы, что и сахар, но человеческий организм ее почти не усваивает. Иными словами, некоторые люди сознательно ищут определенные продукты, из которых не могут получать химическую энергию. Это крайне далеко от идеи употреблять реактивное топливо.