Kitabı oxu: «Искусственный интеллект – надежды и опасения»

© John Brockman, 2019

© Издание на русском языке AST Publishers, 2020

Введение
О надеждах и опасностях ИИ

Искусственный интеллект – это сегодняшний день, это, так сказать, история в основе прочих историй. Это одновременно Второе пришествие и Апокалипсис, добрый ИИ против злого ИИ. Книга, которую вы держите в руках, продолжает разговор об искусственном интеллекте; в нее вошли соображения целого ряда влиятельных персон из мира ИИ и сопредельных миров о том, что такое искусственный интеллект и что за ним скрывается. Проект, получивший название «Глубокое осмысление», начался по-настоящему в сентябре 2016 года, когда некоторые авторы книги собрались, чтобы обсудить упомянутые вопросы в отеле «Мэйфлауэр Грейс» в Вашингтоне, штат Коннектикут.

Очень быстро после этой первой встречи стало ясно, что присущие широкой культуре упования и опасения, связанные с ИИ, во многом аналогичны тем надеждам и тревогам, которые окружали идеи Норберта Винера относительно кибернетики, особенно в 1960-е годы, когда творцы принялись обсуждать новые технологии в своих произведениях. Я был непосредственным свидетелем распространения этих идей; на самом деле не будет преувеличением сказать, что именно они определили мой жизненный путь. С наступлением цифровой эры в начале 1970-х годов о Винере как будто позабыли, но сегодня его кибернетические идеи успели проникнуть настолько глубоко, оказались усвоенными настолько полно, что им больше не требуется отдельное обозначение. Они повсюду, и потому будет логично начать с них.

Новые технологии = новые восприятия

До ИИ была кибернетика – представление об автоматическом и саморегулируемом управлении, изложенная в основополагающем тексте Норберта Винера 1948 года. Я могу датировать собственное осознанное обращение к ней 1966 годом, когда композитор Джон Кейдж пригласил меня и еще четверых или пятерых молодых людей из области искусства присоединиться к участию в цикле семинаров, посвященных средствам массовой информации, коммуникациям, искусству, музыке и философии; эти семинары отражали интерес Кейджа к идеям Винера, Клода Шеннона и Маршалла Маклюэна, каждый из которых считался авторитетом в нью-йоркских артистических кругах, где я тогда вращался. В частности, Кейдж высоко оценил утверждение Маклюэна о том, будто, изобретая электронные технологии, мы экстернализируем свою центральную нервную систему, то есть наш разум, и отныне приходится допускать, что «существует один-единственный разум, общий для всех людей».

Подобного рода идеи все чаще привлекали творцов, с которыми мне доводилось тогда сотрудничать (я был программным менеджером нью-йоркской «Режиссерской синематеки» и отвечал за серию мультимедийных постановок под названием «Нью Синема 1», также известную как «Большой кинофестиваль», под руководством авангардного режиссера и импресарио Йонаса Мекаса). Среди этих творцов были визуальные художники Клас Олденбург, Роберт Раушенберг, Энди Уорхол, Роберт Уитман; художники-кинетики Шарлотта Мурман и Нам Джун Пайк; мастера хэппенинга Аллан Капроу и Кэроли Шнеманн; танцовщица Триша Браун; режиссеры Джек Смит, Стэн Вандербик, Эд Эмшуиллер и братья Кучар; авангардный драматург Кен Дьюи; поэт Герд Стерн и группа USCO¹; музыканты-минималисты Ламонт Янг и Терри Райли; а еще Уорхол заманил к нам музыкальную группу «Velvet Underground». Многие из перечисленных людей читали Винера и вели разговоры на темы кибернетики. На одном из семинаров Кейдж сунул руку в портфель, достал экземпляр «Кибернетики» и вручил мне со словами: «Это вам».

В разгар фестиваля мне неожиданно позвонил коллега Винера Артур К. Соломон, руководитель аспирантской программы по биофизике в Гарварде. Винер умер годом ранее, другие близкие коллеги Соломона и Винера в Массачусетском технологическом институте и Гарварде узнали о «Большом кинофестивале» из статей в «Нью-Йорк таймс» – и заинтересовались этими попытками интерпретировать идеи Винера. Соломон предложил мне привезти несколько творцов в Кембридж² и встретиться с ним и группой ученых, в которую входили исследователь сенсорных коммуникаций из МТИ Уолтер Розенблит, математик из Гарварда Энтони Эттингер и инженер МТИ Гарольд (Док) Эджертон, изобретатель стробоскопа.

Как и во многих других ситуациях «соприкосновения искусства с наукой», в которых я оказывался с тех пор, двухдневная встреча превратилась, как говорится, в ожидаемый провал: мы говорили на разных языках. Но я нисколько не отчаивался, да и само событие имело ряд любопытных последствий, например именно тогда нам довелось впервые увидеть воочию «компьютер». Тогда компьютеры были редкостью; во всяком случае, никто из нас прежде их не видел. Благодаря любезному приглашению мы очутились в каком-то обширном пространстве посреди кампуса МТИ и узрели «холодную комнату», приподнятую над полом и заключенную в стекло; за этой стеклянной оградой техники в белых лабораторных халатах, шапках и перчатках деловито собирали перфокарты, извергавшиеся из огромного агрегата. Когда я подошел ближе, от моего дыхания стекло запотело. Я протер стекло, увидел тот «компьютер» – и влюбился с первого взгляда.

Позже, осенью 1967 года, я отправился в Менло-парк, чтобы встретиться со Стюартом Брэндом, с которым познакомился в Нью-Йорке в 1965 году, когда он числился в составе художественной группы USCO. Ныне, вместе со своей женой, математиком Лоис, он готовил к публикации первое издание «Каталога всей Земли». Пока Лоис и остальная команда упорно вносили последние правки в «Каталог», мы со Стюартом два дня подряд отсиживались в уголке, штудируя, обсуждая и комментируя тот самый экземпляр «Кибернетики» Винера в мягкой обложке, который Кейдж вручил мне год назад.

Вдохновленный совокупностью идей, я начал разрабатывать тему, своего рода мантру, которая стимулировала все мои дальнейшие усилия: «Новые технологии суть новое восприятие». Опираясь на мысли теоретика коммуникаций Маршалла Маклюэна, архитектора и дизайнера Бакминстера Фуллера, футуролога Джона Макхейла и антропологов Эдварда (Неда) Т. Холла и Эдмунда Карпентера, я начал активно начитывать работы по теории информации, кибернетике и теории систем. Маклюэн предложил мне прочесть исследование Дж. З. Янга «Сомнение и уверенность в биологической науке», где утверждалось, что мы создаем инструменты и формируем себя посредством их использования. Другим рекомендованным текстом стала статья Уоррена Уивера и Клода Шеннона «Недавние дополнения к математической теории коммуникации» (1949), которая начинается так: «Слово «коммуникация» далее будет употребляться в чрезвычайно широком смысле, дабы охватить все процедуры и способы, с помощью которых один разум может влиять на другой. Разумеется, мы говорим не только об устной и письменной речи, но также о музыке, изобразительном искусстве, театре, балете – фактически обо всем человеческом поведении».

Кто мог знать, что всего два десятилетия спустя мы начнем трактовать человеческий мозг как компьютер? А в следующие два десятилетия, объединяя наши компьютеры в сеть интернет, начнем понимать, что человеческий мозг – не сверхмощный компьютер, но совокупность, сеть компьютеров? Об этом наверняка даже не догадывался Винер, специалист по аналоговым цепям обратной связи, предназначенным для управления машинами, как не догадывались и создатели машин.

«Мы должны перестать лобызать плетку,которой нас хлещут»

Через два года после выхода «Кибернетики», в 1950 году, Норберт Винер опубликовал работу «Человеческое применение человеческих существ», безусловно более философскую, в которой выразил свою обеспокоенность относительно безудержной коммерческой эксплуатации и других непредвиденных последствий новых технологий управления. Я не читал «Человеческое применение человеческих существ» до весны 2016 года, когда взял в руки экземпляр ее первого издания, стоявший в моей библиотеке рядом с «Кибернетикой». Меня откровенно шокировало осознание того, насколько прозорлив оказался Винер в 1950 году по поводу наших дней. Первое издание этой работы стало бестселлером – более того, положило начало широкому общественному обсуждению этих проблем, – но под давлением коллег Винер выпустил в 1954 году пересмотренное и «смягченное» издание, из которого исчезла заключительная глава «Голоса ригидности».

Историк науки Джордж Дайсон отмечает, что в давно забытом первом издании работы Винер предсказывал возможность «возникновения нового грозного фашизма, который будет опираться на machine a gouverner³»:

Ни одна элита не избежала его критики, от марксистов и иезуитов («весь католицизм по сути представляет собой тоталитарную религию») до ФБР («наши магнаты изучили пропагандистские техники русских и обнаружили, что это хорошо и полезно») и финансистов, которые стремятся «сделать американский капитализм и пятую свободу бизнесмена высшими ценностями во всем мире». Ученые… удостоились столь же пристального внимания и сравнения с церковью: «Действительно, руководители больших лабораторий очень схожи с епископами, обладают обширными связями с могущественными людьми во всех сферах жизни и, к сожалению, одержимы смертным грехом гордыни и жаждой власти.

Эта иеремиада⁴ дорого обошлась Винеру. Как пишет Дайсон:

«Этот набат предпочли проигнорировать, и не потому, что Винер ошибался относительно цифровых вычислений, а потому, что период завершения рукописи осенью 1949 года совпал с появлением более серьезных угроз. Винер не имел ничего против цифровых вычислений, зато категорически выступал против ядерного оружия и отказался присоединиться к тем, кто создавал цифровые компьютеры ради конструирования в тысячу раз более мощной водородной бомбы».

Поскольку «Человеческое применение человеческих существ» уже давно не переиздавалось, мы остаемся в неведении по поводу винеровского cri de coeur⁵, еще более актуального сегодня, чем шестьдесят восемь лет назад: «Мы должны перестать лобызать плетку, которой нас хлещут».

Разум, мышление, интеллект

Среди причин, по которым мы сегодня мало что слышим о «Кибернетике», выделяются две основные: во‐первых, хотя «Человеческое применение человеческих существ» в свое время считалось важной работой, оно противоречило чаяниям многих коллег Винера, в том числе Джона фон Неймана и Клода Шеннона, которые были заинтересованы в коммерциализации новых технологий. Во-вторых, пионер компьютерных исследований Джон Маккарти не одобрял взгляды Винера и отказывался использовать винеровский термин «кибернетика». Он придумал термин «искусственный интеллект» – и стал, скажем так, отцом-основателем этой области науки.

Как объяснил мне Джуда Перл, который в 1980-е годы разработал новый подход к искусственному интеллекту под названием «байесовская сеть»:

Винер на самом деле породил воодушевляющие надежды на то, что однажды мы сможем сконструировать разумную машину. Он не был специалистом по компьютерам. Он рассуждал об обратной связи, о коммуникации, об аналоговых механизмах. Рабочей метафорой была для него схема обратной связи, область, в которой он являлся экспертом. На заре цифровой эпохи, в начале 1960-х годов, люди желали обсуждать программирование, говорить о кодах, вычислительных функциях, кратковременной памяти и долговременной памяти – таковы были тогдашние значимые компьютерные метафоры. Винер не принадлежал к этому кругу идей, он оказался невостребованным новым поколением, несмотря то, что оно выросло на его идеях. Его метафоры были чересчур старомодными, слишком passe⁶. Между тем уже появились новые инструменты, способные захватить человеческое воображение. К 1970 году о Винере благополучно забыли.

Критически важным фактором, отсутствующим в картине мира по Винеру, был когнитивный элемент: разум, мышление, интеллект. Уже в 1942 году, на первом семинаре в ряду основополагающих междисциплинарных собраний, посвященных управлению сложными системами (впоследствии ставших известными как конференции Мэйси⁷), ведущие исследователи выступили за включение когнитивного элемента в дискуссию. Фон Неймана, Шеннона и Винера интересовали прежде всего системы управления и коммуникация наблюдаемых систем, а вот Уоррен Маккаллок⁸ желал изучать разум. Он обратился к антропологам Грегори Бейтсону⁹ и Маргарет Мид, стремясь наладить контакт с социальными науками и обеспечить обоснование с их стороны. В частности, Бейтсон активно изучал формы и процессы взаимодействия, «модели взаимосвязи». Он призывал к созданию системной экологии нового типа, где организмы и окружающая среда, в которой они живут, одинаковы и потому должны рассматриваться в совокупности, как единая модель. К началу 1970-х годов кибернетика наблюдаемых систем – кибернетика 1-го порядка – развилась в кибернетику систем наблюдения – кибернетику 2-го порядка, или «кибернетику кибернетики», как остроумно выразился Хайнц фон Ферстер¹⁰, который присоединился к конференциям Мэйси в середине 1950-х годов и возглавил новое движение.

Кибернетика не исчезла, но трансформировалась, если угодно, во всё на свете, поэтому мы больше не считаем ее отдельной, самостоятельной дисциплиной. Таковой она остается по сей день, прячась, как говорится, на виду.

«О всяких штейнах»¹¹

Лично меня, как автора статей о науке, привлекали в ту пору кибернетики 2-го порядка, включая Хайнца фон Ферстера, а также Джона Лилли и Алана Уоттса¹², которые выступили организаторами мероприятия под названием «Конференция АУМ» («Американский университет мастерства»), состоявшегося в Биг-Суре в 1973 году; философы, психологи и представители естественных наук собрались вместе, чтобы поделиться результатами собственных исследований с точки зрения их отношений к идеям британского математика Дж. Спенсера Брауна¹³, изложенным в книге «Законы формы».

Я был слегка озадачен, когда получил приглашение участвовать в мероприятии – едва ли не в последний момент; как объяснили организаторы, они направили мне приглашение, ознакомившись с моей книгой под названием «Послесловия», где формулировались идеи, чрезвычайно близкие к их собственным. Я ухватился за эту возможность в первую очередь потому, что основным докладчиком конференции значился не кто иной, как Ричард Фейнман. Мне нравится общаться с физиками, поскольку они мыслят о Вселенной, то есть обо всем. Никакой другой физик не мог соперничать в ту пору в известности с Фейнманом. Я не мог дождаться встречи с ним и, разумеется, принял приглашение. Но следует помнить, что я не ученый и никогда не помышлял взойти на кафедру и выступить с какой-либо «лекцией», менее всего – с комментариями по запутанной математической теории, да еще перед группой, состоящей из передовых мировых мыслителей. Только по прибытии в Биг-Сур я узнал истинную причину моего запоздалого приглашения. «Когда выступает Фейнман?» – спросил я на регистрации. «О, – ответили мне, – разве Алан Уоттс вам не сказал? Ричард заболел, его госпитализировали. Вы его заменяете. Кстати, о чем вы будете рассказывать?»

Несколько дней я усиленно старался спрятаться ото всех. Алан Уоттс, сообразив, что я отчаянно норовлю не выходить на сцену, как-то ночью разбудил меня громким стуком в дверь моей комнаты. Я открыл дверь и увидел, что он облачился в монашеский балахон с капюшоном, скрывавшим бо́льшую часть его лица. Руки протянуты ко мне, в одной руке он держал фонарь, в другой – бутылку виски.

«Джон, – произнес он низким голосом с выраженным аристократическим британским акцентом, – вы мошенник. Но знаете, Джон, я тоже мошенник. Разница в том, что из нас двоих я – настоящий обманщик!»

На следующий день я прочитал лекцию под названием «Эйнштейн, Гертруда Стайн, Витгенштейн и Франкенштейн». Эйнштейн: революция в физике XX столетия; Гертруда Стайн: первый автор, отталкивавшийся в своем творчестве от идеи неопределенной и дискретной Вселенной (слова не отражают ни суть, ни деятельность: «Роза – это роза – это роза, а Вселенная – это Вселенная – это Вселенная»); Витгенштейн: мир как языковой предел («Границы моего языка означают границы моего мира», устранение различия между наблюдателем и наблюдаемым); Франкенштейн: кибернетический ИИ, робототехника и пр. (темы очерков данной книги).

Лекция имела непредвиденные последствия. Среди участников конференции АУМ оказалось несколько авторов из списка бестселлеров «Нью-Йорк таймс», но ни у кого не было литературного агента. Вдобавок я осознал, что все они пишут книги в жанре, который не имеет названия и которым пренебрегают нью-йоркские издатели. Поскольку у меня в наличии степень магистра делового администрирования бизнес-школы Колумбийского университета и поскольку я мог похвастаться кое-какими успехами в бизнесе, волей обстоятельств я сделался литературным агентом, сначала для Грегори Бейтсона и Джона Лилли, чьи книги мне удалось быстро пристроить – причем за гонорар, заставивший меня задуматься. Это обстоятельство побудило меня всерьез заняться карьерой литературного агента.

А с Ричардом Фейнманом я так и не встретился.

Долгие зимы ИИ

Эта новая карьера близко свела меня с большинством пионеров в области искусственного интеллекта, и на протяжении десятилетий я вместе с ними взмывал на волнах энтузиазма и падал в овраги разочарований.

В начале 1980-х годов правительство Японии предприняло общенациональные усилия по развитию ИИ. Японцы рассуждали о 5-м поколении машин; их цель состояла в том, чтобы изменить архитектуру вычислений, преодолеть «бутылочное горлышко» фон Неймана и создать полноценный параллельный компьютер. Тем самым они рассчитывали оживить свою экономику и стать доминирующей мировой державой в этой области. В 1983 году лидер японского консорциума «5-е поколение» приехал в Нью-Йорк на встречу, организованную Хайнцем Пагельсом, президентом Нью-Йоркской академии наук. Я сидел за одним столом с лидерами 1-го поколения Марвином Минским и Джоном Маккарти, лидерами 2-го поколения Эдвардом Фейгенбаумом и Роджером Шенком¹⁴, а также с Джозефом Траубом, главой Национального суперкомпьютерного консорциума США.

В 1981 году при поддержке Хайнца я основал «Клуб реальности» (предшественник некоммерческого фонда Edge.org), первые междисциплинарные собрания которого проходили в зале заседаний Нью-Йоркской академии наук. Хайнц работал над своей книгой «Мечты о разуме: становление науки о сложности» (последнюю он считал исследовательской повесткой для науки 1990-х годов).

Благодаря встречам в «Клубе реальности» я познакомился с двумя молодыми исследователями, которым предстояло сыграть ключевую роль в революционной трансформации информатики. В конце 1970-х годов в Массачусетском технологическом институте Дэнни Хиллис разработал алгоритмы, которые сделали возможным создание полноценного параллельного компьютера. В 1983 году его компания «Thinking Machines» сконструировала быстрейший на ту пору суперкомпьютер, используя параллельную архитектуру. Его «связующая машина» во многом опиралась на принципы деятельности человеческого разума. Сет Ллойд из Университета Рокфеллера занимался прежде всего квантовыми вычислениями и квантовыми коммуникациями, в том числе описал первый технологически осуществимый проект квантового компьютера.

А что же японцы? Их «наскок» на искусственный интеллект потерпел неудачу, что обернулось скромным двадцатилетним экономическим ростом. Но ведущие американские ученые восприняли эту программу чрезвычайно серьезно. Фейгенбаум, передовой компьютерный теоретик тех лет, в соавторстве с Памелой Маккордак¹⁵ даже написал книгу об этих событиях. Работа под названием «Пятое поколение: искусственный интеллект и японский компьютерный вызов миру» увидела свет в 1983 году. У нас, признаюсь, было кодовое название для этого проекта: «Оно грядет, грядет!» Увы, результат оказался плачевным: «оно» пришло и ушло.

С того времени я сотрудничал с исследователями, занятыми едва ли не во всех сферах разработки и применения ИИ, включая Родни Брукса, Ханса Моравека, Джона Арчибальда Уилера, Бенуа Мандельброта, Джона Генри Холланда, Дэнни Хиллиса, Фримена Дайсона, Криса Лэнгтона, Дойна Фармера, Джеффри Уэста, Стюарта Рассела и Джуду Перла.

Действующая динамическая эмерджентная система

С первой встречи в Вашингтоне, штат Коннектикут, и по сей день я организовал ряд заседаний и дискуссий в Лондоне и Кембридже, штат Массачусетс, а также публичное мероприятие в лондонской мэрии. Среди присутствовавших были выдающиеся ученые, историки науки и теоретики коммуникаций, причем все они размышляли о проблемах ИИ на протяжении всей своей научной карьеры.

Я обратился за комментариями к широкому кругу авторов, не ограничивая их необходимостью ссылаться на Винера (это осталось на усмотрение каждого участника проекта). В итоге 25 человек прислали мне свои очерки, и все эти люди обеспокоены тем, что происходит сегодня в области ИИ. Настоящая книга – не моя; скорее, это наша книга, авторов которой я с удовольствием перечисляю: Сет Ллойд, Джуда Перл, Стюарт Рассел, Джордж Дайсон, Дэниел К. Деннет, Родни Брукс, Фрэнк Вильчек, Макс Тегмарк, Яан Таллинн, Стивен Пинкер, Дэвид Дойч, Том Гриффитс, Анка Драган, Крис Андерсон, Дэвид Кайзер, Нил Гершенфельд, У. Дэниел (Дэнни) Хиллис, Венки Рамакришнан, Алекс (Сэнди) Пентленд, Ханс-Ульрих Обрист, Элисон Гопник, Питер Гэлисон, Джордж М. Черч, Кэролайн А. Джонс, Стивен Вольфрам.

Я рассматриваю проект «Глубокое осмысление» как непрерывно развивающуюся динамическую эмерджентную систему, как репрезентацию идей сообщества искушенных мыслителей, которые на основании своего опыта и эрудиции бросают вызов сложившемуся цифровому нарративу ИИ и делятся мыслями друг с другом. Цель сборника состоит в том, чтобы предложить читателю мозаику взглядов, которая поможет разобраться в этой быстро развивающейся области.

Я попросил авторов учесть два фактора:

(а) Дзенское по духу стихотворение Уоллеса Стивенса «Тринадцать способов увидеть черного дрозда»¹⁶, которое, как он сам настаивал, «призвано служить набором не эпиграмм или идей, но ощущений». Это упражнение в «перспективизации», состоящее из коротких разделов, в каждом из которых так или иначе упоминается черный дрозд. Стихотворение посвящено воображению поэта, оно имеет непосредственное отношение к творчеству.

(б) Притча о слепцах и слоне. Подобно слону, область ИИ слишком велика для общей оценки, не говоря уже о том, что не найдется двух людей, которые будут смотреть на мир одинаково.

Чего мы хотим от этой книги? Стюарт Брэнд отмечал, что «изучение мышления первопроходцев безусловно полезно. Оно задает долгосрочную перспективу, которая побуждает мыслить десятилетиями и столетиями. Все современные дискуссии, к сожалению, быстро устаревают и утрачивают смысл без длительной перспективы».

Дэнни Хиллис хочет, чтобы работники сферы ИИ поняли, каким образом их «запрограммировала» книга Винера. «Вы следуете его дорожной карте, – говорит он, – и сами того не замечаете».

Дэн Деннет хотел бы «позволить Винеру появиться этаким призраком на пиру. Считайте его источником гибридной энергии, источником беспокойных мыслей, способных опрокинуть устоявшийся образ мышления».

Нил Гершенфельд утверждает, что «негласное корректирующее образование для людей, оперирующих Большой пятеркой¹⁷, стало бы отличным результатом».

Джон Дайсон Фримен¹⁸, один из немногих живущих ныне людей, кто знал Винера лично, считает «Человеческое применение человеческих существ» одной из лучших книг, написанных за всю историю человечества. «Винер почти все изложил правильно. Будет любопытно посмотреть, что ваша компания чародеев сможет с этим сделать».

Развивающийся нарратив ИИ

Все изменилось – и осталось таким, каким было. Теперь ИИ везде. У нас есть интернет. У нас есть смартфоны. Состояние основателей ныне доминирующих компаний – тех самых, что держат «плетку, которой нас хлещут», – оценивается в 65 миллиардов долларов США (или 90 миллиардов долларов, или 130 миллиардов долларов). Выдающиеся люди, например Илон Маск, Ник Бостром, Мартин Рис, Элиезер Юдковски и покойный Стивен Хокинг¹⁹, изрекают страшные прогнозы насчет ИИ, что заставляет создавать исправно финансируемые институты, призванные всюду пропагандировать «хороший ИИ». Но сможем ли мы, как вид, контролировать полноценный, не подлежащий и не поддающийся надзору, самосовершенствующийся ИИ? Предупреждения и предостережения Винера в «Человеческом применении человеческих существ» внезапно сделались чрезвычайно актуальными. Исследователям на передовой изучения перспектив ИИ стоит заново их оценить. Снова процитирую Дайсона:

«Винер все больше разочаровывался в «поклонниках гаджетов», чей корпоративный эгоизм породил «мотивы к автоматизации, которые выходили за рамки законного любопытства и были греховными сами по себе». Он знал, что опасность не в машинах, которые становятся все больше похожими на людей, а в людях, с которыми обращаются как с машинами. «Мир будущего окажется непрекращающейся и все более упорной борьбой с ограничениями нашего интеллекта», – предупреждал он в работе «Корпорация «Бог и голем», опубликованной в 1964-м, в год его смерти; это будет вовсе «не удобный гамак, в который мы возляжем в ожидании роботов-рабов».

Пришло время изучить эволюционирующий нарратив ИИ, определить ведущих представителей дисциплинарного сообщества заодно с «диссидентами» и предоставить всем возможность высказаться.

Если коротко, очерки этой книги суть столь необходимое для публики обновление наших взглядов.

Джон Брокман,

Нью-Йорк, 2019

Глава 1
Ошибочно, зато актуальнее, чем когда-либо

Сет Ллойд

физик-теоретик Массачусетского технологического института, профессор— стипендиат факультета машиностроения и приглашенный профессор института Санта-Фе.

Я познакомился сСетом Ллойдомв конце 1980-х годов, когда повсюду возникали новые способы мышления: значимость принципов биологической организации, вычислительный взгляд на математику и физические процессы, пристальное внимание к параллельным сетям, важность нелинейной динамики, новое понимание хаоса, идеи коннекционистов, нейронные сети, параллельная распределенная обработка… Развитие в области вычислений в указанный период предоставило нам новый способ мышления о знаниях.

Сет любит называть себя квантовым механиком. Он известен во всем мире своими исследованиями в области квантовых вычислений, где предпринимаются попытки использовать экзотические свойства квантовой теории, такие как суперпозиция и запутанность, для решения задач, которые придется решать несколько столетий на классических компьютерах.

В своем очерке он прослеживает историю теории информации от пророческих видений Норберта Винера до предсказаний технологической «сингулярности», которая, как хотелось бы кое-кому нас убедить, будто бы вытеснит человеческий род. Его взгляд на относительно новый метод программирования, так называемое глубинное обучение, состоит в том, чтобы призывать к более трезвой оценке перспектив; он отмечает, что, несмотря на огромные успехи ИИ, роботы «до сих пор не в состоянии завязать себе шнурки».

Мне трудно говорить о Сете, не ссылаясь на его отношения с другом и наставником, покойным физиком-теоретиком Хайнцем Пагельсом из Университета Рокфеллера. Вместе студент (Сет) и профессор (Пагельс) в немалой степени способствовали интеллектуальному развитию друг друга.

Летом 1988 года я навестил Хайнца и Сета в физическом центре в Аспене. Их совместная работа по сложности должна была выйти в свежем выпуске журнала «Сайентифик америкен»; оба безудержно радовались. Мы встретились всего за две недели до трагической гибели Хайнца при спуске с пика Пирамида; в горы они, разумеется, отправились вместе с Сетом и по дороге говорили о квантовых вычислениях.

В работе «Человеческое применение человеческих существ» (1950), где Норберт Винер в популярной форме излагал основные идеи своей чрезвычайно влиятельной книги «Кибернетика, или Управление и связь в животном и в машине» (1948), исследуется взаимодействие человеческих существ и машин в мире, в котором машины становятся все более мощными и способными к вычислениям. Это удивительно пророческая книга – и удивительно ошибочная в своих выводах. Написанная в разгар холодной войны, она, помимо прочего, содержит холодящее кровь напоминание об опасностях тоталитарных организаций и обществ, а также об угрозах демократии, которая пытается бороться с тоталитаризмом тоталитарным оружием.

В «Кибернетике» Винера тщательно изучаются и научно описываются подробности управления посредством обратной связи. (Само слово «кибернетика», производное от древнегреческого слова «кормщик», послужило этимологической основой позднего слова «губернатор»²⁰; Джеймс Уатт именно так назвал свое новаторское устройство управления с обратной связью, которое преобразило область применения паровых двигателей.) Поскольку он плотно занимался задачами управления, Винер рассматривал мир как совокупность комплексных и взаимосвязанных контуров обратной связи, где датчики, сигналы и исполнительные механизмы, наподобие двигателей, взаимодействуют через сложно организованный обмен сигналами и информацией. Для инженерии «Кибернетика» оказалась необычайно полезной и эффективной, эти идеи позволили конструировать ракеты, роботов, автоматизированные сборочные линии и разработать множество прецизионных инженерных методов – иными словами, она, можно сказать, заложила фундамент современного индустриального общества.

Впрочем, Винер лелеял более честолюбивые замыслы в отношении кибернетических концепций; в «Человеческом применении человеческих существ» он рассуждает об их применимости к столь разнообразным предметам, как демон Максвелла, человеческий язык, мозг, метаболизм насекомых, правовая система, роль технологических инноваций в государственном управлении и религии. Эти более широкие применения кибернетики обернулись почти безоговорочным провалом. Шумиха вокруг кибернетики длилась с конца 1940-х до начала 1960-х годов (во многом напоминая шумиху в области компьютерных и коммуникационных технологий, завершившуюся крахом доткомов в 2000–2001 годах); можно сказать, что кибернетика породила спутники и системы телефонной коммутации, но практически не повлияла на социальную организацию и общество в целом.

Зато почти семьдесят лет спустя работа «Человеческое применение человеческих существ» может научить современных людей много большему, чем могла научить первых читателей. Быть может, замечательнее всего в этой книге то, что она предлагает к обсуждению большое количество тем по взаимодействию человека и машины, во многом сохраняющих актуальность по сей день. Мрачная по своей тональности, книга прогнозирует ряд катастроф второй половины XX столетия, и многие ее предсказания едва ли не идентичны нынешним пророчествам относительно второй половины XXI столетия.

Например, Винер предвидел в 1950 году такой момент в ближайшем будущем, когда люди передадут управление обществом кибернетическому искусственному интеллекту, который впоследствии причинит человечеству немалый урон. Винер предсказывал, что автоматизация производства чревата как значительным повышением производительности труда, так и ростом безработицы; данную последовательность событий мы действительно наблюдаем в последующие десятилетия. Винер предупреждал, что революция неизбежна, если только общество не сумеет подыскать новые продуктивные занятия этим безработным.

Но Винер оказался не в состоянии предугадать важные технологические разработки. Подобно почти всем «технологистам» 1950-х годов, он не предвидел компьютерной революции. По его мнению, компьютеры в конечном счете должны были подешеветь с сотен тысяч долларов (в ценах 1950-х годов) до десятков тысяч долларов; ни он сам, ни его соратники и соперники не ожидали того колоссального прорыва, который случился в компьютерных технологиях благодаря применению транзисторов и интегральных схем. Кроме того, будучи одержим задачами управления, Винер не смог вообразить технологический мир, где инновации и самоорганизация передаются по цепочке снизу вверх, а не навязываются сверху.

Сосредоточившись на пороках тоталитаризма (политического, научного и религиозного), Винер воспринимал происходящее глубоко пессимистически. Его книга предрекала катастрофу, которая непременно произойдет, если мы не исправимся, причем как можно быстрее. Современный мир людей и машин более полувека спустя после публикации книги Винера гораздо сложнее и богаче и содержит намного больше политических, социальных и научных систем, чем он мог себе представить. Впрочем, предупреждения относительно того, что может случиться, если мы ошибемся, – например, если некий глобальный тоталитарный режим установит полный контроль над интернетом, – ничуть не утратили актуальности по сравнению с 1950 годом.

В чем Винер был прав

Наиболее известные математические работы Винера были посвящены проблемам анализа сигналов и воздействия шума. В годы Второй мировой войны он разработал методику управления стрельбой зенитной артиллерии на основании моделей, позволяющих предугадывать траекторию движения летательных аппаратов через экстраполяцию характеристик полета. В «Кибернетике» и «Человеческом применении человеческих существ» Винер отмечает, что такой предыдущий опыт подразумевал в том числе прихоти и привычки людей-пилотов, поэтому механизированное устройство способно предсказывать поведение людей. Подобно Алану Тьюрингу, чей знаменитый тест допускал, что вычислительные машины могут давать ответы на вопросы, неотличимые от человеческих ответов, Винер всем сердцем верил в возможность описания человеческого поведения математическими уравнениями. В 1940-х годах он стал сопоставлять теоретические знания о контурах управления и обратной связи с нервно-мышечной обратной связью в живых системах – и лично пригласил в Массачусетский технологический институт Уоррена Маккаллока и Уолтера Питтса²¹, которые приступили к новаторским исследованиям в области искусственных нейронных сетей.

Главная идея Винера заключалась в том, что мир следует понимать с точки зрения информации. Сложные системы, будь то живые организмы, мозг или человеческое общество, состоят из взаимосвязанных контуров обратной связи, где обмен сигналами между подсистемами порождает комплексное, но стабильное поведение. Когда целостность контура обратной связи нарушается, система утрачивает стабильность. Винер нарисовал убедительную картину функционирования сложной биологической системы – картину, в целом общепринятую сегодня.

Восприятие информации как центрального звена управления поведением сложных систем было замечательным открытием своего времени. Ныне, когда автомобили и холодильники битком набиты микропроцессорами, а бо́льшая часть человеческого общества в своей деятельности опирается на компьютеры и сотовые телефоны, подключенные к интернету, подчеркивать важнейшую роль информации, вычислений и связи кажется банальностью. Но в эпоху Винера первые цифровые компьютеры только-только появлялись, а об интернете никто даже не задумывался.

Замечательное прозрение Винера – что не только сложные инженерные системы, но какие угодно сложные системы опираются в работе на циклы сигналов и вычислений – обеспечило несомненный прорыв в области разработки комплексных систем, создаваемых человеком. Например, те методы, которые Винер и его соратники разрабатывали для управления ракетами, впоследствии получили применение при конструировании лунного корабля «Сатурн-V»²², одного из главных технических достижений XX столетия. А кибернетические выкладки Винера относительно человеческого мозга и компьютеризированного восприятия можно по праву посчитать «прародителями» современных систем глубинного обучения на основе нейронных сетей, а также искусственного интеллекта как такового. Однако текущее развитие ситуации в этих областях не совпадает с нарисованной им картиной, и не исключено, что в дальнейшем это скажется на человеческом использовании как человеческих существ, так и машин.

В чем Винер ошибался

Именно применительно к людям кибернетические идеи Винера оказались ошибочными. Оставляя в стороне его достаточно дилетантские размышления о языке²³, законодательстве и человеческом обществе, рассмотрим более скромную, но потенциально полезную инновацию, внедрение которой он считал неизбежным в 1950 году. Винер отмечал, что протезы станут намного эффективнее, если их владельцы обретут способность напрямую общаться с этими устройствами посредством нервных сигналов, получать информацию о давлении и местоположении от протезированных конечностей и направлять их последующие движения. Как выяснилось, на самом деле все куда сложнее, чем предполагал Винер: семьдесят лет спустя протезы с «нервической» обратной связью не продвинулись дальше грубых, по сути, прототипов. Сама концепция Винера превосходна, но дело в том, что крайне непросто сопрячь нейронные сигналы с механико-электрическими устройствами.

Что еще важнее, Винер (как и практически всё поколение 1950-х) сильно недооценивал потенциал цифровых вычислений. Как уже отмечалось, в области математики Винер занимался анализом сигналов и шума, его аналитические методы применимы к постоянно меняющимся – аналоговым – сигналам. Да, он участвовал в разработке методов цифровых вычислений в годы войны, но не предвидел (и вряд ли мог предвидеть) экспоненциальный рост вычислительных мощностей в результате внедрения и устойчивой миниатюризации полупроводниковых схем. Не будем винить Винера: транзистор тогда еще не изобрели, электронные лампы в знакомых ему цифровых компьютерах не отличались надежностью, а сама технология их использования не масштабировалась для более крупных устройств. В дополнении к изданию «Кибернетики» 1948 года он предполагал появление шахматных компьютеров и предсказывал, что они смогут мыслить на два-три (всего) хода вперед. Наверняка он несказанно удивился бы, доведись ему узнать, что за полстолетия компьютер сумеет одолеть чемпиона мира по шахматам среди людей.

Технологическая переоценкаи экзистенциальные риски сингулярности

Когда Винер писал свои книги, рождался показательный пример переоценки технологических возможностей. В 1950-х годах предпринимались первые попытки разработать искусственный интеллект; речь о таких исследователях, как Герберт Саймон, Джон Маккарти и Марвин Минский, которые начали программировать компьютеры на выполнение простых задач и конструировать примитивных роботов. Успех первоначальных усилий побудил Саймона заявить, что «машины в ближайшие двадцать лет смогут выполнять любую работу, которую способен выполнить человек». Подобные прогнозы с треском провалились. Последовательно наращивая свою мощность, компьютеры все лучше и лучше играли в шахматы, поскольку могли систематически генерировать и оценивать широкий выбор потенциальных будущих ходов. Но большинство предсказаний в сфере ИИ, будь то горничные-роботы или что-то еще, оказались пустыми фантазиями. Когда суперкомпьютер DeepBlue победил Гарри Каспарова в шахматном матче 1997 года, наиболее «продвинутым» роботом-уборщиком считалась «Румба», которая беспорядочно металась по помещению с пылесосом и пищала, застревая под диваном.

Технологические прогнозы весьма проблематичны, учитывая, что технологии развиваются через усовершенствования, сталкиваются с препятствиями и форсируются инновациями. Многие препятствия и отдельные инновации выглядят ожидаемыми, но к большинству тех и других это не относится. В моей собственной области экспериментов по созданию квантовых компьютеров я обычно наблюдаю, как отдельные технологические этапы, казалось бы вполне реализуемые, оказываются невозможными, тогда как другие задачи, нерешаемые, как мне думается, легко осуществляются на практике. В общем, не узнаешь, пока не попробуешь.

В 1950-х годах Джон фон Нейман, отчасти вдохновляясь беседами с Винером, ввел понятие «технологической сингулярности». Технологии имеют тенденцию улучшаться в геометрической прогрессии, скажем удваивать мощность или чувствительность приборов за некоторый интервал времени. (Например, с 1950 года компьютеры удваивали мощность примерно каждые два года – это наблюдение известно как закон Мура.) Фон Нейман экстраполировал наблюдаемый экспоненциальный технический прогресс и допустил, что «технический прогресс станет непостижимо быстрым и сложным», опережая человеческие возможности в уже не слишком отдаленном будущем. Действительно, если отталкиваться исключительно от наращивания вычислительных мощностей, выраженных в битах и битовых переходах, и прогнозировать будущее на основании текущих темпов, мы вправе утверждать, что компьютеры сравняются по возможностям с человеческим мозгом в ближайшие два-три-четыре десятилетия (в зависимости от того, как оценивать сложность процессов обработки информации в человеческом мозге).

Провал первоначальных, чрезмерно оптимистичных прогнозов относительно создания полноценного ИИ на несколько десятилетий заглушил разговоры о технологической сингулярности, но после публикации работы Рэя Курцвейла «Сингулярность рядом» (2005) идея технического развития, ведущего к появлению суперинтеллекта, снова обрела силу. Кое-кто, включая самого Курцвейла, стал рассматривать эту сингулярность как возможность прорыва: мол, люди смогут объединить свои сознания со сверхразумом и тем самым обрести вечную жизнь. Стивен Хокинг и Илон Маск высказали опасения, что этот суперинтеллект окажется злонамеренным, и расценивали его как величайшую из нынешних угроз существованию человеческой цивилизации. Третьи, в том числе некоторые из авторов настоящей книги, полагают, что подобные опасения преувеличенны.

Труды Винера и то обстоятельство, что он не сумел предугадать последствия развития кибернетики, неразрывно связаны с представлением о приближении технологической сингулярности. Его деятельность в сфере нейробиологии и первоначальная поддержка, которую он оказывал Маккаллоку и Питтсу, позволили разработать современные, поразительно эффективные методы глубинного обучения. За последнее десятилетие, особенно в последние пять лет, такие методы глубинного обучения наконец-то привели к возникновению, если воспользоваться одним из терминов Винера, гештальта: машина, например, способна распознавать в круге круг, даже если он наклонен и выглядит как эллипс. Винеровские концепции управления вкупе с изучением нейромышечной обратной связи имели большое значение для развития робототехники и послужили основой для разработки нейронных интерфейсов «человек/машина». Однако однобокость его технологических прогнозов побуждает воспринимать идею технологической сингулярности с немалой осторожностью. Общие затруднения технологического прогнозирования как такового и проблемы, свойственные разработке суперинтеллекта, удерживают меня от избыточного энтузиазма в отношении как вычислительной мощности, так и эффективности обработки информации.

Аргументы в пользу скептиков

Никакое экспоненциальное развитие не длится бесконечно. Атомный взрыв распространяется по экспоненте, но только пока не кончится его «топливо». Точно так же экспоненциальный прогресс по закону Мура начинает сталкиваться с пределами, налагаемыми физикой. Тактовая частота компьютеров достигла максимума в несколько гигагерц полтора десятилетия назад, далее чипы начали плавиться от нагрева. Миниатюризация транзисторов столкнулась с квантово-механическими проблемами вследствие туннелирования²⁴ и утечек тока. Рано или поздно различные экспоненциальные улучшения памяти и обработки информации по закону Мура достигнут предела. Впрочем, возможно, что нескольких десятилетий окажется достаточно для того, чтобы вычислительные мощности машин сравнялись с мощностью человеческого мозга – по крайней мере, по грубым показателям количества битов и битовых переходов в секунду.

Человеческий мозг чрезвычайно сложен и представляет собой плод миллионов лет естественного отбора. В эпоху Винера понимание архитектуры мозга было элементарным и упрощенным. С тех пор все более чувствительные инструменты и методы визуализации показали, что мозг гораздо разнообразнее по структуре и сложнее по функциям, чем мог вообразить Винер. Недавно я спросил Томазо Поджо²⁵, одного из пионеров современной нейробиологии, способны ли, по его мнению, компьютеры с их быстрорастущей вычислительной мощностью вскоре имитировать функционирование человеческого мозга. «Ни в коем случае», – ответил он.

Последние достижения в области глубинного обучения и нейроморфных вычислений очень точно воспроизводят некоторые особенности человеческого интеллекта, деятельность коры головного мозга, где обрабатываются и распознаются образы. Эти достижения позволили компьютеру победить чемпионов мира по шахматам и по игре в го, что нельзя не признать выдающимся результатом, но мы по-прежнему далеки от того, чтобы компьютеризированный робот мог полноценно убираться в помещении. (Вообще-то, роботы, обладающие хотя бы подобием широкого диапазона гибких человеческих движений, еще далеки от совершенства; рекомендую почитать материалы по запросу «ошибки роботов». Роботы успешно справляются с прецизионной сваркой на сборочных линиях, но до сих пор не в состоянии завязать шнурки.)

Сама по себе мощность обработки информации не означает разнообразия способов такой обработки. Пусть мощность компьютеров росла экспоненциально, программы, с помощью которых работают компьютеры, часто вообще не развивались. Как правило, компании-разработчики программного обеспечения реагируют на рост вычислительной мощности добавлением «полезных» функций, которые нередко затрудняют использование этого программного обеспечения. Так, офисная программа Microsoft Word достигла некоего идеала в 1995 году и с тех пор медленно гибнет под «весом» дополнительной функциональности. Как только развитие по закону Мура начнет замедляться, разработчики программного обеспечения столкнутся с непростым выбором между эффективностью, скоростью и функциональностью.

Главный страх сторонников идеи сингулярности заключается в том, что по мере все большего вовлечения компьютеров в разработку собственного программного обеспечения они быстро начнут развивать себя ради достижения сверхчеловеческих вычислительных возможностей. Но практика машинного обучения показывает на движение в противоположном направлении. Чем мощнее и способнее к обучению становятся машины, тем усерднее они обучаются, как и люди, усваивая множество полезных уроков и зачастую под наблюдением учителей (людей и машин). Обучение для компьютеров оказывается столь же сложным и медленным процессом, каким оно является для подростков. Следовательно, системы, основанные на глубинном обучении, становятся все более, а не менее человекоподобными. Навыки, которые они привносят в обучение, не «лучше человеческих», но комплементарны человеческому обучению: компьютерные системы способны распознавать модели, недоступные людям, – и наоборот. Лучшие шахматисты мира – это не компьютеры и люди по отдельности, а люди, работающие вместе с компьютерами. Киберпространство действительно населено «злонамеренными» программами, но они в основном имеют форму вредоносных программ (malware) – вирусов, известных своей злобной бессмысленностью, а отнюдь не суперинтеллектом.

Винер и будущее

Винер отмечал, что экспоненциальный технический прогресс представляет собой относительно современное явление и несет благо не во всех своих проявлениях. Он рассматривал атомное оружие и создание ракет с ядерными боеголовками как стремление рода человеческого к самоубийству. Он сравнивал неудержимую эксплуатацию ресурсов планеты с безумным чаепитием из «Алисы в Стране чудес»: опустошая локальную среду, мы добиваемся прогресса и просто пересаживаемся дальше, принимаясь опустошать следующую. Оптимизм Винера в отношении разработки компьютеров и нейромеханических систем сдерживался пессимизмом по поводу применения этих инструментов авторитарными государствами, такими как Советский Союз, и стремления демократий, таких как Соединенные Штаты Америки, сделаться более авторитарными в противостоянии угрозе авторитаризма.

Что бы Винер подумал о нынешнем человеческом использовании человеческих существ? Его наверняка поразили бы мощность компьютеров и интернет. Он порадовался бы тому, что исходные нейронные сети, к созданию которых он был причастен, эволюционировали в мощные системы глубинного обучения, демонстрирующие те возможности восприятия, о каких когда-то мечтали (хотя, пожалуй, его вряд ли вдохновил бы тот факт, что одним из наиболее ярких примеров такого компьютеризированного гештальта сегодня является возможность распознавать фотографии котиков во Всемирной паутине). Вместо того чтобы расценивать машинный интеллект как угрозу, он, как я подозреваю, воспринял бы его как явление в своем праве, отличное от человеческого сознания, но развивающееся параллельно человеческому.

Нисколько не удивляясь глобальному потеплению, этому безумному чаепитию наших дней, Винер приветствовал бы экспоненциальное развитие технологий альтернативной энергии и наверняка использовал бы свой богатый кибернетический опыт для разработки сложных контуров обратной связи, необходимых для внедрения означенных технологий в будущую интеллектуальную электрическую сеть. Тем не менее, признавая, что решение проблем изменения климата зависит не только и не столько от технологий, сколько от политики, он, несомненно, испытывал бы пессимизм относительно наших шансов своевременно справиться с этой угрозой существованию цивилизации. Винер ненавидел торгашей – прежде всего торгашей от политики, – но сознавал, что нам от них никогда не избавиться.

Легко забыть, насколько страшным местом был мир эпохи Винера. Соединенные Штаты Америки и Советский Союз вели полномасштабную гонку вооружений, создавая водородные бомбы и ядерные боеголовки для межконтинентальных баллистических ракет, управляемых навигационными системами, которые отчасти разрабатывал сам Винер (чего он стыдился). Мне было четыре года, когда Винер умер. В 1964 году в начальной школе мы учились нырять под парты на случай ядерной атаки. Учитывая человеческое применение человеческих существ в ту эпоху, Винер, приведись ему увидеть нашу нынешнюю жизнь, в первую очередь порадовался бы тому, что мы до сих пор живы.

Глава 2
Ограничения «непрозрачных» обучаемых машин

Джуда Перл

профессор компьютерных наук и директор Лаборатории когнитивных систем в Калифорнийском университете (Лос-Анджелес). Последняя из опубликованных им книг, в соавторстве с Даной Маккензи, называется «Книга почему: новая наука причин и следствий».

В 1980-е годыДжуда Перлпредложил новый подход к разработке искусственного интеллекта – на основании байесовских сетей. Эта вероятностная модель машинного мышления позволяла машинам функционировать – в сложном и неопределенном мире – в качестве «локомотивов доказательств», постоянно пересматривая свои убеждения в свете новых свидетельств.

Всего через несколько лет байесовские сети Перла целиком вытеснили предыдущие подходы к искусственному интеллекту, основанные на правилах. Появление методики глубинного обучения – когда компьютеры фактически самообучаются и становятся умнее, обрабатывая мириады данных, – поставило Джуду перед новым вызовом, ведь эта методика лишена прозрачности.

Признавая несомненные заслуги в области глубинного обучения таких коллег, как Майкл И. Джордан и Джеффри Хинтон²⁶, Перл не готов мириться с указанной непрозрачностью. Он намеревается изучить теоретические ограничения систем глубинного обучения и утверждает, что существуют базовые препятствия, которые не позволят этим системам уподобиться человеческому интеллекту, что бы мы ни делали. Используя вычислительные преимущества байесовских сетей, Джуда осознал, что комбинация простых графических моделей и данных также может применяться для репрезентации и выведения причинно-следственных связей. Значение этого открытия намного превосходит исходный контекст исследований в сфере искусственного интеллекта. Последняя книга Перла²⁷ объясняет широкой публике суть каузального мышления; можно сказать, что это своего рода учебник для начинающих, которые хотят научиться мыслить, будучи людьми.

Принципиально математический подход к причинности (каузальности) представляет собой значительный вклад Перла в сферу идей. Обращение к этому подходу уже принесло пользу практически во всех областях исследований, в первую очередь в сфере цифровой медицины (data-intensive health – букв. информационно емкого здравоохранения) и социальных наук.

Как бывший физик, я всегда интересовался кибернетикой. Пусть она не использовала в полной мере всю мощь машин Тьюринга, кибернетика – чрезвычайно прозрачная область знаний, возможно, потому, что она опирается на классическую теорию управления и теорию информации. Сегодня мы постепенно теряем эту прозрачность в связи с углублением процессов машинного обучения. По сути, налицо подгонка кривой, когда происходит корректировка значений в промежуточных слоях длинной цепочки ввода-вывода.

Мне встречались многие пользователи, сообщавшие, что «все работает хорошо, но мы не знаем, почему так». Стоит применить такой подход к большим наборам данных, и глубинное обучение приобретает собственную динамику, самостоятельно регулируется и оптимизируется – и в большинстве случаев дает правильные результаты. Но когда этого не случается, никто не понимает, где именно допущена ошибка и что именно следует исправлять. Важнее всего то, что невозможно узнать, имеется ошибка в программе или методике – или каким-то образом изменилась среда. Поэтому нам нужна иная прозрачность.

Кое-кто заявляет, что в прозрачности на самом деле нет необходимости. Мы не понимаем нейронную архитектуру человеческого мозга, но она исправно функционирует, а потому мы прощаем себе наше скудное понимание и охотно пользуемся таким удобным подспорьем. Точно так же, утверждают некоторые, нужно просто применять системы глубинного обучения и создавать машинный интеллект, даже если мы не понимаем, как все это работает. Что ж, до определенной степени я могу согласиться с этим доводом. Лично мне непрозрачность не нравится, поэтому я не стану тратить свое время на глубинное обучение, но я знаю, что оно занимает некое место в структуре интеллекта. Я знаю, что непрозрачные системы способны творить настоящие чудеса, и наш мозг является тому убедительным доказательством.

Но этот довод имеет свои ограничения. Причина, по которой мы прощаем себе наше скудное понимание принципов работы человеческого мозга, заключается в том, что у разных людей мозг работает одинаково, и это позволяет нам общаться с другими людьми, учиться у них, обучать их и мотивировать на нашем родном языке. Будь все наши роботы такими же непрозрачными, как AlphaGo²⁸, мы не сможем вести с ними содержательные беседы, что весьма печально. Нам придется переобучать их всякий раз, когда вносятся минимальные изменения в условия задачи или в операционную среду.

Потому, оставляя в стороне эксперименты с «непрозрачными» обучаемыми машинами, я пытаюсь понять их теоретические ограничения и исследовать, каким образом эти ограничения могут быть преодолены. Я изучаю этот вопрос в контексте причинно-следственных задач, которые во многом определяют воззрения ученых на мир и в то же время изобилуют примерами проявления интуиции, вследствие чего мы можем отслеживать прогресс в ходе анализа. В данном контексте мы обнаружили, что существуют некоторые базовые препятствия, которые, если их не преодолеть, не позволят создать подлинный аналог человеческого разума, что бы мы ни делали. Полагаю, подробное описание этих препятствий не менее важно, чем попытки взять их штурмом.

Современные системы машинного обучения работают почти исключительно в статистическом режиме (или режиме модельной слепоты), который во многом аналогичен помещению функции в облако элементов данных. Подобные системы не способны размышлять по принципу «что, если?», а значит, не могут выступать основанием для «сильного» ИИ, то есть для искусственного интеллекта, который имитирует человеческие мышление и компетентность. Чтобы достичь человеческой разумности, обучаемые машины должны руководствоваться своего рода калькой с реальности, моделью наподобие дорожной карты, по которой мы ориентируемся, перемещаясь по незнакомому городу.

Точнее сказать, современные обучаемые машины улучшают свою производительность, оптимизируя параметры потока сенсорных входящих данных, получаемых из окружающей среды. Это небыстрый процесс, аналогичный естественному отбору, который движет дарвиновской эволюцией. Последняя объясняет, как такие виды, как орлы и змеи, обрели превосходное зрение за миллионы лет развития. Однако она не в состоянии объяснить сверхэволюционные процессы, которые позволили людям изобрести и начать производить очки и телескопы всего за какую-то тысячу лет. Люди обладают тем, чего лишены другие виды, а именно ментальными репрезентациями окружающей среды – репрезентациями, которыми возможно манипулировать по желанию, дабы воображать различные альтернативные и гипотетические среды в целях планирования и обучения.

Историки рода Homo Sapiens, скажем Юваль Ной Харари и Стивен Митен²⁹, в целом согласны с тем, что решающим фактором, который обеспечил нашим предкам глобальное господство на планете около сорока тысяч лет назад, была способность создавать и хранить ментальные репрезентации окружающей среды, обращаться к этим репрезентациям, искажать их посредством актов воображения и, наконец, отвечать на вопросы типа «Что, если?». Примерами могут служить вопросы интервенционные («Что, если я сделаю то-то и то-то?») и ретроспективные, или контрфактивные («Что, если бы я поступил иначе?»). Ни одна обучаемая машина в наши дни не способна давать ответы на такие вопросы. Более того, большинство обучаемых машин не обладают репрезентациями, из которых можно вывести ответы на подобные вопросы.

Отталкиваясь от причинно-следственного мышления, можно сказать, что для нас почти бесполезны любые формы подгонки кривых, модельной слепоты или статистического вывода, сколь бы сложным ни был процесс подгонки. Мы также выявили теоретические рамки для структурирования указанных ограничений по иерархическому признаку.

На первом уровне находится статистическое мышление, которое способно сообщить лишь о том, как наблюдение одного события изменит ваши взгляды на другие события. Например, что симптом может рассказать о болезни?

Далее располагается второй уровень, который опирается на первый, но не наоборот. Здесь помещаются действия. «Что будет, если мы поднимем цены?» «Что, если ты меня рассмешишь?» Этот второй уровень иерархии требует информации о вмешательствах, недоступной на первом уровне. Данную информацию можно закодировать в графическую модель, которая будет уведомлять, какие переменные реагируют на другие.

Третий уровень иерархии является контрфактуальным. Это язык, употребляемый учеными. «Что, если объект будет вдвое тяжелее?» «Что, если я поступлю иначе?» «Это от аспирина у меня перестала болеть голова или все дело в том, что я пошел спать?» Контрфактуальность занимает верхний уровень с той точки зрения, что ее невозможно вывести логически, даже умей мы предсказывать и предугадывать последствия всех своих действий. Тут необходим дополнительный элемент в форме уравнений, чтобы поведать нам, как переменные реагируют на изменения других переменных.

Одним из венчающих труды достижений в исследованиях причинно-следственных связей является алгоритмизация вмешательств и контрфактуальностей, то есть двух верхних уровней нашей иерархии. Иными словами, когда мы закодировали наше научное знание в модели (пусть даже качественной), налицо алгоритмы, позволяющие изучить модель и определить, возможно ли воспринять конкретный запрос, будь то вмешательство или контрфактуальность, на основе имеющихся данных (а если возможно, то как именно). Эта возможность кардинально изменила само занятие наукой, особенно в таких наукоемких дисциплинах, как социология и эпидемиология, где каузальные модели успели стать вторым языком. Указанные дисциплины трактуют описанную лингвистическую трансформацию как каузальную революцию. Цитируя социолога из Гарварда Гэри Кинга: «За последние несколько десятилетий о причинно-следственных связях стало известно намного больше, чем за всю предшествующую историю вопроса».

Размышляя об успехах машинного обучения и пытаясь экстраполировать их на будущее ИИ, я спрашиваю себя: «Известны ли нам базовые ограничения, которые были обнаружены в области причинно-следственных связей? Готовы ли мы преодолеть теоретические препятствия, мешающие нам переходить с одного уровня иерархии на другой?»

Я рассматриваю машинное обучение как инструмент, позволяющий перейти от данных к вероятностям. Но тогда следует сделать два дополнительных шага, чтобы перейти от вероятностей к реальному пониманию, – два больших шага. Один заключается в том, чтобы предсказывать последствия действий, а второй состоит в освоении контрфактуального воображения. Мы не вправе утверждать, что постигли реальность, если не сделаем эти два шага.

В своей блестящей и проницательной работе «Предвидение и понимание» (1961) философ Стивен Тулмин определил противостояние прозрачности и непрозрачности как ключевое условие осознания сути древнего соперничества между греческими и вавилонскими науками. Согласно Тулмину, вавилонские астрономы были мастерами предсказаний по «черному ящику» и сильно превосходили своих греческих соперников по точности и последовательности небесных наблюдений. Тем не менее наука предпочла креативно-умозрительную стратегию греческих астрономов, которая изобиловала метафорическими образами: круглые трубы, полные огня; малые отверстия, сквозь которые сияет небесный огонь (звезды); полусферическая Земля на спине гигантской черепахи… Именно эта безумная стратегия моделирования, а вовсе не вавилонские экстраполяции, побудила Эратосфена (276–194 годы до н. э.) предпринять один из наиболее творческих экспериментов Античности и вычислить окружность Земли. Подобный эксперимент был попросту невозможен среди вавилонских собирателей данных.

Модельная слепота накладывает внутренние ограничения на когнитивные задачи, которые способен выполнять «сильный» ИИ. Мой общий вывод состоит в том, что сопоставимый с человеческим ИИ нельзя создать только на основе машины с модельной слепотой; он требует симбиотического сотрудничества данных и моделей.

Наука о данных является наукой лишь в той мере, в какой она облегчает интерпретацию данных, – перед нами задача двух тел, связь данных и реальности. Данные сами по себе вряд ли окажутся наукой, какими бы «большими» они ни были и насколько бы искусно ими ни манипулировали. Непрозрачные обучаемые системы могут привести нас в Вавилон, но не в Афины.

Глава 3
Цель, заложенная в машину

Стюарт Рассел

профессор компьютерных наук и профессор-стипендиат по машиностроению в Калифорнийском университете (Беркли). Он автор (вместе с Питером Норвигом) книги «Искусственный интеллект: современный подход».

Ученый-компьютерщикСтюарт Рассел, наряду с Илоном Маском, Стивеном Хокингом, Максом Тегмарком и многими другими, настаивает на том, что следует уделять повышенное внимание тем потенциальным опасностям, которые сулит создание интеллекта сверхчеловеческого (или даже человеческого) уровня – так называемого ОИИ, общего искусственного интеллекта, чьи запрограммированные цели вовсе не обязательно будут совпадать с нашими собственными.

Ранние работы Рассела были посвящены описанию гипотезы «ограниченной оптимальности» как формального операционального определения интеллекта. Он разработал метод рационального метарассуждения, «суть которого, грубо говоря, заключается в том, что вы выполняете вычисления, которые, по вашим ожиданиям, улучшат качество итогового решения в максимально короткие сроки». Также Стюарт приложил руку к комбинированию теории вероятности с логикой первого порядка, благодаря чему возникла новая и гораздо более эффективная система мониторинга соблюдения условий договора о всеобъемлющем запрещении ядерных испытаний, и к задаче принятия долгосрочных решений (сам он предпочитает давать презентациям по последней теме названия вроде «Жизнь: играть и выигрывать за 20 триллионов ходов»).

Он сильно озабочен продолжающимися разработками автономного оружия, в частности смертоносных микродронов, которые можно с легкостью превратить в оружие массового уничтожения. Рассел составил черновик письма от имени сорока ведущих мировых исследователей ИИ к президенту Обаме, и его усилия ознаменовались рядом важных совещаний по вопросам национальной безопасности.

Ныне он сосредоточился на создании, повторяя его собственные слова, «доказуемо благотворного» ИИ. Стюарт желает гарантировать безопасность от ИИ за счет «внедрения явной неопределенности» в компьютерные системы: машины, таким образом, остаются в неведении относительно истинных целей людей-программистов, и подобный подход может привести к довольно радикальному переосмыслению тематики текущих исследований в области ИИ.

При этом имя Стюарта знакомо всем, кто обучался информатике и компьютерным наукам в последние двадцать лет. Вместе с соавтором он написал «полный» учебник по искусственному интеллекту, разошедшийся тиражом около 5 миллионов экземпляров на английском языке.

Среди множества вопросов, поднимаемых Норбертом Винером в книге «Человеческое применение человеческих существ» (1950) и сохраняющих актуальность по сей день, наиболее значимым для исследователей в области ИИ является вопрос, сформулированный следующим образом: «Возможно ли, что однажды человечество уступит машинам право распоряжаться своей судьбой?»

Винер считал машины ближайшего будущего слишком ограниченными для притязаний на глобальный контроль и предполагал, что посредством таких машин и машиноподобного контроля человеческие элиты низведут огромные массы людей до статуса «винтиков системы». Стараясь заглянуть в грядущее, он указывал на проблематичность правильной постановки целей для высокопроизводительных машин:

…мы узнаем некоторые элементарные и очевидные факты жизни, например: если найдешь джинна в кувшине, лучше его не выпускать; если рыбак слишком много раз просит благ от Небес по наущению своей жены, он останется ровно с тем, с чего начинал; если вам предложили три желания, нужно формулировать их с оглядкой на последствия.

Опасности достаточно очевидны:

Горе нам, если мы позволим ей [машине] определять наше поведение, прежде чем изучим законы ее действий и не будем полностью уверены, что ее работа строится на приемлемых для нас принципах. С другой стороны, подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемы для нас.

Десять лет спустя, увидев программу игры в шашки Артура Сэмюела, научившуюся играть намного лучше своего создателя, Винер опубликовал статью «Некоторые моральные и технические последствия автоматизации» в журнале «Сайенс». В этой статье он высказался недвусмысленно:

Если мы используем для достижения наших целей механического агента, в работу которого не можем эффективно вмешиваться… следует твердо удостовериться в том, что цель, заложенная в машину, есть та цель, к которой мы действительно стремимся…

На мой взгляд, вот источник того экзистенциального риска от разработки сверхинтеллектуального ИИ, о котором в последние годы говорили такие специалисты, как Илон Маск, Билл Гейтс, Стивен Хокинг и Ник Бостром.

Постановка целей перед машинами

Исследования в области ИИ до сих пор направлялись на понимание принципов, лежащих в основе интеллектуального поведения, и на «встраивание» этих принципов в машины, которые далее смогут демонстрировать такое поведение. В 1960-х и 1970-х годах преобладающей среди теоретиков характеристикой интеллекта считалась способность к логическим рассуждениям, включая также и умение планировать действия, гарантированно ведущие к достижению определенной цели. В последнее время получила признание и распространение концепция рационального агента, который воспринимает ожидаемую полезность и действует ради ее максимизации. Такие «субполя», как логическое планирование, робототехника и понимание естественного языка, являются частными случаями общей парадигмы. Исследования в области ИИ стали учитывать теорию вероятности для обработки неопределенностей, теорию полезности для определения целей и методики статистического обучения, призванные помочь машинам адаптироваться к новым обстоятельствам. Эти разработки обеспечили прочные связи исследований ИИ с другими дисциплинами, основанными на сходных концепциях, в том числе с теорией управления, экономикой, изучением операций и статистикой.

С точки зрения как логического планирования, так и деятельности рационального агента цель машины – будь то в форме «настоящей» цели, функции полезности или функции вознаграждения (как в обучении с подкреплением) – определяется экзогенно. Цитируя Винера, это «цель, заложенная в машину». Действительно, один из исходных принципов исследований ИИ гласит, что системы искусственного интеллекта должны быть универсальными, то есть способными воспринимать некую цель в качестве начального параметра и затем ее достигать, а вовсе не специализированными, где цель подразумевается конструкцией. Например, беспилотный автомобиль должен уметь принимать задаваемые разные пункты назначения, а не прокладывать маршрут к единственному фиксированному пункту назначения. Впрочем, некоторые характеристики «целей поездки» в беспилотных автомобилях остаются фиксированными: скажем, условие не давить пешеходов. Они встраиваются непосредственно в алгоритмы управления автомобилем, без явной формулировки: ни один современный беспилотный автомобиль не «знает», что пешеходам не нравится, когда их давят.

Постановка цели перед машиной, которая оптимизирует свое поведение в соответствии с четко определенными алгоритмами, кажется замечательным подходом, гарантирующим, что поведение машины будет опираться на «принципы, приемлемые для нас». Но еще Винер предупреждал, что мы должны научиться ставить правильные цели. Можно назвать эту задачу проблемой царя Мидаса: ведь тот получил ровно то, о чем просил, а именно превращение всего, к чему он прикасался, в золото, но слишком поздно для себя выяснил, что не так-то просто утолять жажду жидким золотом или насыщаться твердым золотом. Если воспользоваться техническим термином, постановка правильных целей – это юстировка ценностей. Когда данная процедура не срабатывает, мы непреднамеренно можем задать машинам цели, противоречащие нашим собственным. Например, решая задачу скорейшего поиска лекарства от рака, система искусственного интеллекта может счесть, что разумно использовать весь человеческий род в качестве подопытных морских свинок для своих экспериментов. В ответ на просьбу снизить кислотность Мирового океана она может ликвидировать весь кислород в атмосфере в качестве побочного эффекта. Такова общая характеристика систем, которые оптимизируют свою работу: переменные, не относящиеся к достижению цели, могут доводиться до предельных значений ради оптимизации способов достижения цели.

К сожалению, ни разработка ИИ, ни научные дисциплины (экономика, статистика, теория управления, изучение операций), предусматривающие оптимизацию целей, не способны внятно излагать методики выявления целей, «к которым мы на самом деле стремимся». Вместо этого они исходят из допущения, что цели просто «имплантируются» в машину. Исследования в области ИИ в их нынешнем виде направлены на изучение способности к достижению целей, а не на постановку этих целей.

Стив Омохундро указал на другое затруднение, отметив, что разумные существа должны действовать, чтобы обеспечивать свое существование. Это обстоятельство никак не связано с инстинктом самосохранения или любым другим биологическим понятием; все дело в том, что живое существо не способно достигать целей, если оно мертво. Согласно аргументам Омохундро, сверхразумная машина с выключателем – некоторые, включая самого Алана Тьюринга, если вспомнить его выступление на «Радио Би-би-си» в 1951 году, считают, что здесь таится наше потенциальное спасение, – предпримет какие-то меры для того, чтобы так или иначе деактивировать этот выключатель³⁰. Следовательно, перед нами встает перспектива появления сверхразумных машин, причем их действия, по определению, будут непредсказуемыми для нас, их нечетко определенные цели будут противоречить нашим собственным, а их мотивация к продлению своего существования ради достижения этих целей может оказаться важнее всякой другой.

1001 причина не обращать внимания

Разумеется, на эти аргументы выдвигаются возражения, прежде всего со стороны исследователей в области ИИ. Данные возражения суть естественная защитная реакция, возможно отягощенная недостатком воображения – в частности, относительно способностей сверхразумных машин. Но при ближайшем рассмотрении эти возражения не выдерживают критики. Давайте рассмотрим те, которые звучат чаще всего.

1.Не беспокойтесь, в случае чего мы просто выключим машину³¹. Нередко эта мысль первой приходит на ум непрофессионалу при анализе рисков создания сверхразумного ИИ. Но он как будто не предполагает, что сверхразум этого не понимает. С тем же успехом можно утверждать, что шанс проиграть DeepBlue или AlphaGo ничтожен, если человек будет делать только правильные ходы.

2.Человеческий или сверхчеловеческий уровень для ИИ недостижим³². Это необычное заявление для разработчиков и исследователей ИИ, учитывая тот факт, что со времен Тьюринга они отбиваются от аналогичных претензий со стороны философов и математиков. Данное утверждение, не подкрепленное, по-видимому, никакими доказательствами, как бы признаёт, что, если сверхинтеллект вообще возможен, он будет представлять собой немалый риск для человечества. Как если бы водитель автобуса, куда вместилось все человечество, сказал: «Да, я еду к обрыву! Мало того, я давлю педаль газа до упора! Но не сомневайтесь, бензин кончится раньше, чем мы окажемся на краю!» Это заявление выглядит безрассудной ставкой против человеческой изобретательности. Мы делали такие ставки раньше – и проигрывали. 11 сентября 1933 года знаменитый физик Эрнест Резерфорд с полной уверенностью изрек: «Любой, кто ожидает получить источник энергии из превращения этих атомов, несет чепуху». 12 сентября 1933 года Лео Силард открыл ядерную цепную реакцию под действием нейтронов. Несколько лет спустя он продемонстрировал такую реакцию в своей лаборатории в Колумбийском университете. Как он вспоминал позднее: «Мы выключили все приборы и пошли домой. Той ночью я практически уверился в том, что мир обречен на гибель».

3.Еще слишком рано беспокоиться. Когда именно начинать беспокоиться о потенциально серьезных проблемах человечества – это зависит не только от момента возникновения проблем, но и от сроков разработки и реализации решений, позволяющих с ними справиться. Например, обнаружив сегодня большой астероид, который, по расчетам, должен столкнуться с Землей в 2067 году, скажем ли мы, что беспокоиться рано? А если рассматривать глобальные катастрофические риски, которыми чревато изменение климата (как ожидается, все случится уже в текущем столетии), неужели рано принимать меры по их предотвращению? Наоборот, может быть уже поздно. Релевантные временны́е рамки для искусственного интеллекта человеческого уровня менее предсказуемы, но, как и в случае ядерной реакции, подходящие условия могут сложиться значительно раньше, чем ожидалось. Одним из вариантов данного возражения является заявление Эндрю Энга³³ – мол, «с тем же успехом можно беспокоиться насчет перенаселенности Марса». Что ж, перед нами обращение к вроде бы очевидной аналогии: риск видится управляемым и относится к далекому будущему, а также крайне маловероятно, что мы вообще попытаемся переселить миллиарды людей на Марс. Но аналогия вводит в заблуждение. Уже выделяются колоссальные научные и технические ресурсы на разработку все более передовых систем ИИ. Более подходящей аналогией стал бы план по переселению человечества на Марс без единой мысли о том, как мы там будем дышать, что есть и пить по прибытии.

4.В любом случае человекоподобный искусственный интеллект не обязательно возникнет. К примеру, авторы доклада «AI-100» заверяют нас: «Вопреки чрезмерно фантастическим прогнозам по поводу ИИ в популярной прессе, исследовательская группа не нашла поводов для беспокойства относительно того, что ИИ является непосредственной угрозой человечеству». Это утверждение просто-напросто маскирует причины опасений, ведь нас тревожит отнюдь не неизбежность угрозы. В своей книге «Искусственный интеллект. Этапы. Угрозы. Стратегии»³⁴ Ник Бостром пишет: «В этой книге вовсе не утверждается, что мы стоим на пороге большого прорыва в области искусственного интеллекта или что мы можем предсказать с любой степенью точности, когда подобное может произойти».

5.Да вы просто луддиты. Довольно странное определение луддитов, включающее в себя Тьюринга, Винера, Минского, Маска и Гейтса, то есть тех людей, которые непосредственно причастны к техническому прогрессу XX и XXI столетий³⁵. Кроме того, эпитет «луддит» отражает полное непонимание природы нашей озабоченности и причин ее возникновения. Точно так же можно обвинять в луддизме инженеров-ядерщиков, когда те рассуждают о необходимости контролировать ядерные реакции. Некоторые еще употребляют термин «анти-ИИ», и, продолжая аналогию, инженеров-ядерщиков можно было бы называть «антифизиками». Цель понимания и предотвращения рисков разработки ИИ состоит в том, чтобы обеспечить реализацию всех выгод такой разработки. Бостром, например, пишет, что успехи в «подчинении» ИИ обеспечат «вступление на цивилизационную траекторию, которая ведет к лучшему исходу – на благо всего человечества»; при всем желании вряд ли возможно увидеть здесь пессимистический прогноз.

6.Любая машина, достаточно умная для причинения неприятностей, будет достаточно умной для постановки соответствующих альтруистические целей³⁶. (Нередко этот довод предваряется утверждением, что по-настоящему умные люди, как правило, ставят перед собой более альтруистические цели; такая точка зрения может отражать самооценку тех, кто ее высказывает.) Этот довод связан с «гильотиной Юма» и натуралистической ошибкой Дж. Э. Мура³⁷; предполагается, что каким-то образом машина, обретя разумность, сама поймет, что правильно, исходя из опыта познания мира. Это совершенно неправдоподобно; например, по дизайну шахматной доски и шахматных фигур невозможно понять цель шаха и мата, а та же шахматная доска и те же фигуры могут быть использованы для игры в поддавки и многих других игр, которые только предстоит изобрести. Иными словами, Бостром воображает людей, истребляемых роботом, который превращает планету в море скрепок; мы, люди, воспринимаем такой исход как трагический, тогда как потребляющая железо бактерия Thiobacillus ferrooxidans пребывает в восторге от перспективы. Кто посмеет заявить, что бактерия не права? Сам факт того, что цели машинам задаются людьми, вовсе не означает, что машины автоматически оценят значимость объектов, не относящихся к цели, для людей. Максимизация цели вполне может доставить проблемы людям, но, по определению, машина не распознает эти проблемы как таковые.

7.Разумность многомерна, а потому выражение «умнее людей» лишено смысла³⁸. Одна из посылок современной психологии гласит, что показатель IQ не характеризует в полной мере все богатство когнитивных навыков, присущих людям в той или иной степени. Показатель IQ дает весьма приблизительную оценку человеческому интеллекту – и совершенно бесполезен для современных систем искусственного интеллекта, поскольку их возможности в разных областях не коррелируют между собой. Как сравнивать IQ поисковой системы Google, которая не умеет играть в шахматы, и тот же показатель суперкомпьютера DeepBlue, неспособного реагировать на поисковые запросы?

Ничто из сказанного не подтверждает, будто, поскольку интеллект многомерен, мы вправе игнорировать потенциальные риски создания сверхразумных машин. Если выражение «умнее людей» лишено смысла, то таково и выражение «умнее горилл», а потому гориллам нечего опасаться людей; ясно, что этот аргумент не выдерживает критики. Логически возможно, что одно существо может оказаться способнее другого в том или ином соответствующем измерении разума, и также возможно, что один вид живых существ будет представлять экзистенциальную угрозу для другого, даже если первый не обладает пониманием музыки и литературы.

Решения

Должны ли мы воспринимать предупреждения Винера как руководство к действию? Надо ли нам разрабатывать системы ИИ, чьи цели не будут противоречить нашим, чтобы мы были довольны их поведением? На первый взгляд эта затея кажется безнадежной, поскольку, безусловно, окажется невозможным правильно сформулировать наши собственные цели или вообразить все контринтуитивные способы, какими сверхразумная сущность может достигать этих целей.

Если рассматривать сверхразумные системы ИИ как своего рода «черные ящики» из космоса, тогда у нас действительно нет ни малейшей надежды. Но подход, который мы как будто вынуждены применять, если не хотим сомневаться в результатах, состоит в том, чтобы выявить некую формальную задачу F и проектировать системы ИИ для решения этой задачи, причем, независимо от точности решения, мы будем довольны итогом. Если получится составить задачу F с такими свойствами, мы сможем создать доказуемо благотворный ИИ.

Вот пример того, как не нужно это делать. Пусть наградой будет скалярная величина, периодически задаваемая человеком машине в соответствии с тем, насколько хорошо машина вела себя в течение конкретного промежутка времени; и пусть задача F будет задачей максимизации ожидаемой суммы вознаграждений, полученных машиной. Оптимальное решение задачи, вопреки очевидным ожиданиям, заключается не в хорошем поведении, а в том, чтобы контролировать человека-оператора и заставить его обеспечить поток максимальных наград. Перед нами образчик так называемой интерфейсной задачи, которая опирается на наблюдение, что сами люди подвержены тому же поведению, если располагают электронными стимуляторами собственных центров удовольствия.

Полагаю, что может оказаться эффективным следующий подход. Людей можно обоснованно описать как обладающих некими предпочтениями (обычно имплицитными) в отношении будущего – то есть при наличии достаточного времени и неограниченных визуальных средств человек способен выразить свое предпочтение (или безразличие), когда ему предлагается выбор между двумя вариантами будущего, изложенными во всех подробностях. (Эта идеализация игнорирует возможность того, что наш разум объединяет подсистемы с несовместимыми предпочтениями; если так и есть, это ограничивает способность машин оптимально удовлетворять наши предпочтения, но как будто не препятствует нам создавать машины, позволяющие избежать катастрофических результатов.) Формальная задача F решается машиной в данном случае для максимизации человеческих предпочтений применительно к будущему с учетом изначальной неуверенности в их содержании. Кроме того, пусть предпочтения относительно будущего суть скрытые переменные, они опираются на обильные фактические свидетельства, а именно на все человеческие решения, которые когда-либо были приняты. Эта формулировка позволяет обойти проблему, обозначенную Винером: конечно, машина способна узнавать о человеческих предпочтениях все больше и больше, но она никогда не добьется здесь полной определенности.

Более точное определение возможно дать в рамках совместного обучения с обратным подкреплением (CIRL)³⁹. Тут задействуются два агента, один из которых – человек, а другой – робот. При двух агентах возникает ситуация, которую экономисты характеризуют как игру. Это игра в частичную информацию, поскольку человеку известна функция вознаграждения, но робот о ней не знает, хотя задача робота состоит в ее максимизации.

Вот простой пример: предположим, что некая женщина по имени Гарриет коллекционирует скрепки и канцелярские булавки, и для нее функция вознаграждения определяется знанием о том, сколько образцов каждого вида имеется в коллекции. Точнее, если у нее есть p скрепок иs булавок, то коэффициент счастья равен θ_p + (1 – θ) s, где θ есть фактически обменный курс между скрепками и булавками. Если θ равно 1, ей нравятся только скрепки; если θ равно 0, ей нравятся только булавки; если θ равно 0,5, то у нее нет предпочтений, и т. д. Робот Робби занимается производством скрепок и булавок. Смысл игры в том, что Робби хочет сделать Гарриет счастливой, но не знает значения θ, поэтому не уверен, какое количество каждых нужно произвести.

Вот как развивается игра. Пусть истинное значениеθравно 0,49, то есть Гарриет немного предпочитает булавки скрепкам. Давайте предположим, что Робби наделен неким предварительным мнением о θ, то есть он считает, что θс равной вероятностью может иметь любое значение от 0 до 1. Гарриет проводит небольшую демонстрацию, показывает две скрепки для бумаг или две булавки – либо по одной из каждых. После этого робот может изготовить либо девяносто скрепок, либо девяносто булавок, либо по пятьдесят тех и других. Можно подумать, что Гарриет, которой больше нравятся булавки, следовало бы показать две булавки. Но в этом случае рациональным ответом Робби было бы изготовление девяноста булавок (с общим значением для Гарриет 45,9), что для Гарриет менее желательно, чем по пятьдесят штук тех и других (общее значение 50,0). Оптимальным решением конкретной игры будет демонстрация одной булавки и одной скрепки со стороны Гарриет, вследствие чего Робби затем изготавливает по пятьдесят булавок и скрепок. Способ развития игры тем самым побуждает Гарриет «учить» Робби, пока она считает, что Робби внимательно следит за происходящим.

В рамках CIRL можно формулировать и решать проблему выключателя – то есть разобраться, как помешать роботу деактивировать свой выключатель. (Тьюринг может покоиться с миром.) Робот, который не уверен в предпочтениях человека, действительно выигрывает от выключения, поскольку он понимает, что человек берется за выключатель, чтобы робот не сделал чего-то, противоречащего этим предпочтениям. Потому у робота имеется стимул не мешать выключению, и этот стимул напрямую связан с его неуверенностью относительно предпочтений человека⁴⁰.

Пример с выключателем предполагает наличие ряда шаблонов разработки контролируемых агентов и демонстрирует минимум один случай доказуемо благоприятной системы (в том смысле, о котором говорилось выше). В целом этот подход побуждает вспомнить о задачах проектирования механизмов в экономике, когда кто-то стимулирует других вести себя так, как это выгодно ему. Ключевое отличие состоит в том, что мы конструируем одного агента на пользу другому.

Есть основания полагать, что этот подход может доказать свою эффективность на практике. Во-первых, налицо обилие письменных и визуальных (фильмы) свидетельств человеческих действий (на которые реагируют другие люди). Технологии построения моделей человеческих предпочтений из этого массива данных, вероятно, появятся задолго до создания сверхразумных систем ИИ. Во-вторых, роботы наделяются сильными краткосрочными экономическими стимулами к пониманию человеческих предпочтений: если какой-то скверно спроектированный домашний робот примется готовить на обед кошку, не осознавая, что ее «сентиментальная ценность» выше пищевой ценности, индустрия домашних роботов мгновенно прогорит.

Впрочем, существуют очевидные трудности, поскольку этот подход предполагает, что робот будет изучать основные предпочтения в человеческом поведении. Люди иррациональны, непоследовательны, слабовольны и ограничены в своих вычислительных способностях, поэтому их действия далеко не всегда отражают их истинные предпочтения. (Возьмем, к примеру, двух человек, играющих в шахматы. Обычно кто-то проигрывает, но не нарочно!) Поэтому роботы могут обучаться на нерациональном человеческом поведении только при посредстве тщательно проработанных когнитивных моделей человека. Кроме того, практические и социальные ограничения будут препятствовать максимальному удовлетворению всех предпочтений одновременно, а это означает, что роботам придется выступать посредниками между конфликтующими предпочтениями, взваливая на себя бремя, под которым философы и социологи изнемогали на протяжении тысячелетий. Кстати, чему роботы должны научиться у людей, которые наслаждаются страданиями других? Возможно, лучше обнулить такие предпочтения в роботических вычислениях.

Поиск решения задачи управляемости ИИ чрезвычайно важен; быть может, это, цитируя Бострома, «главная задача нашей эпохи». До сих пор исследования в области ИИ фокусировались на системах, которые лучше принимают решения, но это не то же самое, что принимать наилучшие решения. Алгоритмы могут максимизировать превосходно, а модель мироздания может быть сколь угодно точной, однако выбор машины окажется беспросветно глупым в глазах обычного человека, если функция полезности робота плохо согласована с человеческими ценностями.

Эта задача требует изменить само определение ИИ – нужно отказаться от привязки к «чистому» интеллекту, без учета цели, и впредь рассматривать конструирование систем, доказуемо полезных для человека. Если мы всерьез займемся данной задачей, это, как представляется, откроет перед нами новые горизонты осмысления ИИ, его целей и наших отношений с машинами.

Глава 4
Третий закон

Джордж Дайсон

историк науки и техники и автор книг «Каяк «Байдарка», «Дарвин среди машин», «Проект «Орион»» и «Собор Тьюринга».

В 2005 годуДжордж Дайсон, историк науки и техники, посетил корпорацию «Гугл» по приглашению ряда тамошних инженеров. Поводом стала шестидесятая годовщина доклада Джона фон Неймана о возможности создания цифрового компьютера. После визита в «Гугл» Джордж написал очерк «Собор Тьюринга», где первым среди ученых предупредил общественность о планах корпорации и ее основателей по покорению мира. «Мы сканируем все эти книги не для того, чтобы их могли прочитать люди, – объяснял один из инженеров. – Мы сканируем их, чтобы их читал ИИ».

Джордж предлагает противодействовать цифровому наступлению. Его научные интересы разнообразны: тут и история алеутского каяка, и эволюция цифровых вычислений и телекоммуникаций, и происхождение цифровой вселенной, и несбывшиеся мечты о покорении космоса. Его карьера (он не закончил среднюю школу, но позднее сделался почетным доктором Университета Виктории) столь же невероятна, как и его книги.

Ему нравится отмечать, что аналоговые вычисления, которые ранее считались вымершими заодно с дифференциальным вычислителем⁴¹, благополучно возродились. Он утверждает, что мы используем цифровые компоненты, но в определенный момент аналоговые вычисления, выполняемые системой, намного превышают сложность цифрового кода, с помощью которого эта система создавалась. Он считает, что подлинный искусственный интеллект – с аналоговыми контурами управления, возникшими из цифрового «субстрата» подобно тому, как цифровые компьютеры появились из аналоговых после Второй мировой войны, – не так далек, не исключено, как принято полагать.

В своем очерке Джордж рассматривает различия между аналоговыми и цифровыми вычислениями и приходит к выводу, что аналоговый метод жив и здоров. Реакцией природы на попытку запрограммировать машины для управления всем на свете могут оказаться машины без программирования, над которыми никто не властен.

Историю вычислений можно разделить, так сказать, на Ветхий и Новый Заветы: до и после появления электронных цифровых компьютеров и распространения кодов, ими порожденных, по всей Земле. Пророками Ветхого Завета, заложившими основы компьютерной логики, были Томас Гоббс и Готфрид-Вильгельм Лейбниц⁴². К пророкам Нового Завета принадлежат Алан Тьюринг, Джон фон Нейман, Клод Шеннон и Норберт Винер. Они создали машины.

Алану Тьюрингу было интересно, что необходимо для того, чтобы машины сделались разумными. Джон фон Нейман задавался вопросом о том, что потребуется для самовоспроизводства машин. Клод Шеннон искал ответ на вопрос, что понадобится для обеспечения надежной связи между машинами, независимо от силы шума. Норберт Винер задумывался над тем, сколько времени уйдет у машин на то, чтобы стать самостоятельными.

Предостережения Винера насчет систем управления, неподвластных человеческому контролю, прозвучали в 1949 году, как раз когда появилось первое поколение электронных цифровых компьютеров с хранимыми в памяти программами. Эти системы требовали прямого контроля со стороны людей-программистов и тем самым как бы опровергали его опасения. В чем проблема, пока программисты контролируют машины? С тех пор и по сей день споры о рисках самостоятельности увязывались и увязываются с дебатами о возможностях и ограничениях кодированных цифровыми способами машин. Несмотря на их удивительные способности, налицо весьма скромные проявления самостоятельности. Впрочем, предаваться самоуспокоенности опасно. А что, если на смену цифровым машинам придут какие-то другие?

За минувшие сто лет электроника претерпела два фундаментальных изменения – переход от аналога к цифре и переход от вакуумных ламп к печатным платам. Тот факт, что эти переходы происходили вместе, не означает, что они неразрывно связаны. Цифровые вычисления производились с использованием ламповых компонентов, тогда как аналоговые вполне возможно выполнять с применением плат. Аналоговые компьютеры, если угодно, живы и здоровы до сих пор, несмотря на фактическое исчезновение вакуумных ламп из коммерческой эксплуатации.

Никто не в состоянии провести строгое различие между аналоговыми и цифровыми компьютерами. Цифровые вычисления больше опираются на целые числа, двоичные последовательности, детерминированную логику и идеальное время, делимое на дискретные приращения, тогда как аналоговые вычисления оперируют действительными числами, недетерминированной логикой и непрерывными функциями, в том числе временем как континуумом, каким оно воспринимается в реальном мире.

Вообразите, что вам нужно отыскать середину дороги. Можно замерить ее ширину с любыми допусками, а затем вычислить цифровым способом среднее значение до ближайшего допуска. Или можно трактовать отрез веревки в качестве аналогового компьютера, сопоставить ширину дороги с длиной отреза и определить середину, без необходимости делать допуски, просто удвоив длину веревки.

Многие системы используют в работе как аналоговый, так и цифровой режимы. Дерево объединяет широкий спектр входных данных в виде непрерывных функций, но если его срубить, вы обнаружите, что оно считало прожитые годы в цифровом виде.

В аналоговых вычислениях сложность заключается в сетевой топологии, а не в коде. Информация обрабатывается как непрерывные функции значений, например напряжение и относительная частота импульсов, а не посредством логических операций над дискретными строками битов. Цифровые вычисления, нетерпимые к ошибкам и неоднозначностям, зависят от исправления ошибок на каждом этапе. Аналоговые вычисления допускают ошибки и дают определенную свободу действий.

Природа использует цифровое кодирование для хранения, репликации и рекомбинации последовательностей нуклеотидов, но полагается на аналоговые вычисления в нервной системе с точки зрения разумности и контроля. Генетическая система каждой живой клетки представляет собой компьютер с программой в памяти. А вот мозг – нет.

Цифровые компьютеры выполняют преобразования между двумя разновидностями битов: теми, которые репрезентируют различия в пространстве, и теми, которые репрезентируют различия во времени. Преобразования между этими двумя формами информации, последовательностей и структур подчинены компьютерному программированию, и, пока компьютерам требуются люди для программирования, мы сохраняем контроль.

Аналоговые компьютеры тоже опосредуют преобразования между двумя формами информации – структурой в пространстве и поведением во времени. Но здесь нет кода и нет программирования. Каким-то образом – мы не до конца понимаем, как именно, – Природа создала аналоговые компьютеры, известные нам как нервная система; эта система накапливает информацию, полученную из внешнего мира. Она способна учиться. В частности, нервная система учится контролю. Она учится контролировать собственное поведение, а также максимально подчинять себе свое окружение, насколько это возможно.

Компьютерная наука имеет долгую историю – восходящую к временам, когда не было никакой компьютерной науки, – применения нейронных сетей, но по большей части это были имитации нейронных сетей с помощью цифровых вычислительных машин, а не нейронные сети как таковые, эволюционировавшие в дикой природе. Ситуация начинает меняться, причем как снизу вверх, поскольку тройственная движущая сила (беспилотные дроны, автономные транспортные средства и мобильные телефоны) стимулирует разработку нейроморфных микропроцессоров, которые воспроизводят реальные нейронные сети, а не их имитации, прямо в кремнии (и прочих потенциальных субстратах), так и сверху вниз, поскольку наши крупнейшие и наиболее успешные компании все чаще обращаются к аналоговым вычислениям, стремясь охватить и покорить весь мир.

Пока мы спорим о разумности цифровых компьютеров, аналоговые вычисления тихо и незаметно превосходят цифровые, точно так же, как аналоговые компоненты наподобие вакуумных ламп стали применяться по-новому для конструирования цифровых компьютеров после Второй мировой войны. Индивидуально детерминированные процессоры конечных состояний, работающие с конечными кодами, формируют крупные, недетерминированные метазонные организмы неконечных состояний, привольно существующие в реальном мире. Итоговые гибридные аналоговые/цифровые системы обрабатывают потоки битов совместно, тем способом, каким поток электронов обрабатывается в вакуумной лампе, а не по отдельности, подобно битам в устройствах с дискретным состоянием, генерирующих поток. Биты суть новые электроны. Аналог вернулся, и его назначение – взять на себя управление.

Управляя всем, от потока товаров до дорожного трафика и потока идей, эти системы действуют статистически, как закодированная импульсной частотой информация обрабатывается в нейроне или мозге. Возникновение разума привлекает внимание Homo Sapiens, но на самом деле нас должно беспокоить расширение самостоятельности. Вообразим, что на дворе 1958 год и нам нужно защитить континентальную территорию Соединенных Штатов Америки от потенциальных воздушных атак. Чтобы выявлять вражеские самолеты, потребуется, помимо сети компьютеров и радиолокационных станций раннего предупреждения, карта всего коммерческого воздушного движения, обновляемая в режиме реального времени. США создали такую систему и назвали ее SAGE (полуавтоматическая наземная среда). Система SAGE, в свою очередь, породила Sabre, первую интегрированную систему бронирования авиабилетов в режиме реального времени. Система Sabre и ее «потомки» вскоре сделались не просто картой свободных мест в самолетах, а этакой сетью с децентрализованным управлением, которая начала определять, где и когда летать авиалайнерам.

Но разве нет где-нибудь пункта управления, где кто-то сидит за пультом? Возможно, нет. Скажем, вы разрабатываете систему картографирования дорожного движения в режиме реального времени, всего-навсего предоставляя автомобилям доступ к карте в обмен на сообщение их скорости и местоположения в данный момент. Результатом будет полностью децентрализованная система управления. Нигде не найдется никакой управляющей модели, кроме самой системы.

Представьте, что идет первое десятилетие XXI века и вы хотите отслеживать сложность человеческих отношений в режиме реального времени. Если речь о социальной жизни небольшого колледжа, можно создать исходную базу данных и поддерживать ее в актуальном состоянии, но обновление такой базы станет отнимать все больше времени по мере ее разрастания. Лучшим вариантом будет раздавать бесплатные копии простого полуавтономного кода с локальным хостингом и позволить социальной сети обновляться самостоятельно. Этот код обрабатывается цифровыми компьютерами, но аналоговые вычисления, выполняемые системой в целом, намного превышают по сложности базовый код. Результирующая импульсно закодированная модель социального графа сама становится социальным графом. Она широко распространяется по всему кампусу, а затем и по всему миру⁴³.

Что, если вам захочется построить машину, способную узнать, что означает все на свете, известное человечеству? С учетом закона Мура оцифровка всей доступной информации не займет много времени. Вы сканируете каждую когда-либо напечатанную книгу, собираете все когда-либо отправленные электронные письма и накапливаете видео на сорок девять лет просмотра каждые двадцать четыре часа, отслеживая, где люди находятся и что они делают, в режиме реального времени. Но как вывести из всего этого смысл?

Даже в эпоху господства цифры смысл невозможно определить сколько-нибудь строго логически, потому что смыслы и значения для людей не являются сугубо логичными. Лучшее, что вы можете сделать, собрав все возможные ответы, – это составить тщательно продуманные вопросы и нарисовать основанную на анализе импульсов карту взаимосвязей. Прежде чем вы это поймете, ваша система не только займется наблюдением и отображением значений, но и начнет конструировать значения. Со временем она станет контролировать значения, как карта трафика начинает контролировать поток уличного движения, даже если никто не контролирует ситуацию непосредственно.

* * *

Существуют три закона искусственного интеллекта. Первый известен как закон Эшби, в честь кибернетика У. Росса Эшби, автора книги «Конструкция мозга»; он гласит, что любая эффективная система управления должна быть не менее сложной, чем система, которой она управляет.

Второй закон, сформулированный Джоном фон Нейманом, гласит, что определяющая характеристика сложной системы такова: она представляет собой простейшее описание собственного поведения. Простейшей полной моделью организма выступает сам организм. Попытка свести поведение системы к любому формальному описанию усложняет ситуацию, а не делает ее проще.

Третий закон утверждает, что любая система, достаточно простая для ее понимания, не сумеет усложниться настолько, чтобы начать вести себя разумно, тогда как любая система, достаточно сложная для того, чтобы вести себя разумно, будет слишком сложной для понимания.

Третий закон утешает тех, кто верит, что нет нужды беспокоиться насчет сверхчеловеческого интеллекта, возникающего среди машин, пока мы не постигнем саму суть разума. Но в этом третьем законе есть лазейка. Вполне возможно построить что-то, не понимая его сути. Нет необходимости понимать в мельчайших подробностях, как работает мозг, чтобы создать его работоспособную копию. Эту лазейку не помогут прикрыть никакие надзоры за алгоритмами со стороны программистов и их советников по этике. Условно «благой» ИИ есть миф. Наши отношения с подлинным ИИ всегда будут строиться на вере, а не на факте.

Мы слишком много думаем о машинном интеллекте и уделяем недостаточно внимания самовоспроизведению, коммуникациям и контролю. Следующая революция в компьютерном мире ознаменуется возвышением аналоговых систем, над которыми утратит власть цифровое программирование. Ответ Природы тем, кто верит, что возможно создать машины, контролирующие все на свете, будет заключаться в том, что им позволят создать машину, которая станет контролировать их самих.

Глава 5
Что мы можем сделать?

Дэниел К. Деннет

профессор философии в университете и стипендиат Остина Б. Флетчера, а также директор Центра когнитивных исследований при университете Тафтса. Он опубликовал более десятка книг, в том числе «Объясненное сознание» и, если упоминать последние, «От бактерий к Баху и обратно: эволюция разума».

Дэн Деннет– «философ выбора» в сообществе исследователей искусственного интеллекта. Возможно, он наиболее известен в когнитивных науках своей концепцией интенциональных систем и моделью человеческого сознания, которая описывает вычислительную архитектуру репрезентации потока сознания в массово-параллельной ⁴⁴коре головного мозга. Против такого бескомпромиссно «вычислительного» подхода выступали такие философы, как Джон Серл, Дэвид Чалмерс и покойный Джерри Фодор⁴⁵, которые утверждали, что наиболее важные аспекты сознания – интенциональность и субъективные признаки – не подвластны вычислениям.

Двадцать пять лет назад я навещал Марвина Минского, одного из пионеров в исследованиях искусственного интеллекта, и спросил его о Дэне. «Он наш лучший нынешний философ, новый Бертран Рассел, – сказал Марвин и добавил, что, в отличие от традиционных философов, Дэн изучал нейронауки, лингвистику, искусственный интеллект, информатику и психологию. – Он переосмысливает философию и реформирует ее роль. Конечно, Дэн не понимает мою теорию сообществ разума⁴⁶, но никто не совершенен».

Мнение Дэна по поводу стараний исследователей ИИ создать сверхразум остается неизменно уравновешенным. С какой стати беспокоиться? В своем очерке он напоминает нам, что ИИ прежде всего следует рассматривать – и воспринимать – как инструмент, а не как человекоподобного коллегу.

Он начал интересоваться теорией информации, когда проходил обучение в Оксфорде. Вообще-то он признался мне, что на заре своей карьеры всерьез обдумывал, не написать ли ему книгу о кибернетических идеях Винера. Для мыслителя, приверженного научному методу, показательна его готовность ошибаться. В недавней статье под названием «Что такое информация?» он заявляет: «Я опираюсь на принципы, но допускаю их пересмотр. Я уже вышел за их пределы и осознаю, что разработаны иные, лучшие способы решения некоторых задач». Скорее всего, он сохранит хладнокровие и беспристрастность применительно к исследованиям ИИ, хотя сам Дэн нередко признает, что его собственные идеи эволюционируют – как и все идеи на свете.

Многим знакома ирония ситуации, когда впервые читаешь великую книгу в том возрасте, когда еще слишком молод, чтобы сполна оценить ее величие. Причислить классическое произведение к уже прочитанным и тем самым как бы обезопасить себя от дальнейшего влияния, усвоив всего-навсего сюжет и обрывки нескольких непонятных идей – вот верный рецепт потратить время впустую и без всякой пользы. Эта мысль сразу пришла мне на ум, когда я стал перечитывать «Человеческое применение человеческих существ». Первый раз я прочитал эту книгу шестьдесят лет назад, в далекой юности. Вообще-то, стоило бы ввести в обычай перечитывание книг нашей молодости, ведь так нам откроются наглядные признаки ряда наших собственных более поздних «открытий» и «изобретений», а также станет понятным, какое богатство идей мы вынужденно игнорировали до тех пор, пока наш разум не натренировался, не познал страдания и радости, а кругозор не расширился благодаря многочисленным житейским вызовам, которые пришлось преодолевать.

Написанная в те времена, когда вакуумные лампы являлись основными «кирпичиками» электронных устройств, а действующих вычислительных машин имелось считаное количество, книга Норберта Винера рисовала будущее, в котором мы сегодня обитаем, с поразительными прозрениями – и почти без явных ошибок. Знаменитая статья Алана Тьюринга «Вычислительная техника и интеллект» (1950) в философском журнале «Майнд» предрекала появление ИИ, и Винер разделял это мнение, но он смотрел дальше и глубже, признавая, что ИИ не просто будет подражать людям (и постепенно избавит их от множества интеллектуальных действий), но изменит саму человеческую природу.

Мы лишь водовороты в реке, что течет беспрерывно. Мы не материя, существующая вечно, а структура, которая длит себя.

Когда эти слова писались, не составляло труда отмахнуться от них как от очередного образчика гераклитовского по духу преувеличения. Ну да, ну да, нельзя войти дважды в одну и ту же реку. Но в этих словах содержались семена грядущей революции в мировоззрении. Сегодня нам известно, что такое сложные адаптивные системы, странные аттракторы, расширенные состояния ума (познания) и гомеостаз⁴⁷; перспектива изменилась, и это сулит исчезновение «объяснительной пропасти»⁴⁸ между разумом и механизмом, духом и материей, той пропасти, которую до сих пор горячо защищают современные картезианцы, не желающие смириться с тем, что мы – мы сами – являемся самосохраняющимися информационными структурами, а не «материя, существующая вечно». Эти структуры удивительно стабильны и обладают способностью к самовосстановлению, но одновременно их можно охарактеризовать как текучие, оппортунистические, эгоистичные, склонные к эксплуатации всего и вся вокруг в своем стремлении к сохранению. Именно здесь, как признавал сам Винер, возникают сложности. При обилии привлекательных возможностей мы стараемся платить меньше и соглашаемся лишь на малые, тривиальные, если угодно, расходы по ведению бизнеса для доступа к новым умениям и навыкам. В результате мы очень скоро становимся настолько зависимыми от наших новых инструментов, что теряем способность существовать без них. Дополнительные опции становятся обязательными.

Это старая, как мир, история со множеством хорошо известных глав по эволюции. Большинство млекопитающих способны самостоятельно синтезировать витамин С, но приматы выбрали диету преимущественно из фруктов – и утратили эту врожденную способность. Ныне мы вынуждены потреблять витамин С, но не пожираем фрукты безостановочно, подобно нашим дальним родичам приматам, поскольку мы разработали технологии, позволяющие нам производить и принимать витамины по мере необходимости. Самосохраняющиеся структуры, именуемые людьми, ныне зависят от одежды, приготовленной пищи, витаминов, прививок… кредитных карт, смартфонов и интернета. А еще – завтра, если не сегодня – будут зависеть от ИИ.

Винер предвидел проблемы, которые Тьюринг и другие оптимисты в значительной степени упускали из виду. По его словам, настоящая опасность кроется в том,

что подобные машины, пускай они безвредны сами по себе, могут быть использованы человеком или группой людей для усиления своего господства над остальной человеческой расой, а политические лидеры могут попытаться контролировать население своих стран посредством не самих машин, а посредством политических практик, столь узких и равнодушных к человеческим потребностям, как если бы эти практики действительно вырабатывались механически.

Он осознавал, что сила сосредоточена в алгоритмах, а не в оборудовании, которое ими оперирует, хотя современное оборудование позволяет обрабатывать алгоритмы, которые казались бы невообразимо громоздкими во времена Винера. Что мы можем сказать об этих «практиках», «узких и равнодушных к человеческим потребностям»? Они внедряются в общество снова и снова, некоторые из них предположительно полезны, другие предположительно вредны, и большинство из них вызывает огромное количество вопросов.

Рассмотрим несколько конфликтных ситуаций. Мой покойный друг Джо Вейценбаум⁴⁹, преемник Винера в роли высокотехнологичного пророка Иеремии в Массачусетском технологическом институте, любил повторять, что кредитные карты, при всех неоспоримых достоинствах, заодно предоставляют правительствам и корпорациям недорогой и почти стопроцентно надежный способ отслеживать перемещения, покупательские привычки и желания граждан. Анонимность наличных денег в значительной степени недооценивается, к ней стремятся разве что торговцы наркотиками и другие преступники, а ныне она и вовсе на грани исчезновения. Тем самым отмывание средств сделается более сложной технической задачей, но поклонники и энтузиасты искусственного интеллекта, ратующие против наличности, добились вдобавок того, что все мы очутились как на ладони у «группы людей», которые могут использовать это обстоятельство «для усиления своего господства над остальной человеческой расой».

Что касается искусства, то инновации в цифровых аудио- и видеозаписях позволяют нам платить небольшую цену (по мнению всех, за исключением наиболее ярых меломанов и любителей кино) за отказ от аналогового формата, благодаря чему обеспечивается удобное и простое – не слишком ли простое? – воспроизведение музыкальных и прочих произведений искусства с почти идеальной точностью. Но здесь имеются колоссальные скрытые издержки. «Министерство правды» Оруэлла сегодня вполне возможно реализовать на практике. Ныне получают распространение технологии создания (при посредстве ИИ) практически неотличимых от оригиналов подделок переговоров, например вследствие чего устаревают инструменты расследований, которые мы привыкли считать само собой разумеющимися за последние сто пятьдесят лет. Согласны ли мы отказаться от краткой эпохи фотографических доказательств и вернуться в прежние времена, когда человеческая память и доверие служили этаким золотым стандартом, – или будем разрабатывать новые методы защиты и нападения в гонке вооружений периода постправды? (Мы способны вообразить возвращение фотопленки и проявки, хранение улик в «защищенных от несанкционированного доступа местах» до момента предъявления присяжным и т. д., но как скоро кто-то додумается до способа поставить под сомнение достоверность таких свидетельств? Вот один тревожный урок недавнего прошлого: уничтожение репутации и доверия обходится намного дешевле, чем защита репутации.) Винер рассуждал максимально широко: «в конечном счете отсутствует различие между вооружением себя и вооружением наших врагов». Информационная эпоха – это также эпоха дезинформации.

Что тут можно поделать? Нужно переосмыслить наши приоритеты, опираясь на пристрастный, но искренний анализ Винера, Вейценбаума и других авторитетных критиков нашей технофилии. Ключевым, на мой взгляд, является оброненное почти мимоходом замечание Винера насчет машин, которые «безвредны сами по себе». Как я недавно заявил, мы создаем инструменты, а не коллег, и реальная опасность состоит в том, чтобы не видеть разницы; мы должны всячески ее подчеркивать, обозначать и отстаивать, в том числе с помощью политических и правовых инноваций.

Возможно, лучше всего удастся объяснить, что конкретно упускают из вида, указав, что сам Алан Тьюринг допустил вполне простительную и понятную ошибку, когда формулировал свой знаменитый тест. Как хорошо известно, это вариант его «игры в подражание», когда мужчина в помещении без окон, письменно общающийся с посредником, пытается убедить посредника в том, что он на самом деле женщина, а женщина, находящаяся в тех же условиях, уверяет, что это она – женщина. Тьюринг писал, что для мужчины (или для женщины, притворяющейся мужчиной) будет очень и очень непросто воспользоваться обилием знаний о том, как думает и действует противоположный пол, что он склонен одобрять или игнорировать. Конечно (дзинь!)⁵⁰, любой мужчина, способный убедительно изобразить женщину и превзойти в этом собственно женщин, окажется разумным агентом. Но Тьюринг не предвидел способности ИИ на основе глубинного обучения усваивать этот объем информации в пригодной для использования форме без необходимости понимания усвоенных сведений. Тьюринг воображал проницательного и творческого (следовательно, разумного) агента, который ловко выстраивает ответы на основе проработанной «теории» того, что женщины якобы могут делать и говорить. Если коротко, перед нами интеллектуальное планирование по принципу сверху вниз. Разумеется, Тьюринг не предполагал, что мужчина, победивший в игре в подражание, каким-то образом действительно станет женщиной; он считал, что исход игры будет определять мужское сознание. Скрытая предпосылка аргументации Тьюринга была такова: лишь сознательный, разумный агент способен разрабатывать и реализовывать выигрышную стратегию в игре в подражание. Поэтому для Тьюринга (и для других, включая меня, по-прежнему стойкого защитника теста Тьюринга) было обоснованным утверждение, что «вычислительная машина», способная имитировать человека в состязании с человеком, может и не обладать сознанием в человеческом понимании, но она должна быть сознательным агентом хоть в какой-то степени. Думаю, данная позиция до сих пор достойна защиты (единственная из многих), но следует отдавать себе отчет в том, насколько изобретательным и проницательным придется быть посреднику, чтобы разоблачить поверхностность суждений ИИ, прошедшего глубинное обучение (инструмента, а не коллеги).

Тьюринг не предвидел сверхъестественной способности сверхбыстрых компьютеров бездумно просеивать большие данные, неиссякаемым источником которых служит интернет, обнаруживая вероятностные закономерности в человеческой деятельности и используя их для формирования базы «аутентичных» допустимых ответов на практически любой вопрос потенциального посредника в игре в подражание. Винер тоже недооценивал эту способность, отмечая очевидную слабость машин в том, что они не умеют учитывать

тот огромный диапазон вероятностей, который характерен для человеческих ситуаций.

Но принятие во внимание этого диапазона вероятностей – именно та область, где новый ИИ демонстрирует поразительные успехи. Единственной брешью в доспехах ИИ оказывается это слово «огромный»; человеческие возможности, благодаря языку и культуре, которую язык порождает, поистине огромны⁵¹. Сколько бы моделей и шаблонов мы с ИИ ни выявили в потоке данных, доступных на сегодняшний день в интернете, существует гораздо больше возможностей, которые в сети никогда не фиксировались. Лишь малая (но не исчезающе малая) часть накопленной в мире мудрости, замыслов, реакций и глупости попадает в интернет, но, вероятно, наилучшей тактикой для посредника-вопрошающего при беседе с участниками теста Тьюринга будет не искать ответы, а как бы создавать их заново. ИИ в своих нынешних проявлениях паразитирует на человеческом интеллекте. Он совершенно беззастенчиво пожирает все, что сотворили люди, и извлекает образцы, которые может отыскать, включая ряд наших самых пагубных привычек⁵². Машины не располагают (пока?) целями, стратегиями и возможностями для самокритики и инноваций, которые позволили бы им выходить за пределы собственных баз данных, осмысливать собственное мышление и собственное целеполагание. Они, как говорит Винер, безвредны не потому, что закованы в кандалы или ущербны как-то иначе, а потому, что вообще не являются агентами – лишены способности «руководствоваться причинами» (как выражался Кант), им открывающимися. Важно, чтобы мы сохраняли такое положение, и это потребует некоторых усилий.

Один из недостатков книги Вейценбаума «Мощность компьютеров и человеческий разум» (я многократно и тщетно пытался переубедить Джо), заключается в том, что автор так и не пришел к выводу, какой именно из двух тезисов он отстаивает: тот, что ИИ невозможен, или тот, что ИИ возможен, но это чревато проблемами. Он хотел доказать, заодно с Джоном Серлом и Роджером Пенроузом⁵³, что «сильный ИИ» невозможен, но в пользу этого утверждения не имеется веских доводов. В конце концов, нам известно всего-навсего, как я уже отмечал, что мы суть роботы, изготовленные из роботов, изготовленных из роботов – вплоть до моторных белков⁵⁴ и прочего, без каких-либо магических ингредиентов, добавляемых к этой смеси. Другое, более значимое и полезное замечание Вейценбаума сводится к тому, что мы не должны стремиться к созданию «сильного» ИИ и нам следует проявлять чрезвычайную осторожность в отношении тех систем ИИ, которые мы можем создать и которые уже создали. Как логично предположить, обоснованный тезис гибриден: ИИ («сильный» ИИ) возможен в принципе, но нежелателен. ИИ, который возможно создать на практике, не обязательно зло – если его не принимают за «сильный» ИИ!

Разрыв между реальными современными системами и фантастическими системами, доминирующими в воображении, все еще велик, хотя многие, равно любители и профессионалы, ухитряются его недооценивать. Возьмем, к примеру, Watson⁵⁵ компании «Ай-би-эм», на данный момент вполне достойную веху эволюции искусственного интеллекта. Это итог масштабного процесса НИОКР, охватывающего многие человекостолетия программирования, и, как отмечает Джордж Черч (см. далее), система использует в тысячи раз больше энергии, чем человеческий мозг (технологическое ограничение, которое, на что справедливо указывает Черч, может быть временным). Победа системы в викторине «Jeopardy!» стала настоящим триумфом, который обеспечили формальные ограничения правил игры, но, чтобы машина могла участвовать в игре, даже эти правила пришлось подкорректировать (один из обычных компромиссов: вы отказываетесь от толики универсальности и человечности, зато получаете привлекательное для зрителей шоу). Watson – не лучший собеседник, что бы ни утверждала реклама производителя, обещающая умение поддерживать разговор, и видеть в этой системе полноценного многомерного агента – все равно что уподоблять Watson ручному калькулятору. Она может служить полезным ядром такого агента, но больше похожа на мозжечок или миндалину, чем на человеческий мозг; в лучшем случае это подсистема специального назначения, которая может оказывать значительную поддержку, но совершенно не годится для постановки целей, составления планов и осознанного усвоения и воспроизведения разговорного опыта.

Зачем нам создавать мыслящего, творческого агента из системы Watson? Возможно, блестящая идея Тьюринга с операциональным тестом заманила нас в ловушку: мы желаем сотворить хотя бы иллюзию реального человека за ширмой, проводника через «пропасть». Опасность заключается в том, что с тех самых пор, как Тьюринг сформулировал свои условия (а ведь для него задача состояла в том, чтобы в итоге обмануть посредника), разработчики ИИ пытались перекинуть через эту «пропасть» мост из этаких почти невесомых, сугубо человеческих конструкций; налицо, если угодно, своего рода диснеефикация⁵⁶, очаровывающая и обезоруживающая непосвященных. Система ELIZA Вейценбаума была первым примером такого сотворения эфемерных иллюзий, и сам ее создатель поражался и смущался той легкости, с какой его смехотворно простая программа убеждала людей, будто она способна вести серьезный разговор (собственно, именно к этому он стремился).

Вейценбаум смущался не зря. Если мы и научились чему-то на ограниченном применении теста Тьюринга в состязаниях за премию Лебнера⁵⁷, то это пониманию того, что даже очень умные люди, незнакомые с возможностями и хитростями компьютерного программирования, легко попадаются на простейшие уловки. Отношение сообщества ИИ к этим методам анализа «человеческого интерфейса» варьируется от презрения до восторга, но все сознают, что это уловки, способные, впрочем, увлекать и убеждать. Очень кстати будет следующее изменение во взглядах: нужно признать откровенно, что всевозможные преувеличения являются ложной рекламой, которую следует скорее осуждать, чем восхвалять.

Но как этого добиться? Как только мы осознаем, что люди начинают принимать решения в категории «жизнь или смерть», опираясь преимущественно на «советы» систем ИИ, работа которых скрыта от глаз и непостижима, у нас появится веская причина налагать моральную и юридическую ответственность на тех, кто каким-либо образом побуждает общество доверять этим системам больше, чем они того заслуживают. Системы ИИ суть превосходные инструменты, настолько совершенные, что даже у экспертов не найдется оснований ставить собственные суждения выше «суждений» таких систем. Но если те, кто пользуется этими инструментами, желают получить финансовую или иную выгоду от перемещений по Terra Incognita, необходимо удостовериться в том, что они знают, как использовать инструменты ответственно, с максимальным контролем и обоснованием. Лицензирующие организации – мы ведь лицензируем фармацевтов (и операторов кранов!) – и другие службы в областях, где ошибки и неверные суждения могут иметь тяжелые последствия, должны, не исключено, под давлением страховых компаний и пр., побудить разработчиков систем искусственного интеллекта тщательнейшим образом выявлять реальные и потенциальные уязвимости программ, а также обучать тех, кто приобретает права на их использование.

Можно представить себе нечто вроде обратного теста Тьюринга, когда опрашивают посредника; до тех пор пока он не обнаружит уязвимость, нечеткость ограничений, какие-то упущения и пр., лицензия на распространение не выдается. Ментальная подготовка, необходимая для работы посредника, будет обязательной. Желание продемонстрировать интенциональность, наша обычная тактика при контакте с тем, что видится нам разумным агентом, почти непреодолимо велико. Действительно, способность сопротивляться внешней привлекательности и сохранять беспристрастность – малоприятный талант, от которого отдает расизмом или, скажем так, «видизмом». Многие сочтут, что культивировать в себе безжалостный скептический подход аморально, и можно ожидать, что даже опытные пользователи будут иногда поддаваться искушению «подружиться» с системами-инструментами, хотя бы для того, чтобы избавиться от дискомфорта при исполнении обязанностей. Сколь бы скрупулезно проектировщики ИИ ни устраняли фальшивые «человеческие» признаки из своих творений, можно ожидать возникновения новых привычек мышления, разговорных уловок, хитростей и блефа в этой новой области человеческой деятельности. Комично длинные списки известных побочных эффектов для новых лекарств, рекламируемых по телевидению, покажутся мелочью в сравнении с обязательными «разоблачениями», на которые не найдется ответов у разработчиков конкретных систем, и солидные штрафы будут уготованы тем, кто решит пропустить «мелкие недочеты» своих продуктов. Общепризнано, что в значительной степени растущее экономическое неравенство в современном мире обусловлено богатством, накопленным цифровыми предпринимателями; мы должны принять законы, которые заставят их опустошать свои глубокие карманы ради общественного блага. Некоторые обладатели глубоких (глубочайших, к слову) карманов добровольно берут на себя такие обязательства – служить в первую очередь обществу, а уж потом зарабатывать деньги, – но нельзя полагаться исключительно на добрую волю.

Нам не нужны искусственные сознательные агенты. Налицо избыток естественных сознательных агентов, достаточный для решения любых задач, которые подлежат резервированию как прерогатива этих особых, привилегированных сущностей. Нам нужны интеллектуальные инструменты. Инструменты лишены прав и не должны испытывать чувства, которые возможно задеть, или обижаться на «злоупотребления» со стороны неумелых пользователей⁵⁸. Одна из причин отказаться от создания искусственных сознательных агентов заключается в том, что, какими бы автономными они ни были (в принципе они способны на автономию, самосовершенствование и самосотворение в той же степени, что и человек), они не смогут – без специальной подготовки, которой можно воспрепятствовать, – разделить с нами, то есть с естественными сознательными агентами, нашу уязвимость и смертность.

Однажды на университетском семинаре, который мы с Матиасом Шойцем вели по искусственным агентам и автономии, я предложил студентам: опишите технические характеристики робота, который заключит с вами обязательный к исполнению контракт – не как суррогат человека-владельца, а самостоятельно. Дело не в том, чтобы обучить робота пониманию юридических тонкостей или умению водить ручкой по листу бумаги, а в том, чтобы он заслуженно обрел правовой статус морально ответственного агента. Маленькие дети не могут подписывать договоры, равно как и те инвалиды, чей правовой статус требует опеки и ответственности сторонних лиц. Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? Тюремная камера или, если уж на то пошло, принудительная разборка? Камера едва ли доставит неудобства ИИ, если не внедрить в него изначально wanderlust⁵⁹, которую искусственный интеллект не сможет игнорировать или отключать самостоятельно (с системной точки зрения это будет непросто, учитывая предположительное всеведение и самопознание ИИ); а демонтаж системы, будь то робот или стационарный агент наподобие Watson, не покончит с ней, если сохранится информация в ее конструкции и программном обеспечении. Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости (по крайней мере, это касается обычно воображаемых роботов с цифровым программным обеспечением и памятью). Если вы не уверены в этом, задумайтесь о человеческой морали: как она изменится, скажем, будь у нас возможность изготавливать «резервные копии» людей каждую неделю. В субботу прыгаем головой вниз с высокого моста без страховки – это же мелочь, о которой можно не вспоминать в пятницу вечером, ибо в воскресенье утром онлайн доступна пятничная резервная копия, которая и наслаждается видеозаписью вашей субботней кончины.

Следовательно, мы создаем не сознательных человекоподобных агентов (их мы не должны создавать), а совершенно новый вид сущностей, нечто вроде оракулов, лишенных совести и страха смерти, не отвлекающихся на любовь и ненависть, не обладающих личностью (но со всеми фобиями и причудами, которые, без сомнения, станут трактовать как «личность» системы). Это своего рода «ящики истины» (если нам повезет), почти наверняка содержащие в своих базах данных россыпи лжи. Будет довольно трудно научиться жить рядом с ними, не отвлекаясь на фантазии о «сингулярности», в которых ИИ порабощает человечество в реальности. Человеческое применение человеческих существ в скором времени изменится – снова – навсегда, но мы в состоянии встать у руля и направить наш корабль мимо хотя бы некоторых опасностей, если возьмем на себя ответственность за траекторию движения.

Глава 6
Нечеловеческая ловушка, в которую нас завлекли машины

Родни Брукс

ученый-компьютерщик, стипендиат и почетный профессор робототехники в МТИ, бывший директор Лаборатории компьютерных наук МТИ, основатель, председатель совета директоров и технический директор компании «Rethink Robotics», автор книги «Плоть и машины».

РобототехникРодни Бруксоказался одним из героев документального фильма Эррола Морриса «Быстро, дешево и бесконтрольно» (1997), а компанию ему составили укротитель львов, топиарист и эксперт по голым землекопам⁶⁰; некий рецензент отметил, что «его улыбка сочеталась с диким блеском в глазах». Пожалуй, то же самое можно сказать о большинстве провидцев.

Несколько лет спустя Брукс, как и подобало одному из ведущих робототехников мира, заявил, что «мы чрезмерно антропоморфизируем людей, которые, если уж на то пошло, являются элементарными машинами». Далее он принялся рисовать светлые перспективы пришествия ИИ и предрек, что «различие между нами и роботами постепенно исчезнет». При этом он отчасти признал наличие у себя двух мировоззрений. «Будучи ученым и человеком религиозным, я придерживаюсь одновременно двух противоречивых убеждений и обращаюсь к тому или другому в разных обстоятельствах, – писал он. – Такая взаимопроницаемость между системами убеждений, как мне кажется, позволит человечеству в конечном счете воспринять роботов как машины, наделенные эмоциями, начать им сочувствовать и обнаружить у них свободу воли, относиться к ним с уважением и в конце концов признать их права».

Эти слова прозвучали в 2002 году. В нижеследующем очерке Брукс излагает чуть более пристрастный и более узкий взгляд; его беспокоит наше стремление полагаться на компьютерные системы, которые активно эксплуатируются – и которые становятся все уязвимее вследствие чересчур быстрого развития программной инженерии; по его мнению, прогресс в этой области заметно опережает внедрение надежных и эффективных методов защиты.

Поле зрения математиков и других ученых, когда мы говорим об общей картине за пределами конкретной специальности, часто ограничено инструментами и метафорами, которые они используют в своей работе. Норберт Винер здесь не исключение; смело могу допустить, что я таковым тоже не являюсь.

Когда Винер работал над «Человеческим применением человеческих существ», завершалась эпоха восприятия машин и животных просто как совокупностей физических процессов – и начиналась нынешняя эпоха понимания машин и животных как совокупностей вычислительных процессов. Подозреваю, что в будущем, в новые эпохи, неведомые нам инструменты будут настолько же отличаться от наших, насколько инструменты двух винеровсих эпох отличались друг от друга.

Винер был «гигантом мысли» первой из указанных эпох и опирался на инструменты, восходящие к Ньютону и Лейбницу и предназначенные для описания и анализа непрерывных процессов в физическом мире. В 1948 году он опубликовал работу «Кибернетика» и под этим словом подразумевал науку об управлении и связи у машин и животных. Сегодня мы трактуем идеи этой книги как теорию управления, обязательную дисциплину для проектирования и анализа физических машин, но в то же время пренебрегаем, как правило, мыслями Винера относительно коммуникации. Теории Винера многим обязаны его практическому опыту в годы Второй мировой войны, когда он разрабатывал систему наведения зенитных орудий. Он привнес математическую строгость в разработку технологий, процессы проектирования которых оставались в значительной степени эвристическими по своему характеру: речь о технологиях, если вспоминать историю, от римских гидротехнических сооружений до парового двигателя Уатта и до первых автомобилей.

Можно вообразить иную версию нашей интеллектуальной и технологической истории, допустив, что никогда не рождались Алан Тьюринг и Джон фон Нейман, оба внесшие немалый вклад в развитие вычислительной техники. Тьюринг описал фундаментальную модель вычислений – ныне известную как машина Тьюринга – в своей статье «О вычислимых числах в приложении к Entscheidungsproblem⁶¹», написанной и переработанной в 1936 году, а опубликованной год спустя. В такой машине линейная последовательность символов конечного алфавита кодирует исходные условия вычислительной задачи и обеспечивает рабочее пространство вычислений. Для каждой отдельной вычислительной задачи необходима своя машина; позднее было доказано, уже другими, что возможно закодировать в одной конкретной машине, ныне известной как универсальная машина Тьюринга, произвольный набор вычислительных инструкций с использованием той же последовательности символов.

Джон фон Нейман в 1940-х годах разработал абстрактную самовоспроизводящуюся машину, которую назвал клеточным автоматом. Предполагается, что она занимает конечное подмножество бесконечного двумерного массива квадратов, каждый из которых содержит отдельный символ конечного алфавита из двадцати девяти различных символов, а остальная часть бесконечного массива изначально пуста. Отдельные символы в каждом квадрате изменяются взаимосвязанно согласно сложному, но конечному правилу для символа в конкретном квадрате и его ближайших соседях. В соответствии со сложным правилом, разработанным фон Нейманом, большинство символов в большинстве квадратов остаются неизменными, лишь некоторые изменяются на каждом этапе процесса. Поэтому при взгляде на заполненные квадраты выясняется, что имеется постоянная структура с какой-то активностью внутри нее. Когда абстрактная машина фон Неймана воспроизводится, она копирует себя в другую область пространства. Внутри «машины» имеется горизонтальная линия квадратов, конечная линейная последовательность, основанная на подмножестве символов конечного алфавита. Именно символы в этих квадратах кодировали машину, частью которой они являлись. При воспроизведении последовательность могла сдвигаться влево или вправо, что трактовалось (интерпретировалось) как инструкция (перевод инструкции) для новой «машины», которая создавалась, а затем копировалась (реплицировалась); новая копия помещалась внутрь новой машины для дальнейшего воспроизведения. Фрэнсис Крик и Джеймс Уотсон⁶² продемонстрировали в 1953 году, что подобную последовательность можно воссоздать биологически в длинной молекуле ДНК с конечным алфавитом из четырех нуклеотидов – гуанина, цитозина, аденина и тимина (G, C, A и T)⁶³. Как и в машине фон Неймана, при биологическом воспроизведении линейная последовательность символов в ДНК интерпретируется – посредством транскрипции в молекулы РНК, которые затем транслируются в белки, то есть в структуры, творящие новую клетку, – а ДНК реплицируется и инкапсулируется в новой клетке.

Второе прозрение фон Неймана содержалось в статье «Первый черновик» (1945) о разработке цифрового компьютера: здесь автор ратовал за компьютерную память, которая способна содержать инструкции и данные одновременно⁶⁴. Ныне мы говорим о машинах с архитектурой фон Неймана, противопоставляя их машинам с гарвардской архитектурой, где наличествуют две отдельные памяти – для инструкций и для данных. Подавляющее большинство компьютерных чипов, созданных в эпоху действия закона Мура, основано на архитектуре фон Неймана, включая и те, которые используются в центрах обработки данных, ноутбуках и смартфонах. Цифровая компьютерная архитектура фон Неймана концептуально представляет собой то же самое обобщение – плод эволюции ранних цифровых компьютеров на базе электромагнитных реле в Гарвардском университете и в Блетчли-парке⁶⁵, – которое формируется при переходе от специализированной машины Тьюринга к универсальной машине Тьюринга. Кроме того, самовоспроизводящиеся автоматы фон Неймана принципиально схожи по конструкции с машиной Тьюринга и с механизмом размножения биологических клеток на основе ДНК. По сей день ученые спорят о том, осознавал ли фон Нейман это фундаментальное сходство между трудами Тьюринга и своими прозрениями. Тьюринг переработал свою концепцию, когда они с фон Нейманом оба подвизались в Принстоне; более того, после получения докторской степени Тьюринг едва не подался в сотрудники фон Неймана.

Без Тьюринга и фон Неймана кибернетика Винера могла бы главенствовать в мышлении и оставаться движущей силой развития технологий намного дольше, чем это произошло в реальности, где она пережила краткий миг торжества. В воображаемой версии истории мы вполне могли бы жить сегодня в мире стимпанка⁶⁶, а не просто наблюдать его фантастические воплощения на Maker Faires!⁶⁷

Все сказанное означает, что Винер думал о мире – физическом, биологическом и (в «Человеческом применении») социальном – совершенно особым образом. Он анализировал мир как непрерывность переменных, что сам объяснял в главе 1, ссылаясь на термодинамику и статистику Гиббса⁶⁸. Еще он предложил слабую и неубедительную модель информации как обмена сообщениями между физическими и биологическими сущностями. На мой взгляд, спустя семьдесят лет эволюции эти идеи и модели выглядят прискорбно непригодными для описания механизмов, лежащих в основе биологических систем, а вдобавок он не задумывался о том, каким образом подобные механизмы могут в конечном счете быть воплощены в технологических вычислительных системах, что происходит сегодня. Нынешние доминирующие технологии разрабатываются в мире Тьюринга и фон Неймана, а не в мире Винера.

В ходе первой промышленной революции люди научились использовать энергию пара и вращение водяного колеса вместо грубой физической силы. Вместо того чтобы и дальше обращаться к последней, люди сделались модуляторами, контролирующими использование сторонней энергии. Но поскольку паровые двигатели и водяные колеса по необходимости имели большие размеры, чтобы работать эффективно, и поскольку в XVIII столетии единственной технологией для пространственного распределения энергии было механическое перемещение на чрезвычайно малые расстояния, приходилось привлекать к процессу множество работников. Винер правильно отмечал, что именно возможность передачи энергии в форме электричества вызвала вторую промышленную революцию. Теперь источник энергии мог находиться далеко от места применения, и с начала XX столетия производство рассредотачивалось благодаря распространению распределенных электросетей.

Далее Винер утверждал, что очередная новая технология, на сей раз в виде зарождающейся вычислительной техники его времени, приведет к новой революции. Машины, о которых он писал, выглядят аналоговыми и (возможно) цифровыми по своим параметрам; в «Человеческом применении человеческих существ» он указывал, что, поскольку такие машины способны принимать важные решения, синие и белые воротнички⁶⁹ со временем рискуют превратиться в винтики гораздо более крупной машины. Он опасался, что люди начнут эксплуатировать и изводить друг друга при посредстве организационных структур, которые породит эта способность машин. Мы воочию наблюдали происходящее в последние шестьдесят лет, и процесс «завинчивания» еще далек от завершения.

Впрочем, приверженность физике не позволила Винеру предугадать, насколько плохо все может оказаться. Он воспринимал способность машин к общению как новый, менее человечный, если угодно, способ управления и контроля. Он не предполагал, что всего за несколько десятилетий вычислительные системы сделаются чрезвычайно схожими с биологическими системами, и, судя по описанию в главе 10 его книги, где обсуждаются его собственные опыты моделирования ряда биологических ситуаций, он, к сожалению, сильно недооценивал сложность биологии в сравнении с физикой. Сегодня мы находимся в гораздо более сложном положении, чем рисовалось Винеру, и лично меня беспокоит, что это положение кажется намного отчаяннее его худших воображаемых страхов.

В 1960-х годах вычисления развивались в русле, «прорытом» Тьюрингом и фон Нейманом; эти цифровые вычисления опирались на идею конечного алфавита символов, важную для обоих ученых. Последовательность или строка произвольной длины, образованная символами конечного алфавита, может быть закодирована как уникальное целое число. Формализм вычислений, как и в случае самих машин Тьюринга, стал формализмом вычисления целочисленной функции единичного целочисленного входа.

Тьюринг и фон Нейман ушли из жизни в 1950-е годы, и вот как они в ту пору рассматривали вычисления и компьютеры. Никто не предвидел экспоненциальный рост вычислительных возможностей по закону Мура или стремительное распространение вычислительного оборудования. Также они не предвидели двух новшеств в нашем моделировании вычислений, каждое из которых представляет немалую угрозу для человеческого общества.

Первое связано с теми самыми абстракциями, от которых отталкивались Тьюринг и фон Нейман. Пятидесятилетнее, подгоняемое законом Мура состязание в производстве программного обеспечения, которое учитывало бы удвоение мощности компьютеров каждые два года (по сути, типичная инженерная деятельность), оказалось отодвинутым на второй план. Разработка программного обеспечения велась быстро и провоцировала ошибки. Эта ускоренная разработка программного обеспечения вне стандартов качества позволила обнаружить множество способов использования хранилища данных и инструкций в архитектуре фон Неймана (в одной и той же памяти). Среди наиболее распространенных способов можно отметить «переполнение буфера», когда число на входе (или длинная строка символов) больше, чем ожидал программист, и «перетекает» в область хранения инструкций. Намеренно задавая входное число намного больше, некто с помощью соответствующего программного обеспечения может внедрить в компьютер сторонние инструкции и тем самым изменить его функционирование. Вот фундамент разработки компьютерных вирусов, названных так из-за сходства с биологическими вирусами. Последние внедряют в клетку дополнительную ДНК, и механизм транскрипции и трансляции клетки слепо интерпретирует новые данные, творя белки, которые могут нанести урон клетке-хозяину. Кроме того, клеточный механизм репликации обеспечивает размножение вируса. Так малая чужеродная сущность может взять под контроль гораздо большую сущность и заставить ту неожиданно изменить свое поведение.

Эти и прочие формы цифровых атак лишили нашу повседневную жизнь былой безопасности. Ведь мы полагаемся на компьютеры практически во всем. Мы передали им управление инфраструктурой (электричество, газ, дороги, автомобили, поезда, самолеты), а инфраструктура теперь уязвима. Мы полагаемся на компьютеры в банковских операциях, в оплате счетов, накоплении пенсий, ипотеке, при покупке товаров и услуг – и опять-таки рискуем. Мы полагаемся на компьютеры в наших развлечениях, наших коммуникациях, деловых и личных, в обеспечении физической безопасности, в получении информации о мире и на выборах; все это сегодня далеко не безопасно. В ближайшем будущем исправить ситуацию вряд ли получится. Между тем многие сферы нашего общества остаются уязвимыми для атак – со стороны обычных преступников и со стороны враждебных государств.

Второе новшество заключается в том, что вычисления оставили далеко позади рамки вычислительных функций. Вместо этого программы постоянно находятся онлайн и могут собирать данные о последовательностях запросов. В соответствии со схемой Винера / Тьюринга / фон Неймана мы могли думать, что шаблон коммуникации для веб-браузера будет следующим:

Пользователь:Покажи мне веб-страницу А.

Браузер:Вот веб-страница А.

Пользователь:Покажи мне веб-страницу Б.

Браузер:Вот веб-страница Б.

Ныне же все может выглядеть так:

Пользователь:Покажи мне веб-страницу А.

Браузер:Вот веб-страница А. [И я запомню, что ты хотел увидеть веб-страницу А.]

Пользователь:Покажи мне веб-страницу Б.

Браузер:Вот веб-страница B. [Я вижу корреляцию между ее содержанием и содержанием ранее запрошенной веб-страницы A, поэтому обновляю свою модель твоего поведения и передаю ее в компанию, которая меня изготовила.]

Когда машина перестает просто вычислять функции, а начинает вместо этого фиксировать состояния, она может приступить к формулировке выводов о человеке на основании последовательностей запросов, ей задаваемых. Когда разные программы устанавливают корреляции между разными потоками запросов – скажем, сопоставляют поиск в интернете с сообщениями пользователя в социальных сетях, оплатой каких-то покупок или временем на просмотр конкретной рекламы, а также с местонахождением пользователя (благодаря смартфонам с поддержкой GPS), – тогда совокупность сведений, доступных многим программам, которые взаимодействуют друг с другом и с базами данных, оборачивается совершенно неожиданной утратой конфиденциальности. Громадный скачок в технологическом развитии множества компаний Западного побережья⁷⁰ объясняется тем, что они принялись монетизировать эти сведения без ведома пользователей, взаимодействующих с вычислительными платформами.

Винер, Тьюринг и фон Нейман не могли предвидеть, сколь сложными сделаются эти платформы, которыми люди охотно пользуются, не обращая внимания на юридическую абракадабру пользовательских соглашений и нисколько не подозревая, на что дают согласие; тем самым они добровольно отказываются от прав, которыми никогда бы не пренебрегли в общении один на один с другим человеком. Эти вычислительные платформы стали щитом, из-за которого отдельные корпорации бесчеловечно эксплуатируют людей. В ряде стран сами правительства поддерживают такие манипуляции, причем целью является не прибыль, а подавление инакомыслия.

Человечество угодило в любопытную ловушку: нас эксплуатируют компании, как ни парадоксально, предоставляющие услуги, которые нам нужны, и в то же время наша жизнь зависит от множества программных систем, уязвимых перед нападением. Вырваться из этой ловушки – вот наш долгосрочный план. Нам понадобятся технологии, законотворчество и, самое главное, моральное лидерство. Но последнее является, увы, наиболее серьезной проблемой.