Kitabı oxu: «История нейросетей»

ИСТОРИЯ НЕЙРОСЕТЕЙ

80 лет ошибок, открытий и невероятного упорства. Как идея мыслящей машины изменила мир

ПРОЛОГ
Нейросети как бамбук

Представь себе человека, который решил вырастить бамбук. Он купил саженец, выбрал подходящее место в саду, подготовил землю и принялся ухаживать за растением. Каждое утро выходил с лейкой, поливал, проверял почву, убирал сорняки. И ждал.

Прошёл месяц, но ничего особенного не произошло. Минуло ещё несколько месяцев, а заметных перемен по-прежнему не было.

Однажды сосед заглянул через забор.

— Ну как твой бамбук?

— Растёт.

Сосед внимательно посмотрел на землю.

— Где?

— Пока не очень заметно.

— Понятно, — протянул сосед. — То есть не растёт.

И ушёл.

Но садовод продолжал работать. Он верил, что не всё важное происходит на поверхности. Иногда сначала нужно укрепить корни, набраться сил и только потом показать результат.

Прошло ещё какое-то время. Сосед снова появился у забора и с любопытством спросил:

— Слушай, ты всё ещё занимаешься этим бамбуком?

— Да.

— А может, лучше картошку посадишь? Её хотя бы видно.

Садовод улыбнулся.

— Посмотрим.

И продолжил ухаживать за растением.

А однажды над землёй появились новые побеги. Сначала совсем маленькие, затем всё выше и выше. Постепенно там, где сосед так долго не замечал ничего интересного, начала подниматься целая бамбуковая роща.

Сосед стоял у забора и удивлённо разглядывал зелёные стебли.

— Надо же! А я думал, у тебя ничего не получится.

— Просто ты видел только то, что происходило над землёй, — ответил садовод.

История нейросетей удивительно напоминает эту притчу.

Сегодня мы открываем приложение, пишем несколько слов и получаем ответ. Просим искусственный интеллект нарисовать картинку — и через некоторое время видим готовое изображение. Задаём вопрос — и машина объясняет сложную тему, помогает составить письмо, придумать рецепт или разобраться с программным кодом.

Всё это выглядит так, будто искусственный интеллект появился совсем недавно. Словно ещё вчера компьютеры только выполняли команды, а сегодня внезапно научились разговаривать.

Но это иллюзия.

У современных нейросетей очень длинная история. История идей, которые десятилетиями развивались почти незаметно для широкой публики. Научных споров, неудачных экспериментов, громких обещаний и разочарований. И, конечно, людей, которые продолжали работать даже тогда, когда окружающим казалось, что перспектив у их исследований немного.

Первые важные шаги в математическом описании искусственных нейронов были сделаны ещё в 1943 году.

Только представь эту дату. Вторая мировая война ещё продолжается. Электронные вычислительные машины лишь начинают появляться, а компьютеров в привычном нам виде пока не существует. Ни смартфонов, ни интернета, ни приложений. И уж точно никто не просит нейросеть написать поздравление для коллеги или придумать меню на неделю.

Именно в этом мире два исследователя — Уоррен Маккаллок и Уолтер Питтс — публикуют научную работу, в которой предлагают математическую модель нейрона.

Они не создают современный искусственный интеллект, не обучают машину разговаривать и, разумеется, не изобретают ChatGPT. Но закладывают одну из важных интеллектуальных основ будущих нейронных сетей.

А дальше начинается история, которая растянется на десятилетия.

Появятся первые обучающиеся модели. Исследователи будут с воодушевлением говорить о машинах, способных мыслить, и надеяться, что до осуществления этой мечты осталось совсем немного. Затем наступят периоды разочарования, когда интерес к искусственному интеллекту заметно ослабнет, а финансирование некоторых исследований сократится.

Одни идеи окажутся слишком смелыми для своего времени. Другие столкнутся с ограничениями вычислительной техники. Третьи будут ждать своего часа, пока не появятся подходящие алгоритмы, большие массивы данных и достаточно мощные компьютеры.

И всё это время учёные продолжат работать.

Они будут экспериментировать с математическими моделями, искать новые способы обучения, спорить о возможностях искусственного интеллекта и пытаться решить задачи, которые человеческий мозг выполняет почти незаметно для нас самих.

А затем наступит 2012 год.

Глубокие нейронные сети продемонстрируют впечатляющие результаты в распознавании изображений. Компьютеры начнут значительно успешнее справляться с задачами, которые ещё недавно казались чрезвычайно трудными.

Следующая важная дата — 2017 год. Исследователи представят архитектуру, известную как трансформер. Впоследствии она станет основой многих мощных языковых моделей и заметно повлияет на развитие искусственного интеллекта.

И наконец, 30 ноября 2022 года появится ChatGPT. Разговор с большой языковой моделью станет доступен широкой публике через простой диалоговый интерфейс. Для общения с машиной больше не потребуется быть программистом или специалистом по компьютерным технологиям. Достаточно будет написать вопрос обычными словами.

Именно тогда многим покажется, что искусственный интеллект возник внезапно. Словно ещё вчера его не было, а сегодня он уже умеет писать тексты, объяснять сложные понятия и поддерживать беседу.

Как бамбук, который неожиданно вырос над землёй.

Но его корни уходили глубоко в прошлое.

Правда, прежде чем отправиться в это путешествие, нам нужно разобраться с одной важной тонкостью. Когда мы говорим «искусственный интеллект», «машинное обучение» и «нейросети», речь идёт о связанных, но не одинаковых понятиях.

Искусственный интеллект — широкая область исследований и технологий, объединяющая различные способы создания систем, способных решать задачи, для которых обычно требуются интеллектуальные способности.

Машинное обучение — одно из направлений искусственного интеллекта. Его основная идея заключается в том, чтобы создавать системы, которые выявляют закономерности в данных и используют их для выполнения определённых задач.

А искусственные нейронные сети — один из классов моделей, применяемых в машинном обучении. Они состоят из взаимосвязанных вычислительных элементов и могут настраивать свои параметры в процессе обучения.

Получается, что не каждый искусственный интеллект обязательно является нейросетью. И уж тем более не каждая нейросеть умеет разговаривать.

Одни модели распознают изображения, другие помогают анализировать данные, третьи работают со звуком или используются в научных исследованиях. А определённые виды нейросетей способны генерировать тексты и поддерживать диалог на человеческом языке.

Все эти технологии входят в большую историю развития вычислительных методов, связанных с обработкой информации, распознаванием закономерностей и обучением.

Именно эту историю мы и попробуем понять.

Без сложных формул, без необходимости становиться программистом и без обещаний, что после прочтения книги ты сможешь самостоятельно собрать искусственный мозг на кухне.

Хотя, если вдруг получится, пожалуйста, не забудь проверить, выключил ли он плиту.

Но зачем вообще знать историю нейросетей? Разве недостаточно просто пользоваться ими?

Ведь можно ездить на автомобиле и не знать, кто изобрёл двигатель внутреннего сгорания. Можно пользоваться интернетом, не разбираясь в устройстве компьютерных сетей. И можно каждое утро готовить кофе, совершенно не интересуясь историей кофейных плантаций.

Конечно, можно.

Но история помогает увидеть то, что скрывается за привычными вещами. Когда понимаешь, сколько ошибок, открытий и человеческих усилий предшествовало появлению современной технологии, начинаешь относиться к ней иначе.

В ней становится меньше магии и больше понятного смысла. Меньше необоснованного страха, но одновременно и меньше слепой веры в её возможности.

Потому что нейросети — не волшебные существа, которым известны все ответы на свете. Это сложные вычислительные системы, и даже самые совершенные из них могут ошибаться. Причём иногда настолько убедительно, что неправильный ответ выглядит вполне достоверным.

Модели способны создавать правдоподобные, но неверные утверждения, воспроизводить недостатки данных, на которых обучались, и выдавать результаты, причины которых бывает непросто объяснить.

Поэтому разумное использование искусственного интеллекта предполагает не только восхищение его возможностями, но и понимание ограничений.

И здесь история оказывается особенно полезной.

Она показывает, что современные нейросети не возникли по волшебству. За ними стоят десятилетия исследований, множество разных подходов и целая череда открытий, каждое из которых приближало учёных к новым возможностям.

Но история нейросетей — это не только рассказ о технологиях.

Это ещё и история человеческого упорства.

О людях, которые задавали необычные вопросы, предлагали смелые идеи и продолжали работать, даже когда результаты не оправдывали ожиданий.

О том, как научные открытия иногда опережают своё время.

И о том, почему неудача сегодня совсем не обязательно означает отсутствие перспектив завтра.

Поэтому давай вернёмся в прошлое — в мир, где компьютеры ещё не стали привычной частью повседневной жизни, а идея искусственного нейрона выглядела смелой научной гипотезой.

В мир, где никто пока не подозревал, что однажды миллионы людей будут спрашивать у машины:

— Что приготовить на ужин из двух яиц, половины помидора и чего-то подозрительного в холодильнике?

И получать вполне серьёзные кулинарные рекомендации.

Наша история начинается в 1943 году.

ГЛАВА 1

Когда человек решил повторить собственный мозг

Или как несколько математических формул положили начало одной из самых удивительных технологий современности

Всё началось с необычного вопроса

Представь, что ты живёшь в первой половине XX века. Компьютеров в привычном нам виде практически нет, телевизоры ещё не стали обычным предметом домашнего обихода, до появления интернета остаются десятилетия, а мобильный телефон выглядит как устройство из научной фантастики.

И вот в этом мире кто-то задаёт необычный вопрос: а можно ли создать математическую модель работы человеческого мозга?

На первый взгляд идея кажется странной. Мозг ведь невероятно сложен. Благодаря ему мы видим и слышим, запоминаем информацию, разговариваем, принимаем решения, мечтаем, боимся и любим. А ещё иногда тратим три часа на выбор фильма, чтобы в итоге лечь спать, так ничего и не посмотрев.

Как всё это можно описать с помощью математики?

Но именно подобные вопросы интересовали исследователей, стоявших у истоков искусственных нейронных сетей. Они не пытались сразу создать полноценный искусственный мозг. Для начала их занимала гораздо более скромная задача: можно ли представить отдельный нейрон как элемент, выполняющий определённую логическую операцию? И что произойдёт, если соединить множество таких элементов в сеть?

Сегодня эти вопросы кажутся вполне естественными. Но в 1940-е годы они открывали новое направление исследований, которое впоследствии окажет огромное влияние на развитие вычислительной техники.

1943 год. Два человека и математический нейрон

В 1943 году американский нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс опубликовали научную статью с названием, которое вряд ли стало бы бестселлером в обычном книжном магазине: A Logical Calculus of the Ideas Immanent in Nervous Activity.

В приблизительном переводе — «Логическое исчисление идей, присущих нервной деятельности».

Звучит серьёзно. Настолько серьёзно, что хочется сразу поставить чашку кофе на стол и сделать вид, будто ты всё понял.

Однако главная идея исследования была довольно изящной.

Маккаллок и Питтс предложили математическую модель, в которой искусственный нейрон получает входные сигналы и формирует результат в зависимости от определённых условий. В простейшем представлении такой элемент может находиться в одном из двух состояний: активном или неактивном. Если говорить языком математики — единица или ноль.

Разумеется, это не означает, что настоящий биологический нейрон устроен настолько просто. Реальные нервные клетки обладают сложными электрическими и химическими свойствами, взаимодействуют с другими клетками и участвуют в многочисленных процессах нервной системы.

Но для создания математической модели иногда полезно временно отбросить часть сложности и сосредоточиться на одном принципе.

Представь обычный выключатель. Ты нажимаешь на него — свет включается. Нажимаешь снова — выключается. А теперь вообрази устройство, которое включает свет только при выполнении определённых условий. Например, если одновременно нажаты две кнопки или если нажата хотя бы одна из них.

Это уже напоминает логические операции.

Именно такие идеи помогали показать, что сети простых вычислительных элементов могут выполнять определённые логические функции. Конечно, из этого ещё не следовало, что подобная сеть способна мыслить. Но возникал важный мост между исследованиями нервной системы и математической логикой.

А это уже было серьёзным достижением.

Мозг — не компьютер. Но аналогия оказалась полезной

Здесь важно избежать распространённой ловушки.

Когда говорят, что нейросети «повторяют работу мозга», легко представить, будто внутри компьютера действительно существует маленький электронный мозг. С нейронами, мыслями, воспоминаниями и собственным мнением о погоде.

Но это не так.

Искусственные нейронные сети вдохновлены некоторыми идеями, связанными с обработкой информации в нервной системе. Однако они не являются точными копиями человеческого мозга. Даже современные модели, содержащие огромное количество параметров, устроены и обучаются иначе, чем биологические нейронные системы.

Сравнение с мозгом полезно, но только до определённого момента.

Например, человек веками мечтал летать, наблюдая за птицами. Однако современный пассажирский самолёт не машет крыльями и не пытается построить гнездо перед каждым рейсом.

Так и с нейросетями. Они используют некоторые общие идеи обработки сигналов и адаптации, но не обязаны воспроизводить биологию во всех подробностях.

Поэтому правильнее говорить не о копировании мозга, а о создании вычислительных моделей, частично вдохновлённых нейробиологией.

Впрочем, согласись, выражение «искусственный мозг» звучит гораздо эффектнее. Особенно в газетном заголовке.

Алан Тьюринг: может ли машина мыслить?

Теперь перенесёмся в 1950 год.

К этому времени британский математик Алан Тьюринг уже внёс огромный вклад в развитие теории вычислений. Его исследования помогли сформировать фундамент современной информатики, а во время Второй мировой войны он участвовал в британских работах по криптоанализу.

Но для нашей истории особенно важна другая его работа.

В 1950 году Тьюринг опубликовал статью Computing Machinery and Intelligence, которая начиналась с вопроса, до сих пор вызывающего споры:

«Могут ли машины мыслить?»

Тьюринг понимал, что прежде чем отвечать, необходимо разобраться с самими понятиями «машина» и «мышление». А это совсем не просто. Ведь люди до сих пор не пришли к единому мнению о том, что именно следует считать интеллектом.

Поэтому исследователь предложил рассмотреть другую задачу. Вместо попытки дать окончательное определение мышлению можно изучать, насколько убедительно машина способна вести себя в определённой ситуации общения.

Так появилась знаменитая имитационная игра. Позднее связанные с ней идеи стали широко известны под названием «тест Тьюринга».

Представь, что человек общается с двумя невидимыми собеседниками посредством текстовых сообщений. Один из них — человек, другой — машина. Задача участника заключается в том, чтобы определить, кто есть кто.

Если машина способна достаточно убедительно имитировать человеческое общение, возникает интересный вопрос: что это говорит о её интеллектуальных возможностях?

Но здесь необходимо сделать важное уточнение. Тьюринг не предложил универсальный прибор для измерения сознания. И успешное прохождение подобного испытания само по себе не доказывает, что у машины есть субъективные переживания.

Речь шла о способе обсуждать и исследовать машинное поведение.

И всё же сама постановка вопроса оказалась чрезвычайно влиятельной. Она заставила исследователей задуматься не только о вычислениях, но и о языке, общении, обучении и границах машинного интеллекта.

Кстати, если бы Тьюринг увидел современную языковую модель, ему наверняка нашлось бы что обсудить с её разработчиками.

Хотя, возможно, сначала он попросил бы машину решить какую-нибудь интересную математическую задачу. А потом тщательно проверил ответ.

Что, между прочим, было бы весьма разумно.

1956 год. Искусственный интеллект получает имя

Представь группу исследователей, которые собираются обсудить необычную идею: можно ли создать машины, способные выполнять интеллектуальные задачи?

Не просто производить вычисления или хранить информацию, а работать с языком, решать проблемы, формировать абстракции, обучаться и выполнять другие действия, которые люди связывают с интеллектом.

Сегодня подобные разговоры никого не удивляют. Но в середине 1950-х годов они звучали весьма смело.

В августе 1955 года Джон Маккарти, Марвин Минский, Натаниэль Рочестер и Клод Шеннон подготовили предложение о проведении летнего исследовательского проекта. Именно в этом документе использовалось выражение artificial intelligence — «искусственный интеллект».

Летом 1956 года в Дартмутском колледже состоялась исследовательская встреча, которая впоследствии стала одним из символических моментов рождения искусственного интеллекта как самостоятельной научной области.

Разумеется, это не означает, что до 1956 года никто не размышлял о разумных машинах. Подобные идеи существовали гораздо раньше. Но именно в этот период они начали оформляться в отдельную исследовательскую программу.

И у неё появилось название.

Искусственный интеллект.

Признайся, звучит впечатляюще. Гораздо интереснее, чем, например, «разработка вычислительных методов для решения задач, связанных с некоторыми аспектами интеллектуальной деятельности».

Хотя второй вариант, возможно, был бы осторожнее.

Но научные направления тоже нуждаются в хороших названиях. И в этом смысле исследователям определённо повезло.

Два пути к одной мечте

После оформления искусственного интеллекта как исследовательской области перед учёными открылось множество направлений. Для нашей истории особенно важны два подхода.

Первый заключался в попытке описать знания и правила рассуждений в явном виде. Второй предполагал создание систем, которые могут изменять своё поведение на основе примеров и опыта.

Условно говоря, первый подход задавал вопрос: «Какие правила нужно сообщить машине, чтобы она решила задачу?»

А второй спрашивал: «Как сделать так, чтобы машина сама научилась находить полезные закономерности?»

Представь, что ты учишь ребёнка отличать кошку от собаки.

Можно попробовать составить подробные правила: у кошки обычно такие уши, такая форма морды и определённые особенности движения. Но довольно быстро выяснится, что реальные животные не всегда соответствуют простым описаниям.

Есть маленькие собаки и огромные кошки, животные с необычной шерстью и фотографии настолько странные, что даже человек иногда сомневается, кого именно видит перед собой.

Другой подход — показать много примеров.

Вот кошка. Вот собака. Вот снова кошка. А вот животное, которое выглядит как пушистый коврик, но всё-таки является собакой.

Постепенно обучающаяся система может обнаруживать закономерности, полезные для классификации.

Конечно, современные методы значительно сложнее этого примера. Но различие между явно заданными правилами и обучением на данных помогает понять один из важных поворотов в истории искусственного интеллекта.

При этом два подхода не всегда были полностью противоположными. Исследователи использовали разные методы и иногда сочетали их. Однако именно идея обучения на примерах станет особенно важной для будущего нейронных сетей.

Фрэнк Розенблатт и машина, которая училась

Теперь перенесёмся в конец 1950-х годов.

Здесь появляется один из самых интересных героев нашей истории — Фрэнк Розенблатт, американский психолог и исследователь, занимавшийся вопросами восприятия и обучения.

Его интересовала возможность создания системы, которая могла бы изменять своё поведение на основе опыта.

В 1957 году Розенблатт описал перцептрон, а в 1958 году появилась его знаменитая аппаратная реализация — Mark I Perceptron.

Что же представлял собой перцептрон?

Если сильно упростить, это вычислительная модель, которая получает входные данные, учитывает их с определёнными весами и формирует результат. В процессе обучения веса могут изменяться, благодаря чему система постепенно корректирует своё поведение.

Именно эта способность делает её обучающейся.

Представь, что ты пытаешься научить машину различать два типа простых изображений. Сначала она ошибается. Ты показываешь правильный ответ, и система изменяет свои параметры. Затем получает следующий пример, снова пытается определить, к какой категории он относится, и при подходящих условиях постепенно улучшает результаты.

Для современного человека подобный принцип звучит вполне привычно. Но в конце 1950-х годов сама возможность машинного обучения производила огромное впечатление.

Ведь машина не просто выполняла неизменный набор заранее заданных правил. Она могла корректировать свои параметры на основе ошибок.

В этом скрывалась идея, которая впоследствии станет фундаментальной для огромного числа методов машинного обучения.

Как объяснить перцептрон без сложных формул?

Представь, что ты выбираешь арбуз.

Перед тобой несколько вариантов. Ты оцениваешь размер, цвет, форму, звук при постукивании и, возможно, выражение лица продавца. Хотя последний признак не всегда надёжен.

Каждому признаку ты мысленно придаёшь определённую важность. Например, цвет кажется тебе особенно полезным, а размер — менее значимым. В итоге принимаешь решение: покупать арбуз или поискать другой.

Перцептрон в упрощённом виде действует похожим образом. Он получает числовые признаки, умножает их на соответствующие веса, складывает результаты и сравнивает итог с определённым порогом. Если условие выполнено, выдаёт один результат, если нет — другой.

Но самое интересное происходит во время обучения.

Допустим, ты выбрал арбуз, принёс домой, разрезал — и обнаружил внутри нечто, совершенно не соответствующее твоим ожиданиям.

Ты расстроился, но приобрёл опыт. В следующий раз, возможно, будешь иначе оценивать признаки и внимательнее прислушиваться к звуку при постукивании.

Перцептрон тоже может изменять веса после ошибок.

Конечно, он не расстраивается, не жалуется на продавца и не обещает больше никогда не покупать арбузы в этом магазине. Но математический принцип корректировки параметров помогает ему улучшать решения на определённых задачах.

Именно поэтому перцептрон стал важным шагом в развитии обучающихся систем.

Когда журналисты увидели будущее

У перцептрона была ещё одна интересная особенность: он привлёк большое внимание прессы.

И это вполне объяснимо.

Представь журналиста конца 1950-х годов. Перед ним необычная машина, а исследователи рассказывают, что она может обучаться распознавать определённые образы.

Звучит невероятно. Особенно если добавить немного фантазии.

И вот в общественном воображении появляется образ машины, которая вот-вот научится думать как человек, писать стихи, переводить языки, принимать решения и выполнять множество других интеллектуальных задач.

Проблема заключалась в том, что реальные возможности ранних перцептронов были значительно скромнее подобных ожиданий. Они могли решать определённые задачи классификации, но не обладали универсальным интеллектом и не могли автоматически выполнять всё, что люди связывали с мышлением.

Здесь мы впервые сталкиваемся с одной из главных особенностей истории искусственного интеллекта.

Научный результат может быть впечатляющим, но общественные ожидания — ещё более впечатляющими.

А когда эти ожидания не оправдываются, наступает разочарование. Даже если сама технология продолжает развиваться.

Проблема, которую не решить одной прямой

Теперь познакомимся с одной из самых известных трудностей ранних нейронных сетей. Она связана с логической операцией XOR.

Название звучит так, будто кто-то случайно нажал три клавиши на клавиатуре. Но сама идея довольно проста.

XOR означает «исключающее ИЛИ». Результат равен единице, когда два входных значения различаются, и нулю, когда они одинаковы.

Посмотри на таблицу:

Первый вход

Второй вход

Результат XOR

0

0

0

0

1

1

1

0

1

1

1

0

А теперь представь, что мы нанесли эти четыре комбинации на плоскость в виде точек и хотим разделить их одной прямой на две группы. В одну должны попасть точки, для которых результат XOR равен единице, в другую — те, для которых он равен нулю.

Но возникает проблема: точки расположены так, что одной прямой корректно разделить их невозможно.

А простой однослойный перцептрон с линейной границей решения именно этим и ограничен. Он способен разделять определённые классы данных, но не любые.

Это было важным математическим ограничением.

Однако здесь есть интересный поворот. Если использовать более сложную сеть с промежуточными слоями и подходящими нелинейными преобразованиями, задачу XOR уже можно решить.

Получается, проблема заключалась не в том, что нейронные сети в принципе бесполезны, а в ограничениях конкретного класса моделей.

Именно это различие станет чрезвычайно важным для дальнейшей истории.

1969 год. Книга, которую часто обвиняют слишком сильно

В 1969 году Марвин Минский и Сеймур Пейперт опубликовали книгу Perceptrons, посвящённую математическим свойствам и ограничениям определённых классов перцептронов.

Работа была серьёзной, и её значение для теоретического понимания этих моделей трудно отрицать.

Однако в популярных пересказах истории искусственного интеллекта нередко появляется весьма драматичная версия событий.

Будто Минский и Пейперт написали книгу, после чего все исследователи немедленно разочаровались в нейросетях. Финансирование исчезло, лаборатории закрылись, а искусственный интеллект отправился в многолетнюю спячку.

История красивая. Почти как сюжет фильма.

Но реальность была сложнее.

Во-первых, ограничения простых перцептронов действительно существовали. Во-вторых, многослойные сети и идеи, связанные с их обучением, не исчезли. А в-третьих, снижение интереса к отдельным направлениям искусственного интеллекта было связано с целым комплексом причин.

Среди них — завышенные ожидания, недостаточные вычислительные возможности, ограниченность доступных данных, сложность реальных задач и изменения в исследовательском финансировании.

Поэтому было бы неправильно объявлять двух учёных единственными виновниками последующего охлаждения интереса к нейронным сетям.

Наука редко развивается по схеме: «Один человек написал книгу — и целая область умерла».

Обычно всё значительно запутаннее.

И гораздо интереснее.

Почему первые нейросети не изменили мир сразу?

Давай представим, что у тебя есть прекрасная идея. Ты хочешь создать машину, которая сможет распознавать изображения, обучаться на примерах и решать сложные задачи.

Но почти сразу сталкиваешься с несколькими проблемами.

Прежде всего компьютеры того времени обладают весьма ограниченными вычислительными возможностями. Большие наборы цифровых данных ещё не стали доступны в том виде, к которому мы привыкли сегодня. Многие методы обучения сложных сетей пока недостаточно развиты или практически неудобны.

И наконец, сами задачи оказываются намного труднее, чем казалось сначала.

Например, человеку довольно легко узнать кошку на фотографии. Мы смотрим на изображение и почти мгновенно понимаем, кто перед нами.

Но компьютер не получает готовое понятие «кошка». Он работает с числовым представлением изображения: яркостью, цветом, границами, формами и другими характеристиками.

То, что человеческому мозгу кажется почти мгновенным действием, для вычислительной системы может оказаться чрезвычайно сложной задачей.

Особенно если изображение размыто, кошка находится в тени, повернулась спиной или вообще спряталась в коробке, оставив снаружи только хвост.

А ведь в реальном мире подобных ситуаций огромное количество.

Поэтому ранние успехи нейросетей ещё не означали, что проблема искусственного восприятия близка к окончательному решению.

До этого было очень далеко.

Когда обещания обгоняют возможности

Представь человека, который только научился кататься на велосипеде.

Он проехал десять метров, не упал и радостно объявил:

— Всё! Через месяц выиграю велогонку мирового уровня!

Друзья аплодируют, соседи удивляются, а местная газета уже готовит интервью.

Но затем выясняется, что для победы необходимо ещё много лет тренироваться. И вообще желательно сначала научиться поворачивать.

Примерно так иногда развивались ожидания вокруг раннего искусственного интеллекта.

Каждый новый успех воспринимался как признак того, что создание мыслящей машины уже близко. Но затем исследователи сталкивались с очередными трудностями.

Оказывалось, что задача сложнее, чем предполагалось, результаты плохо переносятся на новые условия, вычислительных ресурсов недостаточно, а для реального применения необходимы методы, которых пока не существует.

Постепенно общественный энтузиазм начинал ослабевать.

Однако здесь есть важная деталь: разочарование в завышенных обещаниях не означает отсутствия научного прогресса.

Исследователи продолжали работать, создавать новые математические методы, изучать процессы обучения и экспериментировать с архитектурами нейронных сетей.

Постепенно накапливались знания, которые впоследствии окажутся чрезвычайно важными.

Даже если широкая публика почти ничего об этом не слышала.

Первая трещина в мечте

К концу 1960-х годов стало очевидно, что создание искусственного интеллекта оказалось гораздо более сложной задачей, чем многие надеялись.

Компьютеры могли решать отдельные задачи, но не обладали универсальными способностями. Системы, впечатлявшие в лабораторных условиях, нередко сталкивались с трудностями при работе в более сложной реальности. А исследовательские программы требовали времени, ресурсов и новых идей.

Именно на этом фоне в последующие годы сформируется период, который позднее назовут первой «зимой искусственного интеллекта».

Зимой — потому что энтузиазм охлаждался, финансирование некоторых направлений сокращалось, а громкие ожидания уступали место более осторожным оценкам.

Но важно понимать: исследования искусственного интеллекта не прекратились полностью. Работа продолжалась в разных областях, просто развитие оказалось не таким быстрым и прямолинейным, как хотелось сторонникам первых оптимистичных прогнозов.

И здесь наша история приобретает особую глубину.

Потому что настоящие открытия часто рождаются не в моменты всеобщего восторга, а в периоды, когда приходится продолжать работу без уверенности в скором успехе.

Садовод, который слишком рано пообещал рощу

А теперь вспомним нашего садовода.

Представь, что однажды он пригласил соседей посмотреть на молодой бамбук. Собрал всех возле забора, торжественно поднял руку и объявил:

— Друзья! Скоро здесь будет великолепная роща!

Соседи зааплодировали. Кто-то принёс фотоаппарат, кто-то уже начал выбирать место для пикника в тени будущих стеблей, а один особенно предприимчивый человек предложил продавать билеты на экскурсии.

Но прошёл месяц. Потом другой. А рощи всё не было.

Соседи начали ворчать.

— Где обещанные деревья?

— Вообще-то бамбук — это трава, — осторожно заметил садовод.

— Не уходи от ответа!

Прошло ещё немного времени, и люди постепенно потеряли интерес. Один заявил, что ничего не получится. Другой напомнил, что сразу об этом предупреждал. Третий предложил всё выкопать и посадить что-нибудь полезное.

Но садовод продолжал ухаживать за растениями.

Потому что знал одну простую вещь: между хорошей идеей и впечатляющим результатом иногда лежит очень длинный путь.

И не всегда этот путь можно сократить.

Даже если очень хочется.

Главное открытие первой главы

Итак, что же произошло за первые десятилетия истории нейросетей?

Исследователи предложили математические модели искусственных нейронов, начали обсуждать возможность машинного интеллекта, сформировали отдельную научную область под названием «искусственный интеллект» и разработали первые обучающиеся модели.

Но вместе с первыми успехами обнаружились и серьёзные ограничения.

Оказалось, что простые вычислительные модели способны решать далеко не любые задачи, а окружающий мир значительно сложнее, чем предполагали многие исследователи.

Однако вся эта работа вовсе не была напрасной.

Наоборот, именно она заложила фундамент будущего развития и помогла сформулировать вопросы, над которыми учёные будут работать десятилетиями.

Как обучать сложные сети? Как использовать несколько слоёв вычислительных элементов? Как эффективно изменять параметры модели? Как обрабатывать большие объёмы данных? И наконец, как создавать системы, способные работать не только в лаборатории, но и в реальном мире?

Ответы появятся не сразу и не все одновременно. Но именно эти вопросы станут важной частью следующего этапа истории.

Этапа, на котором искусственный интеллект переживёт периоды охлаждения интереса, а затем снова и снова будет возвращаться — каждый раз с новыми возможностями.

В конце этой главы хочется вспомнить одну простую мысль.

Человечество научилось создавать сложные вычислительные машины гораздо раньше, чем научилось делать их действительно полезными для широкого круга интеллектуальных задач.

И это вполне естественно. Ведь придумать идею — только начало. Дальше необходимы исследования, эксперименты, ошибки, новые методы и иногда десятилетия терпения.

Потому что создать искусственный интеллект оказалось гораздо сложнее, чем придумать ему красивое название.

ГЛАВА 2

Две зимы искусственного интеллекта

Или как человечество дважды разочаровалось в умных машинах, а они всё равно продолжили развиваться

Когда будущее обещали слишком рано

Представь, что тебе обещали невероятное изобретение: машину, которая будет понимать человеческую речь, переводить книги, решать сложные задачи, помогать учёным и однажды, возможно, даже научится мыслить.

Звучит прекрасно. Особенно если всё это обещают серьёзные исследователи в белых халатах, окружённые огромными компьютерами с мигающими лампочками.

Ты слушаешь, удивляешься и начинаешь ждать.

Проходит год. Потом пять. Потом десять. Компьютеры действительно становятся совершеннее, но универсального искусственного интеллекта всё нет. Машины по-прежнему испытывают трудности с задачами, которые человеку кажутся элементарными.

Постепенно восторг сменяется раздражением.

— Подождите, — говорит общество. — А где всё то, что нам обещали?

Учёные объясняют:

— Задача оказалась сложнее, чем мы предполагали.

— Насколько сложнее?

— Значительно.

— А когда всё будет готово?

— Пока трудно сказать.

И вот тут начинается самое неприятное. Потому что инвесторы, государственные организации и другие источники финансирования не очень любят ответ «пока трудно сказать». Особенно если раньше им обещали быстрый результат.

Так в истории искусственного интеллекта постепенно возникли периоды, которые позднее назвали зимами ИИ.

Сразу уточним: зима искусственного интеллекта — не официальное событие с точной датой начала. Никто не вывешивал на дверях лабораторий табличку: «С 1 декабря исследования отменяются. Возвращайтесь весной».

Это образное название периодов, когда ожидания не оправдывались, интерес снижался, а финансирование некоторых направлений сокращалось.

Обычно выделяют две такие зимы. Первая пришлась преимущественно на 1970-е годы, вторая — на конец 1980-х и начало 1990-х.

Но самое интересное заключается в том, что именно между этими холодными периодами и после них появлялись идеи, без которых современный искусственный интеллект был бы невозможен.

Итак, надеваем воображаемые тёплые куртки. Мы отправляемся в первую зиму.

Переводчик, который обещал слишком многое

В 1954 году произошло событие, привлёкшее большое внимание к возможностям машинного перевода. Компания IBM и исследователи Джорджтаунского университета продемонстрировали систему, переводившую ограниченный набор предложений с русского языка на английский.

Сегодня подобная демонстрация вряд ли удивила бы широкую публику. Мы привыкли, что переводчик помещается в смартфоне, а иностранный текст можно перевести за несколько секунд.

Но в середине XX века идея автоматического перевода выглядела почти фантастической.

Представь журналиста того времени. Перед ним огромная вычислительная машина. Исследователи вводят предложение на русском языке, а компьютер выдаёт английский перевод.

Журналист поражён:

— То есть теперь машины смогут переводить книги?

Исследователь осторожно отвечает:

— Мы надеемся, что со временем подобные технологии станут гораздо совершеннее.

Но в газетном заголовке осторожное «мы надеемся» легко превращается в громкое: «Компьютеры скоро заменят переводчиков!»

И вот уже воображение рисует будущее, в котором языковые барьеры исчезнут. Учёные смогут мгновенно читать иностранные статьи, дипломаты — понимать друг друга, а туристы наконец перестанут случайно заказывать в ресторане то, чего совершенно не собирались есть.

Проблема заключалась в том, что демонстрация 1954 года была сильно ограничена. Система работала с небольшим набором слов и специально подобранными грамматическими конструкциями.

Это был важный эксперимент, но вовсе не полноценное решение задачи машинного перевода.

А сама задача оказалась невероятно сложной.

Почему переводить слова недостаточно

Представь, что тебе нужно перевести фразу: «Он увидел человека с биноклем».

Кто держал бинокль? Человек, которого увидели? Или тот, кто смотрел?

Без контекста возможны разные интерпретации.

А теперь возьмём другое выражение: «Он наконец дошёл до ручки».

О какой ручке идёт речь? Дверной? Пишущей? Или фраза означает, что человек оказался в тяжёлом положении?

Язык наполнен неоднозначностями, метафорами, намёками и культурными особенностями. Люди часто понимают подобные выражения почти автоматически, потому что учитывают ситуацию, предыдущий разговор и собственные знания об окружающем мире.

Компьютеру же недостаточно просто заменить каждое слово его словарным соответствием. Ему необходимо учитывать связи между словами, грамматику, смысловые особенности и множество других факторов.

Сегодня современные системы машинного перевода справляются со многими такими задачами значительно лучше ранних программ. Но даже сейчас автоматический перевод не всегда идеален.

А в 1950–1960-е годы возможности вычислительной техники и доступные методы были гораздо скромнее.

Поэтому первоначальный оптимизм постепенно столкнулся с реальностью. И реальность оказалась суровой — особенно к тем, кто рассчитывал решить проблему перевода за несколько лет.

1966 год. Доклад, который охладил энтузиазм

В Соединённых Штатах исследования машинного перевода получали значительную поддержку. Но со временем у организаций, выделявших средства, возник вполне закономерный вопрос: насколько полезны полученные результаты?

В 1966 году был опубликован доклад комитета ALPAC — Automatic Language Processing Advisory Committee. В нём критически оценивалось состояние исследований машинного перевода и их практическая эффективность.

Доклад стал важным фактором сокращения американской государственной поддержки этого направления.

И здесь мы наблюдаем типичную историю технологического разочарования.

Сначала появляется новая идея, затем — впечатляющая демонстрация. За ней следуют огромные ожидания, которые постепенно сталкиваются с реальными ограничениями. И наконец возникает неизбежный вопрос:

— А почему всё работает не так хорошо, как обещали?

Однако важно понимать, что доклад ALPAC не означал прекращения исследований машинного перевода во всём мире. Работа продолжалась, просто ранние надежды на быстрое появление универсальных автоматических переводчиков не оправдались.

Это стало одним из признаков более общего кризиса ожиданий вокруг искусственного интеллекта.

Когда компьютер не понимал очевидного

Машинный перевод был лишь одной из проблем. Исследователи искусственного интеллекта сталкивались с трудностями и в других областях: распознавании изображений, планировании действий, понимании естественного языка и решении задач, требующих обширных знаний о мире.

Представь, что ты показываешь ребёнку фотографию, на которой кошка сидит на диване.

— Кто это? — спрашиваешь ты.

— Кошка.

— Где она сидит?

— На диване.

— А что будет, если кошка спрыгнет?

— Окажется на полу.

Всё кажется предельно простым. Но за этой простотой скрывается огромное количество знаний.

Ребёнок понимает, что кошка — живое существо, диван — предмет мебели, а предметы существуют в пространстве. Он знает, что при движении положение объектов меняется и что кошка, скорее всего, не превратится внезапно в холодильник.

Для человека это очевидно. Для ранних систем искусственного интеллекта подобные знания было трудно представить в вычислимом виде.

И здесь исследователи столкнулись с неприятным открытием: то, что человеку кажется простым, далеко не всегда просто для машины.

Компьютер мог выполнять сложные вычисления, но при этом испытывать трудности с повседневными ситуациями. Чем больше учёные пытались создавать универсальные интеллектуальные системы, тем отчётливее становилось видно, насколько сложен окружающий мир.

1973 год. Ещё один холодный душ

В Великобритании важную роль в пересмотре ожиданий сыграл доклад, подготовленный математиком Джеймсом Лайтхиллом.

Он был представлен в 1973 году и содержал критическую оценку состояния исследований искусственного интеллекта. Лайтхилл обращал внимание на разрыв между обещаниями и достигнутыми результатами.

Его выводы способствовали более скептическому отношению к ряду исследовательских направлений и повлияли на финансирование в Великобритании.

Однако здесь стоит избежать распространённого упрощения. Доклад Лайтхилла не был единственной причиной первой зимы искусственного интеллекта и уж точно не остановил все исследования.

В разных странах ситуация различалась. Некоторые проекты продолжались, развивались новые методы, учёные работали над отдельными практическими задачами.

Но общий энтузиазм действительно заметно охладился, особенно по сравнению с оптимизмом предыдущих десятилетий.

И вот здесь хочется представить разговор между исследователем и чиновником, распределяющим финансирование.

— Вы обещали создать интеллектуальную машину.

— Мы работаем над этим.

— Когда будет результат?

— Мы столкнулись с неожиданными трудностями.

— Какими?

— Оказалось, что интеллект — очень сложная штука.

— А раньше вы этого не знали?

— Подозревали. Но теперь у нас есть экспериментальные подтверждения.

Смешно? Немного.

Но именно так иногда выглядит настоящий научный прогресс. Ты начинаешь исследование с одним представлением о сложности проблемы, а заканчиваешь с пониманием, что проблема в десять раз интереснее и в сто раз труднее.