Kitabı oxu: «Цифра и интеллект. 50 сюжетов об искусственном интеллекте»
Предисловие
Исследования в области искусственного интеллекта (ИИ) начались в 1950-х годах и сразу вызвали волну интереса и надежд. Однако эйфория быстро прошла, тема ИИ долго находилась на периферии общественного внимания. Ею занимались ученые, но практические результаты были малоубедительны. ИИ перекочевал на страницы научно-фантастических романов и фильмов. Публика во время их прочтения и просмотра содержанием впечатлялась, но затем быстро его забывала.
С 2010-х годов в исследованиях нейросетей накапливались прорывные решения. Об ИИ снова заговорили, примеров его применения становилось все больше. ИТ-общественность понимала – что-то грядет.
Революцию генеративного ИИ ждали, но началась она неожиданно. В ноябре 2022 году компания OpenAI предъявила общественности ChatGPT 3.5. Чат-бот за два месяца набрал 100 миллионов пользователей – непревзойденный рекорд. На удивленное, восхищенное и испуганное человечество как из рога изобилия посыпались все новые и новые возможности генеративного ИИ от разных компаний.
Генеративный ИИ имеет огромный трансформирующий потенциал. Он стремительно меняет окружающий мир. Генеративный ИИ – это уникальный по своим возможностям инструмент, с которым придется иметь дела каждому. Генеративный ИИ несет множество угроз, и это не угрозы захвата мира в стиле фантастических произведений. Все реальнее – генеративный ИИ учится решать многие наши задачи.
И он их будет решать – либо вместо с нами, либо вместе нас.
Мы не раз в книгах серии «Цифра на марше» повторяли:
ИИ делает сильного – сильнее, а слабого – слабее.
Эта книга для тех, кто хочет быть сильным в гонке века между человеком и его творением. А для этого нужно понимать, что такое генеративный ИИ. Какие у него сильные и слабые стороны. Как его можно и нужно использовать, как минимизировать риски и избегать угроз.
Часть 1. Вместо введения
Сюжет 1. Кратко об эволюции биологического интеллекта
Труд создал
из обезьяны человека.
Фридрих Энгельс
Если не вдаваться в детали классификации, жизнь на планете Земля представлена простейшими организмами, животным и растительным миром. В биологии относительно недавно из растительного мира стали выделять царство грибов, которые имеют отдельные характеристики животного мира. Для нашего контекста это несущественно. Тем более, что сбор ягод и грибов – привычное нашему пониманию занятие, легко объединяющее эти два царства.
К животному миру относят простейшие организмы вроде инфузорий; многоклеточные организмы вроде медуз, моллюсков и червей; насекомые и ракообразные, земноводные и пресмыкающиеся, рыбы и птицы, млекопитающие. На вершине этого перечисления гордо воцарился homo sapiens – человек разумный, живой организм, но уже не животное.
Нашему уху непривычно называть животным какую-нибудь инфузорию. Обычно под этим термином мы понимаем млекопитающих и птиц. Даже рыб, лягушек, ящериц и змей, не говоря уже о медузах и червях, в нашем повседневном общении мы животными не называем. Наберите в поисковой строке «красивые животные» и перейдите в раздел картинок. Найти там завораживающую медузу или красивую, раскрашенную во все цвета радуги рыбу практически невозможно. А ведь это тоже представители животного мира, с точки зрения науки – полноценные животные.
Это лирическое отступление мы сделали для того, чтобы расширить термин животное, который далее будет использоваться, до его научного, а не общепринятого понимания.
Все животные перемещаются, добывают пищу, приспосабливаются к окружающей среде, размножаются, стареют и умирают. Это касается невидимых глазу инфузорий, парящих в небе орлов, глубоководных рыб и так похожих на нас шимпанзе. Одна часть этих действий обусловлена врожденными инстинктами и контролируется физиологическими механизмами. Другая часть является результатом адаптации индивидуального опыта к условиям среды обитания. Эта способность животных обусловлена зачатками интеллекта.
Чем выше стоит животное на эволюционной лестнице, тем больше значение в его жизни имеет деятельность, основанная на личном опыте. И тем более развита его нервная система, которая постепенно трансформировалась в уникальный биологический объект – мозг. Ученые-биологи уверены сами и уверяют всех остальных, что мозг человека – самый сложный объект во Вселенной.
Нервная система обеспечивает быструю реакцию животного на изменения окружающей среды. Чем эффективнее работает этот механизм, тем меньше животное находится в неблагоприятных условиях. Неблагоприятными считают условия, при которых животное начинает необратимо и безвозвратно терять энергию.
Рассмотрим эволюцию нервной системы в животном мире.
Представители растительного мира не имеют нервной системы, но у них есть ее аналоги. Они основаны на универсальной способности клеток реагировать на химический состав окружающей среды, механические воздействия и электромагнитные излучения (солнечный свет). Этих аналогов достаточно для осуществления сложных адаптационных реакций и перестроек. Недаром говорят, что борьба за место под Солнцем растительности в дебрях Амазонки напоминает борьбу за выживание между животными в насыщенных жизнью экосистемах.
Простейшие одноклеточные организмы в этом плане отличаются от растений тем, что способны перемещением реагировать на химические, механические и электромагнитные воздействия. Например, в растворах простейшие организмы передвигаются в сторону более благоприятной среды, стараются избегать опасных для себя участков.
Нервная система стала формироваться у многоклеточных организмов, жизнь которых проходила в постоянном движении. Именно необходимость эффективного движения в окружающей среде считается главной эволюционной причиной появления нервной системы.
Понятно, почему нервной системы нет у растений. Но ее нет и у некоторых животных, которые живут в чудесном месте, где в избытке пища, тепло, нет опасностей. Речь идет о солитере – виде ленточного червя, который живет в организмах некоторых высших животных и человека. Нервная система солитера предельно редуцирована – можно считать, что ее просто нет. Хотя его собрат – дождевой червь – обладает зачатками нервной системы, в которой около 300 нейронов.
Нервная система малоподвижных многоклеточных организмов вроде актиний и моллюсков с крупной раковиной решает самые простейшие задачи. Ей нужно идентифицировать проплывающую мимо пищу и успеть захватить ее. Для этого хватает рецепторов и механизмов захвата пищи. Первые искусственные нейросети в середине XX века имитировали примерно такое поведение.
Повторим – нервная система нужно была животным, которые быстро двигались, активно вступали в контакт с разнообразными условиями внешнего мира. В борьбе за выживание такие животные должны были постоянно приспосабливаться. В рамках одного вида лучше это получалось у тех, кто имел улучшенную (более сложную) версию нервной системы.
Уникальность нервной системы заключается в том, что она предназначена для интеграции активности других органов и систем животного. Она должна получать сигналы, в первую очередь – от разных источников внешнего мира, дифференцировать и анализировать эти сигналы и на этой основе строить свое поведение.
Для получения сигналов нервной системе нужны специальные сенсорные подсистемы – органы чувств. В основе работы самых разных органов чувств лежат уже известные нам рецепторы, которые способны воспринимать химические, физические и электромагнитные воздействия. Из них эволюция создала большое разнообразие органов чувств в животном мире.
Механические воздействия в виде звуковых колебаний воспринимаются органами слуха. Другие примеры механических воздействий – тактильные ощущения и восприятие гравитации. Химическая чувствительность лежит в основе обоняния, вкусовых ощущений, дыхания. Животные реагируют на солнечный свет, способны воспринимать магнитное поле Земли и электромагнитное излучение Солнца.
Большинство внешних сигналов быстротечны, поэтому нервной системе нужно быстро использовать полученные данные. Для этого их нужно сравнивать, выделять приоритеты и в соответствии с приоритетами реагировать. Сигнал об опасности отключает чувство голода – приоритетом становятся реакции «бороться» или «бежать».
Координация такого сложного поведения требует устройства, к которому должны быть подключены все используемые органы чувств. По сути, речь идет о скоплении нервных клеток, которые получают информацию от разных источников, а затем ее соответствующим образом обрабатывают.
Различные органы чувств и центр обработки полученных сигналов не имеют смысла без связи с органами, осуществляющими ответные реакции организма. Животное может ответить на внешний сигнал сокращением или расслаблением самых разных мышц, активизацией или подавлением выброса биохимических сигналов. Поэтому скопление нервных клеток, претендующих на роль центра обработки поступивших сигналов, должно быть связано с органами, отвечающими за разнообразные реакции организма. Будем называть такие органы исполнительными, а центр обработки – координационным органом.
Органы чувств должны быть приближены к источникам информационных сигналов, поэтому их рецепторы обычно расположены на границе тела и внешней среды. Исполнительные органы распределены по всему организму. Координационный орган должен связываться и с органами чувств, и с исполнительными органами.
Исходя из вышесказанного, эволюция решала две противоречивые задачи. С одной стороны, координационный орган, нужно было сделать максимально защищенным. С другой стороны, он должен был быть представлен практически во всех уголках организма.
Решение было найдено для позвоночных животных – рыб, земноводных и пресмыкающихся, птиц и млекопитающих. Координационный орган разделился на две части. Одна часть – головной мозг, защищенный костями черепа. Именно его мы и называем мозгом. Здесь сконцентрирована та часть координационного органа, которая способна проявлять интеллектуальные способности. Вторая часть – это нервные пути, по которым в мозг поступают сигналы от органов чувств, и по которым мозг передает управляющие сигналы исполнительным органам.
Далее эволюция в основном занималась совершенствованием и развитием головного мозга. Именно на этом пути мозг рептилий, доминировавших на Земле сотни миллионов лет назад, трансформировался в мозг вершины эволюции – человека.
Не будем останавливаться на рыбах, лягушках, ящерицах и змеях. Их головной мозг относительно прост и, главное, они никогда не демонстрировали сколько-нибудь сложные проявления интеллекта. В отличии от птиц и млекопитающих.
О выдающихся интеллектуальных способностях отдельных представителей воронов, попугаев, крыс и мышей, собак, дельфинов и приматов слышали все. Выдающихся, естественно, на фоне остального животного мира. О них и поговорим.
Птицы не раз демонстрировали неплохие когнитивные способности. Ворóны считают и пользуются инструментами, какаду открывают хитро закрытые контейнеры с мусором, гаички запоминают десятки тысяч тайников с семенами. Африканский серый попугай Алекс, которого исследовали в трех университетах, обладал способностью заучивать названия отдельных предметов, опознавать предметы и их цвета.
Но самое интересное не в этом. По структуре мозг птиц сильно отличается от мозга млекопитающих. У млекопитающих проявления интеллектуальной деятельности связывают с областью мозга, которую называют неокортекс. У птиц такой области в головном мозге нет, а ее функции выполняют другие области птичьего мозга с очень мудреным названием. Эти области и меньше, и проще по структуре, чем неокортекс, но позволяют некоторым птицам демонстрировать способности, сравнимые со способностями приматов.
То есть, птица с мозгом весом в 10 грамм способна делать то, что делает шимпанзе с мозгом в 400 грамм. Может быть, человек, как высший представитель отряда приматов, не так уж совершенен? Может быть, на примере птиц эволюция получила более экономичные модели построения инструмента для интеллектуальной деятельности? Вот только отсутствие нужных исполнительных органов (рук) затормозило эти эволюционные эксперименты.
Птицы птицами, но ступенькой эволюции, предшествующей человеку, являются млекопитающие. Именно их головной мозг и его интеллектуальные способности исследуют ученые. Новая кора головного мозга – неокортекс – это эволюционное приобретение класса млекопитающих. Самые разумные из них – высшие приматы.
Неокортекс у низших млекопитающих только намечен, а у человека составляют основную часть коры головного мозга. Неокортекс располагается в верхнем слое полушарий мозга и отвечает за высшие нервные функции — сенсорное восприятие, выполнение моторных команд, осознанное мышление, речь (у людей).
Размер неокортекса линейно коррелирует с количеством поддерживаемых социальных связей, выражаемых числом Данбара. Поддержание таких связей предполагает знание отличительных черт конкретного индивида, связь с которым необходимо поддерживать. Например, характера, поведенческих моделей, социального положения в сообществе. Это требует наличия определённых мыслительных способностей и затрат значительных интеллектуальных ресурсов.
В неокортексе хранятся зачатки морали, которыми, как показали исследования, обладают высшие приматы и некоторые другие млекопитающие. Например, приматам присуще чувство справедливости. В эксперименте обезьяны с удовольствием выполняли задания ученых за кусочки огурца. Потом им показали, что другие приматы получают в награду виноград. Обезьяны, получавшие в награду огурцы, пришли в возбуждение, побросали свои овощи и устроили забастовку. Похожие эксперименты с аналогичными результатами проводились на собаках.
Резюме. Эволюции потребовалось сотни миллионов лет, чтобы сформировать координационный орган, способный управлять всем организмом. Он принимает сигналы внешнего мира, обрабатывает их и на выходе выдает управляющие сигналы для исполнительных органов. Ключевой элемент этого органа у позвоночных животных – головной мозг. Новая кора головного мозга – венец эволюционного развития. Ее формирование помогло человеку осознать себя субъектом интеллектуальной деятельности.
Сюжет 2. Кратко об устройстве и работе мозга человека
Мозг бесконечно сложнее того,
в ком он находится.
Татьяна Черниговская
Ученым многое стало известно о деталях физиологических механизмов здорового мозга. Они выяснили, как развиваются болезни мозга. Удалось разработать немало методов диагностики и лечения таких болезней.
Однако, как и раньше, точно не известно, какие механизмы лежат в основе внимания или памяти. Ученые мало что могут сказать о том, как работает логическое мышление, где накапливается субъективный опыт, как устроено сознание. Мы можем лишь гадать, обеспечивает мозг свободу воли на самом деле или лишь создает ее иллюзию.
Во все времена мозг сравнивали с самыми сложными конструкциями. В XVII веке Рене Декарт сравнивал его со сложной машиной. В XIX веке мозг сравнивали с телефонной станцией, передающей сигналы из разных областей организма. В XXI его чаще сравнивают с компьютером. Мозг принимает, обрабатывает и хранит информацию, управляет устройствами вывода в человеческом организме. Однако мозг не обладает точностью компьютера. Это скорее прогностическое устройство, которое воспринимает внешний мир и выстраивает поведение человека на основе прогнозирования.
Мозг – это наши мысли, эмоции и желания. Он хранит наши воспоминания, дает возможность мечтать, представлять и планировать ближайшее и далекое будущее. Мозг отвечает за осознанные и непроизвольные действия человека.
Мозг человека состоит из нескольких частей. Продолговатый мозг управляет частями организма, работу которых мы практически не замечаем. Он отвечает, например, за биение сердца и дыхание. Средний мозг отвечает за зрение, слух, моторику и внимание. Мозжечок позволяет двигаться и держать равновесие, запоминает двигательные программы. Гипоталамус принимает сигналы от органов и анализирует множество химических реакций в организме. От него зависят голод, жажда, родительское поведение, а также реакции на страх и агрессию.
За восприятие и анализ речи, за решение логических и иных интеллектуальных задач, за творчество, за озарения отвечает новая кора головного мозга, покрывающая поверхность правого и левого полушария. Это самое позднее эволюционное приобретение человека.
При решение логических и творческих задач левое и правое полушария постоянно обмениваются информацией. Например, основная роль в обработке речи принадлежит левому полушарию, но правое тоже принимает в этом участие, занимаясь обработкой интонации.
Для простых реакций мозга на внешние раздражители удается более-менее четко локализовать задействованные участки. Сложные мыслительные действия вызывают многочисленные и не всегда предсказуемые потоки сигналов в сложнейшей нейронной сети мозга. При этом исследования показывают, что функции поврежденных участков мозга со временем принимают на себя соседние участки.
По мере эволюции человека объем мозга постепенно увеличивался. У человека умелого (homo habilis), жившего более миллиона лет назад, он составлял 600 кубических сантиметров. У человека разумного (homo sapiens) объем мозга – около 1250 кубических сантиметров, вес около 1400 грамм. Считается, что объем мозга и интеллектуальные способности связаны. Однако «небольшой» размер мозга homo sapiens не помешал ему выиграть эволюционную гонку у конкурента – неандертальцев, мозг которых составлял около 1500 кубических сантиметров.
1250 кубических сантиметров и 1400 грамм – это средние величины объема и массы мозга современного человека. Понятно, что в природе существуют значительные отклонения от этих величин. Мозг русского писателя Ивана Тургенева весил около 2 килограмм, а мозг французского писателя Анатоля Франса – чуть более 1 килограмма. Это не помешало им стать великими литераторами.
Статистика говорит о том, что мозги выдающихся представителей человечества несколько больше и тяжелее средних показателей. Однако общепризнанным считается иной факт – интеллектуальные способности определяются развитостью нейронной сети мозга. Даже небольшой по объему, но великолепно развитый мозг даст сто очков форы огромному по объему мозгу, который не утруждал себя когнитивным развитием.
Поговорим теперь о нейронной сети, скрытой в нашей голове.
Главная клетка мозга – нейрон. Количество нейронов у человека оценивается в 80-100 миллиардов. Нейроны с помощью отростков связаны между собой в сеть. Нейрон может иметь от одного до сотен отростков. У некоторых нейронов длина отростка составляет десятки сантиметров. Примерная длина нейронной сети головного мозга человека – три миллиона километров.
Сложность нейронной сети не линейная. В ней квадриллион соединений между нейронами. Квадриллион – единица с пятнадцатью нулями. Вариантов «путешествия» электрических сигналов по нейронной сети… Для оценки вот цитата академика Петра Анохина:
Число степеней свободы нервных клеток с учетом всех переменных … может быть выражено числом с таким количеством нулей, что они могут уместиться на ленте длиной в 9 500 000 километров.
Основная работа мозга – это передача сигналов между нейронами. Место передачи сигнала между двумя нейронами или между нейроном и управляемой им мышечной или иной клеткой называется синапсом. Синапсы бывают электрические и химические.
Электрический синапс — это место тесного контакта двух нейронов, в котором ток перетекает из клетки в клетку в двух направлениях. При этом сигнал не модифицируется, не «осмысляется». Область применения довольно узка — только те нервные пути, по которым сигнал надо передавать быстро и без изменений (например, для двигательной реакции на раздражитель).
Химический синапс устроен гораздо сложнее, хотя действует только в одном направлении. Он имеет несколько механизмов, которые управляют его работой. В результате одинаковый сигнал, пришедший из передающего нейрона, приводит к разным исходам в принимающем нейроне. Эта огромная вариативность еще более усложняет человеческий мозг.
Ключевую роль в химических синапсах играют вещества, которые называются нейромедиаторами. Вырабатываются нейромедиаторы в разных частях человеческого организма: в нейронах головного мозга, в надпочечниках, в кишечнике. От того, какие нейромедиаторы вырабатывает организм, зависит человеческое состояние, в том числе – готовность к интеллектуальной работе.
Перечислим наиболее важные и интересные нейромедиаторы.
Серотонин, который иногда называют «гормоном удовольствия». Он вызывает состояние мозга, описываемое как ощущение гармонии, умиротворения, удовольствия и спокойной радости.
Дофамин, который иногда называют «гормоном вознаграждения». Он начинает вырабатываться сразу после положительного опыта либо приятных событий. Именно дофамину принадлежит ключевая роль в формировании зависимостей у человека.
Действие эндорфина направлено на устранение болевых ощущений и улучшение настроения. Он положительно влияет на регуляцию работы организма. Количество эндорфина увеличивается от занятий спортом, прослушивания любимой музыки, занятий сексом, воссоздания ситуаций, приносящих приятные ощущения.
Постоянный уровень окситоцина в организме повышает доверие, снижает страх и тревогу, обеспечивает спокойствие в присутствии объекта симпатии. Поэтому окситоцин часто называют гормоном доверия.
Выработка нейромедиаторов происходит в организме человека постоянно. Она зависит от многих факторов. От пищи, солнечного света, режима сна и бодрствования, физической активности, решаемых задач, намерений, желаний и волнений, страхов и тревог.
Для каждой ситуации, в которой находится человек, нужен свой баланс нейромедиаторов. В условиях опасности организм усиливает выработку одних веществ, при творческом порыве – других. Переизбыток или недостаток нейромедиаторов, нужных в данный момент, приводит к самым различным проблемам. Мозг требует от человека привычной порции дофамина, и он покорно садится за любимую игру. Избыток кортизола в организме приводит к стрессам и депрессиям.
Одним из важнейших достижений науки о человеческом мозге признается возможность медикаментозного влияния на выработку нейромедиаторов. Список наук, изучающих человеческий мозг, пополнила нейрофармакология.
На Западе широкое применение получили антидепрессанты. Они оказывают влияние на уровень серотонина, норадреналина и дофамина. У депрессивного больного они улучшают настроение, уменьшают или снимают тоску, вялость, апатию, тревогу, беспокойство, раздражительность и эмоциональное напряжение. Повышают психическую активность, нормализуют продолжительность сна, аппетит.
В 1954 году американскими учеными был обнаружен центр удовольствия у крыс. Так впоследствии назвали найденную зону в головном мозге подопытных грызунов. Крысы с имплантированными в мозг металлическими электродами снова и снова нажимали на рычаг, который активировал найденную зону. В результате забывали о принятии пищи и воды и умирали от истощения.
До сих пор циркулируют сведения о том, что подобные эксперименты с тем же результатом проводились на людях. Официально они не подтверждены и не опровергнуты.
Действия нейромедиаторов, вызывающих эйфорию, и наркотиков практически одинаковое. Они искусственно вызывают у человека чувства, которые близки к общепринятому пониманию счастья. Беззаботность, радость, предвкушение чего-то необычного и чудесного. При этом – без активного движения, в искусственно созданной благоприятной среде.
Этот фактор еще больше усугубляет главную угрозу, которую приписывают искусственному интеллекту (ИИ). Эксперты справедливо опасаются, что повсеместное внедрение и использование технологий ИИ приведет к интеллектуальной деградации и постепенному исчезновению человечества.
Вспомним, что интеллект появился как необходимость реагировать на внешнюю среду при активном образе жизни. И задумаемся, что будет, когда за нас все будет делать ИИ. А для стимуляции размышлений посоветуем найти в интернете или прочитать в нашей книге «Цифра и человек» описание эксперимента «Вселенная 25». Очень поучительно чтение.
Исследования человеческого мозга уже несколько десятилетий находятся в фокусе внимания научной общественности. Основных целей здесь несколько. Наиболее понятная и очевидная – лечение психических заболеваний и отклонений. Две другие цели в определенном смысле противоречат друг другу, но при этом легко уживаются в головах исследователей.
Первая цель – найти пути повышения эффективности работы мозга человека, усилить его когнитивные возможности. Вторая цель – выявить принципы и правила работы человеческого мозга, которые можно положить в основу работы ИИ. Интересно, что у человечества получится лучше.
Еще одна цель исследований мозга связана с разработкой нейроинтерфейсов – технических устройств, способных обеспечить прямое взаимодействие в связке «мозг – компьютер». Этому мы посвятим отдельный сюжет нашей книги.
Резюме. Человеческий мозг – это огромная нейронная сеть, предназначенная для проведения электрических сигналов. Современные методы позволили досконально разобраться в устройстве мозга, в функционировании его главного элемента – нейрона. Но по-прежнему остается загадкой, как в этой нейронной сети реализуются когнитивные способности и возможности человека.
Сюжет 3. Виды интеллектуальной деятельности человека
Интуиция – очень мощная штука, более мощная, чем интеллект.
Стив Джобс
Как мы уже отмечали, ученые пока не очень хорошо представляют, как огромная нейронная сеть человеческого мозга осуществляет те или иные интеллектуальные действия. Зато они сумели детально изучить, классифицировать и описать эту интеллектуальную деятельность.
Почему это важно? Все очень просто. Когда разработчики технологий ИИ говорят, что они в очередной раз приближаются к человеческому мышлению, всегда нужно задавать встречные вопросы. А какой вид интеллектуальной человеческой деятельности вам удалось воспроизвести на этот раз? И на сколько адекватно и полно это воспроизведение? Вам удалось воспроизвести результат или непосредственно процесс мышления?
Поэтому поговорим о видах интеллектуальной деятельности. Классификаций много, они проводятся по разным основаниям. Термины тоже используются разные, хотя, как правило, синонимически схожие. Рассмотрим те виды и их названия, которые получили наибольшее признание.
В последующих сюжетах мы иногда будем обращаться к этим видам интеллектуальной человеческой деятельности и делать ремарки о способности ИИ их воспроизводить (или хотя бы имитировать).
Классификация мышления по психическим процессам.
Наглядно-действенное – мышление, предполагающее непосредственное восприятие предметов окружающего мира. Этот вид мышления начинает формироваться у ребенка сразу после рождения. Во взрослом возрасте такое мышление присутствует, но выполняет второстепенные функции. Если оно доминирует у взрослого – мы имеем Манилова из «Мертвых душ» бессмертного Гоголя.
Конкретно-предметное – мышление, направленное на решение конкретных задач, предполагающих взаимодействие с предметами окружающего мира. Этот вид мышления начинает формироваться у ребенка примерно в возрасте 1 года, когда появляется возможность и желание манипулировать игрушками. В дальнейшей жизни у многих людей, связанных с работой «руками», такое мышление становится доминирующим.
Абстрактно-логическое – мышление абстрактными категориями, отвлеченными от предметного мира, и логическими конструкциями. Считается, что этот вид мышления начинает формироваться у ребенка в возрасте 7 лет. Понятно, что 7 лет – усредненный показатель, и многие хорошо развитые дети демонстрируют элементы абстрактно-логического мышления в более раннем возрасте.
Классификация по результатам мышления.
Репродуктивное – мышление, открывающее для данного человека уже известные другим людям знания или воссоздающее то, что кем-то когда-то было создано. Процесс обучения в основном простроен на репродуктивном мышлении. Это вполне оправданно, так как позволяет относительно быстро усваивать накопленные человечеством знания. Освоение и воспроизведение уже известного творческим путем в народе называют «изобретением велосипеда».
Творческое – мышление, в результате которого создаются качественно новые объекты материального мира или продукты интеллектуальной деятельности. Иногда используется термин креативное мышление. Творческое мышление может проявляться в любых сферах человеческой деятельности: от игр до научных исследований.
Важное человеческое умение – четко понимать, когда какой из этих двух видов мышления применять. Гениальные ученые, изобретатели, инженеры, художники, музыканты, литераторы – все они прекрасно умели это делать.
Классификация по уровню психических процессов.
Аналитическое – мышление, позволяющее всесторонне анализировать информацию и принимать на основе этого анализа решения. Проблема данного мышления заключается в том, что в современном мире всесторонний анализ информации очень часто просто невозможен. Информации слишком много для ограниченных возможностей человеческого мозга.
Безусловно, человеку аналитическое мышление сегодня необходимо. Но это уже не такое сильное конкурентное преимущество, каким оно было еще десять лет назад.
Интуитивное – мышление, позволяющее человеку осознавать смысл событий и ситуаций, не разбирая и не анализируя их. А затем быстро делать выводы и/или принимать решения. Интуитивные выводы и решения часто называют озарением. Иногда интуицию называют чутьём или проницательностью. Психологи полагают, что интуиция основана на человеческом воображении, эмпатии и предшествующем опыте.
Проблема интуитивного мышления в том, что в реальности никто толком не понимает, как оно работает. Поэтому сложно бывает отличить людей с развитой интуицией от мечтателей и фантазеров. И те, и другие затрудняются объяснить, почему они считают или действуют именно так, а не иначе.
Классификация по моральным аспектам психических процессов.
Реалистическое – мышление, которое основывается на восприятии мира таким, какой он есть, без искажений и предрассудков, порождаемых или принимаемых собственным сознанием.
Аутистическое – мышление, которое сосредотачивается на собственных внутренних психических процессах и игнорирует внешнее влияние.
Эгоцентрическое – мышление, при котором во главу угла ставятся собственные интересы, мнения и потребности, частично или полностью игнорируются чужие точки зрения.
Классификация по характеру задач.
Практическое – мышление, которое концентрируется на решении практических задач и достижении конкретных целей. Люди, обладающие таким мышлением, склонны к принятию решений на основе собственного опыта и четких, обоснованных правил.
Теоретическое – мышление, которое связано с поиском и разработкой новых теорий и концепций. Люди, у которых развит данный вид мышления, стремятся к пониманию мира через изучение закономерностей и причинно-следственных связей.
Классификация по количеству найденных решений.
Конвергентное – мышление, позволяющее решать проблемы и задачи путём нахождения единственно верного решения на основе логики, анализа и синтеза информации.
Дивергентное – мышление, позволяющее находить множество решений для одной проблемы или задачи, зачастую с использованием интуиции и творческого мышления.
Классификация по произвольности мышления.
Произвольное – мышление, которое предполагает осознанный и целенаправленный контроль своих мыслительных процессов. Как правило, произвольное мышление включается, когда задачи новые или более-менее сложные, требующие обдумывать свои действия.
Непроизвольное – мышление, которое осуществляется спонтанно, без умысла и активного участия нашего сознания. Как правило, большинство действий в повседневной жизни мы осуществляем с помощью непроизвольного мышления.
Интересную трактовку этих видов мышления приводит в своем знаменитом бестселлере «Думай медленно … решай быстро» нобелевский лауреат по экономике, один из основателей поведенческой экономики, психолог Даниэль Канеман.
Далее рассмотрим некоторые виды интеллектуальной человеческой деятельности, выходящие за рамки приведенных выше классификаций. И раз уж зашла речь о Даниэле Канемане, начнем с критического мышления, которому в его книге уделено огромное внимание.
Критическое – мышление, которое предполагает рациональную непредвзятую оценку информации, учет всех важных факторов, последующие объективные выводы. В основе критического мышления лежит сомнение. Критически мыслящему человеку важно самому докопаться до истины, сопоставить разные точки зрения, воссоздать в голове максимально достоверную картину.
В книге «Думай медленно … решай быстро» приводится классификация типовых ошибок, которые совершают люди при восприятии и обработке информации, при принятии решений. Ошибки вызываются когнитивными искажениями. Это понятие Даниэль Канеман и его друг психолог Амос Тверски ввели в своих исследованиях еще в 1972 году. С тех пор оно прочно вошло в психологию.
Когнитивные искажения обусловлены разными факторами. Это могут быть субъективные убеждения (предубеждения) и стереотипы людей, социальные, моральные и эмоциональные причины, сбои в обработке и анализе информации, а также физические ограничения и особенности строения человеческого мозга.
Наиболее известный пример когнитивного искажения – эффект Даннинга – Крюгера. Люди с низкой компетентностью в какой-либо теме склонны считать себя ее знатоками. При этом они делают ошибочные выводы и принимают неудачные решения, не осознавая своих ошибок из-за нехватки знаний и умений. Другими словами, некомпетентность мешает правильно понимать пределы своей компетенции.
Современная классификация включает более 100 когнитивных искажений. Люди, которые им поддаются, по сути, отказываются от критического мышления. На использовании когнитивных искажений во многом основана реклама.
Покупайте – это последние экземпляры! Покупайте – сегодня большие скидки! Покупайте – этим пользуется даже Билл Гейтс!
За каждым подобным лозунгом скрывается конкретное когнитивное искажение.
Логическое – мышление, позволяющее объективно оценивать информацию, делать обоснованные выводы, приводить доказательства.
Понятийное – мышление, предполагающее использование понятийного аппарата, законов и правил логики. По сути, это более высокий уровень логического мышления.
Образное – мышление, в процессе которого реальность отображается в визуальных, звуковых, тактильных или даже осязательных образах. Образное мышление присуще художникам и музыкантам.
Алгоритмическое – мышление, предполагающее структурирование задачи и последующее составление алгоритма ее решения.
Эвристическое – мышление, направленное на выбор средств и приемов, с помощью которых решается ранее неизвестная задача. В процессе обдумывания задачи человек находит способ действия, подбирает ключи к ответу.
Шаблонное – мышление, которое отличается однообразностью мыслей и вариантов поведений при похожих ситуациях. Это первая, негативная трактовка. Шаблонное – мышление, позволяющее распознавать и использовать повторяющиеся паттерны. Это вторая, позитивная трактовка.
Ассоциативное – мышление, в ходе которого выявляются и/или устанавливаются связи между различными на первый взгляд идеями, объектами, их признаками или действиями. Такое мышление часто интегрируется с творческим мышлением, помогая ему создавать новые сущности.
Стратегическое – мышление, которое предполагает планирование действий на несколько шагов вперед, вплоть до достижения конечной цели. Интегрируется с аналитическим мышлением и позволяет видеть возможности там, где другие видят препятствия.
Эмоциональное – мышление, во время которого информация воспринимается без аналитической обработки и критического анализа, а решения принимаются под влиянием чувств.
Чтобы создать искусственный интеллект, сравнимый с человеческим (сильный ИИ), разработчикам нужно научить его воспроизводить все перечисленные виды интеллектуальной человеческой деятельности. Сегодня разработчики заняты тем, чтобы научить свои творения имитировать хотя бы основные виды такой деятельности. Поэтому от понятия сильный ИИ в классической трактовке отказались и перешли к понятию общий ИИ (Artificial General Intelligence, AGI). Обо всем этом – в следующих частях нашей книги.
Резюме. Интеллектуальная человеческая деятельность многообразна. Человеку, если он хочет преуспеть в гонке века, нужно в ней разобраться, чтобы эффективно использовать свои преимущества.
Сюжет 4. Когнитивные сфера и экосистема человека
Интеллект – это способность
адаптироваться к изменениям.
Стивен Хокинг
Когнитивный (лат. cognitio «знание») – связанный с познанием. Когнитивные способности помогают человеку познавать себя и окружающий мир. Синоним – познавательные способности.
Наука о когнитивных способностях зародилась в античные времена. Великие мыслители Древней Греции уже тогда задумывались, как человек познает мир. Они заложили основы теории познания.
Когнитивные способности используются в процессе познания. Когнитивные способности в процессе познания развиваются. «Способности-познание» – система с положительной обратной связью. Чем больше познает человек, тем лучше становятся его когнитивные способности. И тем больше он получает возможностей для познания.
Познание – это изучение, осмысление и освоение нового, встраивание нового в систему сложившихся представлений, последующее применение нового и его развитие.
В середине XX века появился еще один термин – когнитивная сфера человека. В этот период зарождалась кибернетика – наука об общих закономерностях получения, хранения, преобразования и передачи информации в сложных системах, будь то машины, живые организмы или общество. К исследованиям в этой области подключились психологи, которые пытались обобщить и собрать в стройную систему когнитивные способности и познавательную деятельность человека.
Когнитивная сфера личности – это совокупность психических процессов, которые используются в ходе познавательной деятельности человека. Она включает в себя:
перцептивные процессы – восприятие, ощущения, внимание, отвечающие за восприятие информации из внешней среды;
мнемические процессы, к которым относится память, отвечающая за восприятие, воспроизведение, забывание и сохранение полученной ранее информации;
интеллектуальные процессы – воображение, мышление, речь, отвечающие за обработку, генерацию и передачу информации.
Когнитивная сфера человека отвечает за поступление, хранение и обработку информации в ходе познавательной деятельности. Некоторые психологи считают, что когнитивную сферу отличают логика и рациональность, и она не связана с развлечениями, эмоциональными волнениями и привязанностями. По нашему мнению, это достаточно спорный и узкий взгляд. Ведь работу настоящих исследователей и творцов постоянно сопровождают эмоциональные подъемы и разочарования, интуитивные прорывы и озарения.
В современном цифровом мире складывается парадоксальная ситуация. С одной стороны, технологический прогресс обеспечивает человеческих особей с любым уровнем развития интеллекта ресурсами для выживания. С другой стороны, значение когнитивных способностей для адаптации к миру Цифры возрастает.
Этому есть интересное доказательство.
Параллельно с концепцией промышленных революций была выдвинута концепция технологических укладов. Технологический уклад – совокупность связанных технологий, используемых в производстве на определенном этапе развития человеческого общества. В каждом технологическом укладе принято выделять ключевые технологии и соответствующие им производства. Они образуют ядро технологического уклада.
Сторонники концепции считают, что человечество сейчас находится на переходной стадии от пятого к шестому технологическому укладу. Для нашего сюжет важно следующее. В ядро технологических укладов с первого по пятый включались технологии в привычном нам понимании. Паровые машины и электричество, химическая промышленность и тяжелое машиностроение, радиосвязь, телеграф, автомобили, атомная энергетика, микроэлектроника, персональные компьютеры, коммуникационные технологии.
В связи с шестым технологическим укладом появился новый термин. НБИК-конвергенция (NBIC-конвергенция) – гипотетическое ядро шестого технологического уклада, основанное на объединении и синергетическом усилении достижений нано-, био-, информационных и когнитивных технологий.
Впервые в ядро уклада включены технологии, напрямую связанные с человеческим интеллектом – когнитивные технологии. Они включены в шестой технологический уклад по двум основным причинам. Во-первых, когнитивные технологии позволяют на научной основе подходить к повышению эффективности работы человеческого мозга. Во-вторых, без прорывов в когнитивной науке человечеству сложно создавать технологии искусственного интеллекта.
Вот такие две противоречивые причины. При помощи когнитивных технологий мы одновременно хотим улучшить человеческий вид и создать ему интеллектуальную замену.
Простого и ясного определения когнитивных технологий мы не нашли. Возможно, плохо искали. С примерами и классификацией тоже большая проблема. При определении «технологии, связанные с познанием окружающего мира» к ним можно отнести многое. Практически все цифровые технологии связаны с познанием. Поэтому в публикациях к когнитивным технологиям иногда относят обработку больших данных, автоматический перевод текстов, контекстную рекламу… Понятно, что такая трактовка из-за своей обширности малопродуктивна.
Мы предлагаем следующее определение:
Когнитивные технологии – технологии, взаимодействующие с мозгом человека; анализирующие и имитирующие работу сознания в ходе познавательной деятельности; направленные на развитие когнитивных способностей человека.
В определении выделены три категории когнитивных технологий:
нейроинтерфейсы и иные технологические решения для непосредственного взаимодействия с мозгом человека;
искусственный интеллект, имитирующий или воспроизводящий работу человеческого мозга;
технологии, предназначенные для развития когнитивных способностей человека.
В познавательной деятельности человек также использует самые разные инструменты: от печатных изданий до персональных компьютеров и многочисленных программных продуктов. Такие инструменты – например, наскальная живопись – появились еще во времена первобытнообщинного строя.
Совершенствование инструментов, помогающих человеку в познании мира, принято описывать информационными революциями.
Информационная революция – это глубокие качественные изменения, происходящие в результате внедрения новых средств хранения, обработки и передачи информации.
Первую информационную революцию связывают с изобретением письменности. Вторую с появлением книгопечатания. Третью с телеграфом, телефоном, радио, телевидением. Четвертая началась с распространения персональных компьютеров. Создание интернета запустило пятую информационную революцию, которую мы переживаем с начала XXI века. Шестая информационная революция – это революция генеративного ИИ.
Описание информационных революций читатель сможет найти в нашей книге «Цифра и человек». Здесь только отметим, что по ходу информационных революций усложнялось технологическое окружение, которое сопровождало и обеспечивало познавательную деятельность человечества.
Великие философы Древней Греции – Сократ, Платон, Аристотель – познавали мир «на кончике пера». Правда, Сократ отказывался записывать свои диалоги, но за него это сделали его ученики. Рукописные источники были редки и в основном – фундаментальны. Для их осознания требовались серьезные интеллектуальные усилия.
Схоласты раннего Средневековья занимались синтезом христианского богословия и философии. В тиши библиотек монастырей и первых университетов их окружали многочисленные рукописные книги, которые требовали духовной и аналитической работы. Творчество как элемент познания не приветствовалось.
В эпоху Возрождения познание мира по содержанию и инструментарию начало приближаться к современному пониманию. Великие представители этой эпохи во главе с Леонардо да Винчи переключались от созерцательных подходов в познании мира к научно-практическим. Наряду с книгами, которые постепенно переходили от рукописного к печатному формату, в инструментарий входили многочисленные механические приборы и устройства.
Эпоха Просвещения стала ключевой вехой в трансформации познавательной деятельности человечества. Ньютон, Вольтер, Ломоносов и другие знаменитые представители этого времени активно развивали научные представления о мире, задавали стандарты интеллектуальной человеческой деятельности.
Первая промышленная революция в конце XVIII века запустила стремительный технологический процесс. Новые технологии постепенно проникали во все сферы человеческой деятельности. И в первую очередь менялось технологическое окружение познавательной деятельности, которая, наконец, получила массовое признание. Времена гениев-одиночек и познания «на кончике пера» уходили в прошлое.
Вторая промышленная революция дала миру электричество, которое полностью изменило наш мир. Электричество позволило существенно расширить инструментарий, который использовался в познавательной деятельности человечества. С его распространением интеллектуальный труд стал постепенно вытеснять труд физический.
Следующей важной вехой в развитии технологий, связанных с познавательной деятельностью, можно считать появление персональных компьютеров. Они стремительно, в течении нескольких десятилетий захватили наш мир и стали основным инструментом для повседневной интеллектуальной человеческой деятельности.
И, конечно, нельзя обойти вниманием пятую информационную революцию – революцию интернет-технологий. В сочетании с повсеместно распространенными компьютерными устройствами интернет дал в руки людей небывалые возможности для получения и обработки информации. То, что получение информации стало доминировать над обработкой, это отдельная тема, к которой мы еще вернемся.
Но все эти революционные изменения, усложняя технологическое окружение познавательной деятельности, не превращались в целостную, взаимосвязанную когнитивную среду. Для этого нужна шестая информационная революция – революция генеративного ИИ.
Приведем аналогию. Сначала компьютерные программы устанавливались на отдельные компьютеры. Потом компьютеры стали объединяться в локальные сети, ПО устанавливалось на сервера и становилось доступно для коллективного пользования. Облачные технологии позволили предельно централизовать размещение, обновление и использование ПО. Появились цифровые платформы, которые объединяли пользователей в рамках общей информационной среды. Венцом этой трансформации стало появление цифровых экосистем, объединяющих в едином информационном пространстве всех пользователей и предоставляющих полный спектр цифровых услуг.
Сегодня появляется возможность создания когнитивной экосистемы человека. Такая экосистема в перспективе может объединить когнитивные технологии весь остальной инструментарий в единое информационное пространство. До использования в познавательной деятельности нейроинтерфейсов пока далеко. Но вот интегрировать в единую экосистему ИИ-технологии и иные технологии, обеспечивающие когнитивную деятельность человека, представляется весьма перспективной задачей.
Резюме. Когнитивная экосистема сможет объединить когнитивную сферу человека и весь технологический инструментарий, который человечество создало за тысячелетия эволюции. В том числе свое главное творение – искусственный интеллект.
Часть 2. Революция ИИ и ее истоки
Сюжет 5. Мечта человечества, уходящая в глубь времен
Лучший способ предвидеть
будущее – изобрести его.
Алан Кей
Многое в нашей жизни предвосхитили мыслители Древней Греции. И если где-то искать первые идеи об искусственном разуме – то именно там, в городах-государствах Эллады.
Вот один из мифов Древней Греции.
Талос – искусственный бронзовый страж, которого Зевс подарил царице Европе, чтобы он защищал остров Крит от захватчиков. Создателем Талоса в одной версии мифа был Гефест, бог кузнечного ремесла, в другой – Дедал, легендарный критский мастер.
Талос ежедневно обходил берега Крита. Когда появлялись вражеские корабли, Талос швырял в них огромные валуны. Если же захватчикам удавалось высадиться на остров, Талос накалялся докрасна и уничтожал их, сжимая в раскалённых объятиях.
Гибель Талоса связана с появлением у берегов Крита корабля «Арго» с аргонавтами. Когда бронзовый великан попытался уничтожить их, волшебница Медея, спутница Ясона, применила свои чары. Она усыпила бдительность бронзового стража магией, после чего аргонавты выбили пробку в его ноге, выпустив наружу божественную жидкость, дававшую Талосу жизнь.
Талос – один из первых образов искусственного человекоподобного робота в мировой мифологии. Можно сказать, что это прообраз современного автономного оружия с искусственным интеллектом, которому мы посвятим отдельный сюжет.
Древние греки также предвосхитили угрозу, которую несет человечеству его неуемное любопытство, скрываемое под благозвучным термином любознательность.
Когда Прометей похитил божественный огонь и подарил его людям, разгневанный Зевс решил отомстить человечеству (риторический вопрос – а нас то за что?). Его сын Гефест вылепил из земли и воды женщину — Пандору, которую боги наделили разными качествами. Афродита – неотразимой красотой. Гермес – изворотливым умом. А сам Зевс подарил Пандоре неутолимое любопытство.
Пандору отправили на землю и отдали в жены брату Прометея. В его доме стоял сосуд, в котором были заключены все беды мира – болезни, пороки, страдания, смерть. Пандору предупреждали о последствиях, но любопытство победило – в один из дней сосуд был открыт.
В средневековых переводах сосуд трансформировался в ящик. И с тех пор ящик Пандоры стал мировым фразеологизмом и мемом, как сейчас принято говорить. Его применяли и применяют часто, по делу и не очень. В последнее время ящик Пандоры весьма популярен в контексте плохо предсказуемых изменений, которые несет революция генеративного ИИ, начатая любопытными людьми.
Пигмалион был талантливым скульптором с острова Кипр. Однажды он вырезал из алебастра статую невероятной красоты, которой дал имя Галатея. Статуя была так прекрасна, что скульптор влюбился в своё творение. Он принес жертву богине любви Афродите и попросил ее о жене, столь же прекрасной, как и его Галатея. Когда Пигмалион вернулся домой и поцеловал статую, Галатея ожила.
В мифе статуя становится человеком благодаря любви скульптора и вмешательству богов. Сегодня генеративный ИИ успешно «оживает» искусственные личности. Психологи отмечают, что все больше современных людей испытывают эмоциональную привязанность к своим виртуальным собеседникам, очеловечивая их, подобно Пигмалиону.
В Древней Греции существовало понятие автоматон. Так называли механические устройства, выполняющие действия без прямого участия человека. В этой связи уместно еще раз вспомнить Дедала, легендарного мастера и архитектора с острова Крит. Он сконструировал Лабиринт Минотавра, занимался изобретением сложных механизмов, вместе со своим сыном Икаром подарил человечеству идею полета с помощью искусственного аппарата (крыльев с восковым покрытием).
Реально жившим изобретателем машин был знаменитый античный ученый-инженер Герон Александрийский (около 10–70 гг. н. э.). Он прославился своими удивительными механизмами, многие из которых работали на пару, сжатом воздухе и гидравлике. Герон изобрел первый паровой двигатель; механизмы, открывавшие двери с помощью скрытых систем рычагов и теплового расширения воздуха; музыкальный инструмент, работавший на гидравлическом принципе. Зрителей поражал его автоматический театр – сложное устройство, которое с помощью системы блоков и грузов разыгрывало целые сцены из мифологии.
Современники Герона считали многие его изобретения забавными диковинками. Тем не менее они заложили основы для будущих технологических прорывов. Его работы повлияли на арабских и европейских учёных в эпоху Средневековья и Возрождения. Герона Александрийского по праву называют «отцом робототехники» и одним из первых инженеров в истории, чьи идеи опередили время на тысячелетия.
Не оставалась в стороне и Древняя Индия. В ее сборниках «Веды» и «Махабхарата», написанных задолго до нашей эры, можно встретить упоминания об удивительных механизмах. О колесницах, запряженных механическими конями; об устройствах, которые могут создавать музыку и танцевать; об оружии, способном уничтожать целые армии; о летательных аппаратах, управляемых разумом.
Средневековая Европа также приняла участие в изобретательстве.
В графстве Артуа в одном из замков с конца XIII века на протяжении десятков лет создавались знаменитые автоматы Эдена. Это были различные фонтаны, устройства для измерения времени, искусственные обезьяны и птицы. Сады замка, наполненные автоматами, имитировали парковые комплексы исламских эмиров и правителей Индии.
Известным средневековым изобретателем механизмов был гениальный Леонардо да Винчи. В числе его многочисленных изобретений – механический рыцарь. Механизм внутри доспехов позволял системе имитировать различные движения – рыцарь мог присесть, встать, двигать руками, шеей. Доподлинно неизвестно, был ли этот механизм реализован на самом деле. Однако его смогли реконструировать наши современники по чертежам да Винчи.
В 1500 году Леонардо Да Винчи разработал эскиз 13-разрядного суммирующего устройства. Свидетельств, что устройство было создано при жизни Леонардо да Винчи, нет. Однако, как и в случае с механическим рыцарем, на несколько веков позднее устройство по эскизу гения было воспроизведено.
В 1560 году король Испании приказал инженеру Хуанело Терриано создать механического монаха. В 1529 году Терриано разработал такое устройство. Искусственный монах умел ходить, креститься, поднимать распятие в левой руке, подносить крест к губам и целовать его, двигать глазными яблоками и беззвучно читать молитвы. Передвигался он на колёсиках, скрытых под одеждой.
В середине VIII века в дворцовом комплексе Багдада были построены механизмы, двигающиеся с помощью силы ветра. В это же время для одного из халифов было создано искусственное дерево из золота и серебра со стаей механических птиц. Стая находилась в кроне дерева и пела песни.
Арабского механика Аль-Джазари называют Леонардо да Винчи Востока, хотя он и жил на несколько веков раньше великого итальянца. Его также называют «отцом программирования, робототехники и инженерии». Аль-Джазари написал трактат «Книга знаний об остроумных механических устройствах». В трактате он описал конструкцию 50 механизмов, в том числе часов, кодовых замков и роботов.
За несколько столетий до появления современной робототехники и компьютеров Аль-Джазари строил автоматизированные устройства и одним из первых внедрил концепцию программирования. Сегодня признается, что вклад изобретений Аль-Джазари повлиял на появление парового двигателя, двигателя внутреннего сгорания, устройств с автоматическим управлением.
В Японии в XVI веке появились механические куклы в виде слуг, подающих чашу с чаем, и воинов, стреляющих из лука. Такие куклы использовали в театре, для игр дома, для религиозных праздников. Интересно, что похожие на них роботы-официанты продавались спустя сотни лет – в 1970-1980-х годах.
В XVIII-XIX веках изобретатели в разных странах создавали механические куклы, которые могли играть на музыкальных инструментах, рисовать картины и старательно выводить пером текст на бумаге. Эти игрушки, которые воплощали мечту об искусственном разуме, современникам казались фантастикой.
При этом люди всегда были доверчивы, поэтому подвергались обману со стороны изобретателей-аферистов. Наиболее известный пример – «Шахматный турок», который будто бы обладал искусственным интеллектом. Устройство обыгрывало разных соперников, включая Наполеона. На самом же деле внутри устройства находился маленький человек, великолепно игравший в шахматы.
Напоминает разразившийся недавно скандал, когда оказалось, что некоторые ИИ-стартапы обманывают инвесторов. Задачи, которые должен был выполнять ИИ, на самом деле решали наемные работники в далекой Индии.
В завершении приведем несколько интересных предсказаний, сделанных за сотни лет до появления реальных ИИ-технологий.
В далеком 1726 годы вышла в свет книга английского писателя Джонатана Свифта «Путешествие Гулливера». Вот фрагмент из этого замечательного сатирического произведения:
Каждому известно, как трудно изучать науки и искусства по общепринятой методе; между тем благодаря его изобретению самый невежественный человек с помощью умеренных затрат и небольших физических усилий может писать книги по философии, поэзии, политике, праву, математике и богословию при полном отсутствии эрудиции и таланта.
Затем в книге «Путешествие Гулливера» идет рассказ о механизме, оснащенном множеством деревянных дощечек, на которых написаны слова в различных временах и падежах. Когда изобретатель крутит ручку аппарата, слова складываются во фразы, потом предложения и, наконец, в фолианты. По сюжету профессор планирует создать с помощью механизма суммарное изложение всех искусств и наук.
Великолепное пророчество для ноября 2022 года!
Еще одно замечательное пророчество принадлежит британскому писателю Сэмюэлу Батлеру. В 1863 году он с поразительной точностью предсказал эволюцию машин и возникновение искусственного интеллекта. В своем произведении «Дарвин средь машин» Батлер связывал развитие технологий с теорией естественного отбора. Он утверждал, что механические творения станут предельно сложными, обзаведутся сознанием и вытеснят человечество с доминирующей позиции на планете.
Любопытно, что Батлер не видел в этом угрозу. Он полагал, что люди могут стать «питомцами ИИ», живя под заботливым управлением искусственного интеллекта. В его представлении машины будут относиться к нам с добротой, как мы относимся к домашним животным. Очень напоминает рассказы ИИ-визионеров во главе с Сэмом Альтманом, которые рассказываю о личных роботах, отправляющихся вместо нас на работу.
Таким энтузиастам и их сторонникам еще раз рекомендуем познакомиться с экспериментом «Вселенная 25». Судьбу «мышиного рая», описанную в эксперименте, всегда нужно держать в голове во время дискуссий о возможностях, перспективах и угрозах технологий ИИ.
Резюме. Мечта человечества об интеллектуальном партнере, которого можно создать искусственно, уходит в глубину веков. Игрушек, которые воплощали эту мечту, придумано было немало. Но реальная история искусственного интеллекта началась в середине XX века.
Сюжет 6. История становления ИИ: надежды и сложности
Все, что делается в мире,
делается с надеждой.
Мартин Лютер
В этом сюжете мы рассмотрим историю становления ИИ как нового научного направления. Также будем говорить о символическом ИИ, оставляя для следующего сюжета историю развития нейросетей. В то же время искусственный интеллект как научное направление объединяет символический ИИ и нейросети. Это понятно и естественно, так как главная цель общая – воссоздание искусственным путем человеческого интеллекта. При помощи каких технологий – не так важно.
История искусственного интеллекта (ИИ) как нового научного направления начинается в середине XX века. К этому времени для работ над ИИ сложился ряд предпосылок. Среди философов давно шли споры о природе разума человека и процессе познания мира. Нейрофизиологи и психологи разработали ряд теорий о работе человеческого мозга и мышления. Экономисты и математики занимались оптимизацией расчётов и представлением знаний о мире в формализованном виде. Зародилась теория алгоритмов. Были созданы первые компьютеры.
Скорости вычислений ЭВМ оказались больше человеческих. В учёном сообществе закономерно начались дискуссии о границах возможностей компьютеров. Сразу возник вопрос: «Способны ли вычислительные машины достигнуть уровня развития человека?» Искусственный интеллект, который сравним с человеческим, стали называть сильным ИИ. Если техническое решение способно было решать отдельные задачи, присущие человеку, его стали называть слабым ИИ.
В 1950 году один из пионеров в области вычислительной техники, английский учёный Алан Тьюринг, пишет статью под названием «Может ли машина мыслить?» Это было, наверное, первое детальное исследование вопроса, могут ли машины думать. Единого и общепринятого ответа на вопрос «что значит – думать?» на тот момент не было. Поэтому, чтобы не погрязнуть в сложнейших философских и психологических концепциях, Тьюринг предлагает изящное решение.
Он описывает процедуру, получившую название тест Тьюринга. Человек и машина беседуют, а другой человек наблюдает за содержанием беседы. Если наблюдатель не может с уверенностью сказать, что сказал человек, а что машина, тест пройден и машину можно назвать сильным ИИ.
В другом варианте теста Тьюринга человек общается с неизвестным собеседником, которым может быть и человек, и машина. Если он не может их различить, то тест пройден, и машина – сильный ИИ.
До недавнего времени считалось, что тест Тьюринга позволит определить момент, когда машина в плане разумности сравняется с человеком. Генеративные нейросети опровергли применимость теста Тьюринга для ответа на заданный в статье вопрос.
Считается, что искусственный интеллект как научное направление появилось во время двухмесячного научного семинара, проведённого летом 1956 года в Дартмутском колледже, в Великобритании. В семинаре приняли участие ведущие западные ученые в области информатики – Джон Маккарти, Марвин Минский, Клод Шенон, Герберт Саймон и другие – всего 11 человек. Всех приглашенных объединял интерес к вопросам моделирования человеческого разума.
В организационных документах семинара заявлялось:
Мы предлагаем исследование искусственного интеллекта сроком в 2 месяца ... Исследование основано на предположении, что всякий аспект обучения или любое другое свойство интеллекта может в принципе быть столь точно описано, что машина сможет его симулировать. Мы попытаемся понять, как обучить машины использовать естественные языки, формировать абстракции и концепции, решать задачи, сейчас подвластные только людям, и улучшать самих себя.
Дартмутский семинар стал ключевой вехой в становлении новой научной области. Были утверждены ее основные положения, направления исследований, принципы и подходы. По предложению Джона Маккарти она получила название – artificial intelligence (AI), или в русском языке – искусственный интеллект (ИИ).
Особое внимание на семинаре было уделено нейросетям. Один из основных принципов создания искусственного интеллекта предполагал меняющиеся ответы на переменную среду. Его реализация требовала обучения машины методом проб и ошибок на произвольных данных – по аналогии с работой нейронной сети человеческого мозга.
Этим принципом отцы-основатели заложили мину под символический ИИ. Обучаться методом проб и ошибок на произвольных данных он в принципе не умел. Возможно, поэтому в дальнейшем решения, основанные на символическом ИИ, чаще называли интеллектуальными информационными системами или системами с интеллектуальным интерфейсом, избегая термина искусственный интеллект.
Любопытное совпадение – 11 сентября 1956 года в Массачусетском технологическом институте собралась специальная группа ученых, занимавшихся науками, смежными с теорией информации. Среди присутствующих были Герберт Саймон, Аллен Ньюэлл, Ноам Хомский. Все трое занимались искусственным интеллектом. Первый – на стыке с экономикой, второй – на стыке с психологией, третий – на стыке с лингвистикой. Саймон и Ньюэлл летом того же года принимали участие в Дартмутском семинаре.
Считается, что встреча в МТИ сформировала еще одно новое научное направление – когнитивную психологию. Этот раздел психологии исследует познавательные процессы человека: восприятие, память, внимание, представление и обработку информации, логическое, критическое и системное мышление, воображение и творчество, принятие решений. Выводы когнитивной психологии широко используются в других науках – в социологии, педагогике, экономике, а также при проектировании и построении систем искусственного интеллекта.
Когнитивная психология способствовала формированию нового направления в экономике – поведенческой экономике. Герберт Саймон – американский ученый с широкими интересами, считается одним из основателей научного направления искусственный интеллект. По совместительству он – лауреат премии имени Нобеля по экономике, которого иногда называют отцом поведенческой экономики. Вот такие научные переплетения.
Так получилось, что после знакового Дартмутского семинара действительность стала расходиться с наполеоновскими научными планами. Нейросети, которые в теории обладали гигантским потенциалом, дальше забавных экспериментов не продвинулись. Вопреки первоначальным планам символический ИИ стал доминирующей парадигмой исследований с середины 1950-х до конца 1980-х.
Символический ИИ – это собирательное название для всех технологий искусственного интеллекта, основанных на высокоуровневом «символическом» представлении задач и вопросов, логики их обработки, поиска решений и ответов.
В 1956 году Герберт Саймон и Аллен Ньюэлл представили миру компьютерную программу «Логик-теоретик». Это была первая программа, специально разработанная для выполнения автоматизированного логического вывода, которую называют «первой программой искусственного интеллекта». Программа была предназначена для доказательства математических теорем.
Программе удалось доказать 38 из 52 теорем, изложенных во второй главе трехтомника «Принципы математики», одним из авторов которого был знаменитый Бертран Рассел. Машинное доказательство одной теорем оказалось более изящным, чем доказательство авторов трехтомника.
Герберт Саймон сумел показать новое доказательство Бертрану Расселу и, по словам очевидцев, тот «с восторгом отреагировал». Правда, попытка опубликовать новое доказательство в научном журнале, посвященном вопросам логики, провалилась Редакция его отвергла под предлогом, что доказательство элементарной математической теоремы не представляет особой ценности. Это говорит о том, что исследованиям в области ИИ в 1950-е годы значения не придавали.
В 1966 году общественности был представлен первый в истории чат-бот по имени «Элиза». Эта программа формировала ответы по ключевым словам, которые встречались в вопросе. Хитрые алгоритмы позволяли чат-боту походить на психотерапевта. В США визиты к «Элизе» стали весьма популярными, поскольку люди поражались убедительности реплик и принимали её за искусственный разум.
Это конечно не было прорывом, и при внимательном диалоге «Элиза» быстро показывала свою ограниченность. Однако ее появление подогрело интерес к обработке естественного языка как функции искусственного интеллекта. Главное – показанные возможности заинтересовали большие компании, а также DARPA – управление перспективных исследовательских разработок Министерства обороны США.
Тем не менее кризис надвигался. Он был связан даже не столько с небольшими успехами нового научного направления, сколько с неоправданными завышенными ожиданиями. После Дартмутской конференции учёные-энтузиасты увлеченно предсказывали, что в ближайшем будущем появятся умные машины с сильным ИИ. Однако компьютерные технологии не могли угнаться за фантазиями учёных и футурологов. Успехи «Логика-теоретика» и подобных систем с практической точки зрения представлялись незначительными, а популярность «Элизы» – недолговечной.
Интерес к ИИ начал падать, и к середине 1970-х годов финансирование ИИ-исследований свелось к минимуму. Этот период иногда называют первой зимой искусственного интеллекта.
Зима продлилась несколько лет. С 1980-х годов начался бум экспертных систем, которые являются частным случаем символического ИИ. Бум был вызван не научными прорывами, а практической пользой, которую наконец стали приносить технологии ИИ.
Экспертные системы предназначались для выполнения специализированных задач. По сути, они имитировали работу профессионалов, помогая принимать решения в конкретных сферах деятельности. Экспертные системы состояли из двух ключевых компонентов:
базы знаний в виде набора фактов и правил, собранных силами экспертов;
алгоритмов, которые на основе сопоставления поступающих запросов с базой знаний проводили анализ и предлагали решения.
Одна из самых известных экспертных систем была разработана для компьютерной корпорации DEC. Она помогала инженерам настраивать серверы, экономя миллионы долларов ежегодно.
Экспертные системы стали широко применяться в различных областях, включая медицину, инженерное дело и финансы. Они позволяли автоматизировать процессы принятия решений и улучшать точность и эффективность работы специалистов.
Экспертные системы доказали свою полезность в узких областях, где процессы можно было описать строгими правилами. Однако, несмотря на успехи, они имели существенные ограничения и не могли справляться с задачами, требующими гибкости и адаптации.
Увлечение некоторых ученых новым научным направлением понятно. Создание сильного ИИ – самая завораживающая исследовательская проблема. Но история развития технологий ИИ интересна еще одним аспектом – отношением к этой теме массового обывателя.
Ажиотаж вокруг темы, подогретый знаменитыми учеными в середине 1950- годов, длился недолго и перекочевал на страницы научно-фантастических произведений. Интерес обывателей к реальным результатам исследований в области ИИ также угас очень быстро.
Системы распознавания образов, построенные на сложнейшем математическом аппарате, давали слишком много ошибок. Программы, способные делать логические выводы и решать задачи в рамках некоторой системы аксиом и правил вывода, оказались чрезвычайно громоздкими. Да и программная система, способная доказывать математические теоремы, в золотой век капитализма послевоенной эпохи мало кого могла заинтересовать.
Всплеск массового интереса к «Элизе» быстро сменился разочарованием и еще большим отстранением от темы. Узкие экспертные системы интересовали в основном узких профессионалов, обсуждать их для обывателей было сложно и не интересно.
Людей волновал один вопрос – когда компьютер обыграет в шахматы чемпиона мира. В 1997 году компьютер Deep Blue в шести партиях победил Гарри Каспарова. Массовый интерес к ИИ угас окончательно. Все остальные успехи нового научного направления, вплоть до революции генеративного ИИ 2022 года, связаны с нейросетями.
Резюме. В самом начале отцы-основатели сделали правильное предположение: полноценный ИИ можно создать только на основе технологий, работающих по аналогии с нейронной сетью человеческого мозга. Дальнейшая история подтвердила эту гипотезу.
Сюжет 7. История нейросетей: 60 лет на дорогу к победе
Человек с новой идеей –
не более, чем сумасброд,
пока идея не восторжествует.
Марк Твен
Теперь можно перейти ко второй части истории становления нового научного направления – искусственного интеллекта. К истории развития нейросетей, удивительное будущее которых предвидели участники Дартмутского семинара – отцы-основатели ИИ. Их предвидение имело под собой серьезные основания и опиралось на выполненные к тому моменту научные исследования.
В 1943 году нейрофизиолог Уоррен Мак-Калок и логик Уолтер Питтс предложили теоретическую модель искусственного нейрона, фактически – его математическое описание. Затем ученые описали модель сети на основе искусственных нейронов и предположили, что она в состоянии обучаться, распознавать образы и делать обобщения. Их по праву называют основателями нейросетей, заронивших в умы других ученых уверенность в перспективности данного направления.
В 1949 году физиолог Дональд Хебб высказал гипотезу, что обучение в мозге человека происходит за счет изменения силы синаптических связей между нейронами. Именно эта идея позволила в дальнейшем создавать самообучающиеся искусственные нейросети. Аналогом силы синаптических связей в них стали разные веса искусственных нейронов, которые менялись в процессе обучения.
Практическое воплощение концепция нейросетей получила в 1958 году, когда американский нейрофизиолог Фрэнк Розенблатт создал перцептрон. Перцептрон – первая нейросеть, далекий предтеча больших языковых моделей, совершивших революцию в 2022 году.
Это было устройства размером с холодильник. Внутри – сплетение проводов и тумблеров, ряды электромеханических реле и резисторов. К устройству был подключен специальный "глаз" – матрица 20 на 20 из четырехсот фотоэлементов, каждый размером с монету С каждым фотоэлементом был связан резистор, с помощью которого можно было увеличивать или уменьшать вес поступающего от фотоэлемента сигнала. Цель у перцептрона была проста и амбициозна – он должен был научиться распознавать образы букв.
Устройству показывалось черно-белое изображение буквы на клеточном поле 20 на 20. Каждый фотоэлемент в бинарной логике распознавал цвет соответствующей клетки и передавал дальше 0 или 1. Переданные сигналы обрабатывались с учетом текущих значений весов. Отвечал перцептрон так: «да, это буква А» или «нет, это не буква А». Если ответ был правильным, показывался следующий рисунок. Если ответ был неправильный – создатели начинали «подкручивать» веса.
Так повторялось раз за разом – тысячи картинок с разными буквами. Постепенно перцептрон действительно начинал отличать одни простые образы букв от других.
Это был прорыв (наверное, сыгравший свою роль в содержании Дартмутского семинара и настроениях, которые на нем царили). Газеты трубили о рождении "электронного мозга", который вот-вот научится мыслить, как человек. Эксперты и «эксперты» предсказывали, что через несколько лет ИИ уничтожит человечество. Военные и бизнес щедро вливали деньги в исследования. Будущее из фантастических романов стучалось в дверь (конечно, не будущее – а падкие на сенсацию СМИ).
На деле перцептрон с трудом отличал треугольник от квадрата, букву "А" от буквы "Б". Говорить об искусственном разуме было сильно преждевременно. Это был первый бум в истории ИИ, когда ожидания улетели в космос, далеко оторвавшись от реальности. Что-то этот бум напоминает…
Прошло десятилетие – и эйфория закончилась. Компьютерные аналоги перцептрона заменили фотоэлементы, провода, реле и резисторы. Они научился отличать кружочки от квадратиков, различать простые начертания букв. Матрицы входящих сигналов увеличились. Однако модель так и не стала разумной даже в части восприятия. Компьютерные перцептроны ошибались в задачах чуть сложнее распознавания печатных букв и элементарных геометрических фигур.
В 1969 году два влиятельных ученых-информатика Марвин Минский и Сеймур Пейперт выпускают книгу "Перцептроны". В книге они раскритиковали концепцию и математически доказали, что у модели перцептрона есть фундаментальные ограничения. Такая модель принципиально не может решить даже элементарные с человеческой точки зрения задачи, как ее не обучай.
Книга стала холодным душем для восторженных почитателей нейросетей. Исследователи ИИ быстро сделали категоричный вывод: «Нейросети – тупиковая ветвь развития». Обыватели вывод усилили: «Вся шумиха вокруг ИИ – полная чушь, не стоящая внимания». Государственное финансирование ИИ-проектов резко урезали, инвестиции бизнес сократил, интерес к нейросетям упал почти до нуля. Холодная зима началась не только для символического ИИ, но и для нейросетей. То есть, для всех исследований в области искусственного интеллекта.
Интересно, что главным критиком нейросетей выступил Сеймур Пейперт – авторитетный сторонник символического ИИ. Известность ему принесла разработка в 1968 году языка программирования Logo. С помощью этого языка Пейперт предлагал учить младших школьников практически всему на свете. Правда, это совсем другая история.
Однако неоправдавшиеся надежды – не повод принижать роль первой модели нейросети для дальнейших исследований. Перцептрон заложил фундамент и подтвердил базовые идеи: веса для передачи сигналов, обучение через коррекцию ошибок. Эти идеи стали основой для всех будущих нейросетей, в том числе – для современных, в основе которых лежат большие языковые модели.
Перцептрон показал, что машина может обучаться на произвольных примерах, и сформировал интерес к новому направлению – машинному обучению. Принципиальные ограничения только заставили ученых искать пути, как их преодолеть.
И такие пути были найдены.
Проблема всех перцептронов была в их простоте – они были однослойными. Очевидной была задача по переходу к многослойным нейросетям. Именно в этом направлении двигались ученые-энтузиасты, даже в холодную зиму не потерявшие уверенность в правильности выбранного пути.
Теперь по идее должна идти сложная математика, которая в нашем повествовании совсем не уместна. Поэтому здесь и далее будем описывать работу многослойных нейросетей «на пальцах».
Однослойная нейросеть принимает сигналы и сразу решает, как ответить. То есть, для принятия решения есть всего один слой. Многослойная нейросеть работает поэтапно.
Первый слой принимает входные сигналы и замечает простые детали – тут линия, а тут светлое пятно. О замеченных деталях он сообщает дальше, второму слою. Второй слой получает только отчет первого и замечает уточняющие детали – линия изогнутая, пятно круглое. Об уточненных деталях второй слой сообщает третьему… Выходной слой получает сигналы от предпоследнего слоя и принимает итоговое решение – это морда кота с усиками.
Перспективный подход, однако некоторое время ученые не могли решить принципиальную проблему: как обучать такую многослойную конструкцию? Если выходной слой ошибся, как понять, какие из нейронов в середине передали неверные сигналы и какой вклад этих сигналов в итоговую ошибку?
В 1974 году Александр Галушкин и Пол Вербос независимо опубликовали описание метода обратного распространения ошибки. Сначала гениальность идеи научный мир не оценил. Через десять с небольшим лет ряд ученых независимо усовершенствовали метод. В их числе был один из отцов основателей нейросетей – Джеффри Хинтон, о котором мы еще будем говорить в следующих сюжетах.
Метод обратного распространения ошибки считается одним из величайших открытий в области ИИ. Он позволил разработать концепцию и методику машинного обучения, которое в результате постепенного и постоянного совершенствования привело к созданию современного генеративного ИИ.
Метод «на пальцах» можно объяснить так. Выходной слой нейросети, после того как получает сигнал о провале (неверном ответе), начинает работу над ошибками. Проводится она в обратном порядке – от выходного слоя к входному через все промежуточные слои нейросети. Выходной и предпоследний слои совместно выясняют, насколько ошибся предпоследний слой и соответствующим образом корректирую веса его нейронов. Затем то же самое проделывают предпоследний слой и его предшественник. Только теперь корректируются веса нейронов предшественника. Далее процедура продолжается вплоть до входного слоя.
В реальности все гораздо сложнее, и в современных нейросетях между входными и выходными слоями существуют сложные системы взаимосвязей и не менее сложные механизмы их активации. Но это уже тема для наиболее востребованных работников ИТ-отрасли – специалистов по машинному обучению.
Почему они так востребованы? Просто такой специалист должен сочетать глубокие знания высшей математики и хорошие компетенции в области программирования. Во времена, когда на рынке востребованы программисты-кодировщики (ИТ-пролетариат) со школьными знаниями по математике, подготовить таких специалистов очень сложно. Кому нужна зубодробительная высшая математика, когда хорошие зарплаты платят без нее – за уверенные навыки кодирования.
Но вернемся к нашей истории.
До 2010 года исследования в области обучения нейросетей активно велись в недрах исследовательских лабораторий ИТ-отрасли. Некоторые решения внедрялись в качестве узких специализированных систем. Так как особых практических результатов не было, массовый обыватель о них не знал и не говорил. На слуху были более важные темы: интернет-революция, пузырь доткомов, кризис 2008 года.
К 2010 году были сформированы условия для прорыва.
Достигло нужного уровня совершенства математическое обеспечение для работы с нейросетями. В первую очередь – в области их машинного обучения.
Для исследователей стала доступна база данных ImageNet, содержащая 15 миллионов изображений в 22 тысячах категорий. Распознавание и классификация изображений – одна из наиболее популярных задач для нейросетей того времени. Появление ImageNet облегчило обучение нейросетей такого типа, позволило улучшить качество распознавания. Путать кошку с собакой нейросети перестали.
Рост вычислительной мощности компьютеров, облачные хранилища данных и специализированные программы сделали работу с нейросетями доступной энтузиастам. Математический аппарат осваивали студенты математических факультетов, что позволило вовлечь в исследование и развитие нейросетей значительные интеллектуальные ресурсы. Такие исследования стали привлекать серьезные инвестиции.
Вот для примера несколько результатов, взятых из открытых источников тех лет.
Обученный искусственный интеллект определяет риск кардиологических заболеваний эффективнее реальных врачей.
Искусственный интеллект хорошо помогает распознавать потенциальные случаи мошенничества в различных сферах жизни.
Искусственный интеллект, анализирующий естественный язык, используется для создания чат-ботов.
Искусственный интеллект существенно улучшил механизмы рекомендаций в онлайн-магазинах и сервисах.
Искусственный интеллект наконец выиграл в Го у чемпиона мира (для алгоритмизации игра Го намного сложнее, чем шахматы).
В этих сообщениях идет речь о специальным образом обученных нейросетях. Примеры их применения к 2020 году можно растянуть на несколько книг, даже если каждой нейросети уделять один абзац.
Это был успех, который вознес исследования в области нейросетей на вершину трендов цифрового мира. Эксперты заговорили о грандиозных перспективах и страшных угрозах. А в это время в исследовательских лабораториях ИТ-гигантов зрела новая революция.
Главная проблема нейросетей второго десятилетия XXI века заключалась в том, что для их обучения нужны были специальным образом подобранные и вручную размеченные наборы данных. Готовить такие наборы –дело не очень сложное, но чрезвычайно громоздкое. И главное – заведомо ущербное, для решения универсальных задач не подходящее. О том, как из этой проблемы вывернулся любознательный человеческий ум, наши следующие сюжеты.
Резюме. Понадобилось более 60 лет, чтобы надежды, возлагавшиеся на нейросети, и инвестиции в них начали приносить практические плоды. Но, как показал дальнейший ход событий, это было только начало – яркие сигналы о грядущей революции.
Сюжет 8. Прорыв плотины: генеративные нейросети повсюду
Интеллект – это страсть.
Рене Декарт
Революцию генеративного ИИ отсчитывают с ноября 2022 года. О ее исторических и технологических предпосылках мы рассказали в предыдущих сюжетах. Для понимания нужно также обратиться к организационным аспектам, которые лежали в основе нового прорыва.
В 2015 году группа технологических энтузиастов-визионеров создала некоммерческую организацию OpenAI – исследовательскую лабораторию в области ИИ. Среди основателей были Сэм Альтман, Илон Маск, Илья Суцкевер – важные фигуры современной ИИ-отрасли. Цели новая организация провозгласила самые благие. Продвижение технологий ИИ во всем мире и бескорыстная помощь человеческой цивилизации – примерно в таких формулировках.
Основателей OpenAI чрезвычайно заботило, что будущий сильный ИИ может оказаться в частной собственности крупной корпорации. Сэм Альтман, вовлекая Илона Маска в новый проект, убеждал его, что Google вот-вот совершит технологический прорыв и захватит весь мир. Вот что он писал тогда культовому миллиардеру:
Я много размышлял и думаю, что человечество невозможно остановить от разработки ИИ. Так что, если это всё равно произойдет, то было бы неплохо, чтобы кто-то другой, а не Google, сделал это первым.
Как думаешь, было бы хорошей идеей запустить что-то вроде «Манхэттенского проекта» для ИИ? Мне кажется, мы могли бы привлечь немало топовых специалистов в индустрии. Можно было бы структурировать проект так, чтобы технология принадлежала всему миру…
Такие экзистенциональные цели были близки Маску. Свои главные бизнес-проекты – электрические автомобили и многоразовые космические полеты – он также запускал под цивилизационными лозунгами.
К тому моменту Маск разошелся во мнениях о перспективах ИИ со своим другом Ларри Пейджем – одним из основателей Google. Пейдж считал, что нужна конкуренция между человеком и ИИ, в которой должен победить сильнейший. Илону Маску идея, что человечество проиграет эволюционную гонку своему творению, категорически не нравилась. Как не нравились и монополистские намерения корпорации Google, которая к тому моменту приобрела компанию DeepMind, технологического ИИ-лидера того времени.
Илон Макс согласился с идеей Альтмана и вошел в некоммерческий проект в качестве инвестора, внеся на первых порах 45 миллионов долларов.
В самом начале лаборатория OpenAI заявила, что будет публиковать свои наработки в открытом доступе. И на первых порах честно это делала. Но уже в 2016 году подход стал меняться. Вот как его выразил Илья Суцкевер в одном из писем своим соратникам:
По мере того, как мы приближаемся к созданию ИИ, имеет смысл начинать быть менее открытыми. «Open» в OpenAI означает, что все должны пользоваться плодами ИИ после его создания, но совершенно нормально не делиться результатами исследований…
Тогда же выяснилось еще одно печальное, на закономерное обстоятельство. Как говорил один великий человек, логика обстоятельств сильнее логики намерений. Быстро стало понятно, что новые технологические решения по работе с нейросетями требуют серьезных вычислительных ресурсов. Да и зарплату элитным разработчикам нужно платить, какими бы энтузиастами научного прогресса они не были.
45 миллионов быстро закончились и нужны были новые инвестиции. Альтман считал, что нужно 100 миллионов долларов. Более опытный бизнесмен Илон Маск утверждал, что нужно собрать как минимум один миллиард. Почему Илон Маск сам не вложил всю сумму, широкой общественности не известно. Не решился, не было свободных средств, не хотел монополии – сейчас это не так важно.
К 2017 году стали понятны две вещи.
Первая – денег нужно еще больше, чтобы на равных конкурировать с Google. Для обеспечения вычислений нужны были современные GPU (графические платы). У Google на тот момент их было около 100 000, у OpenAI – только 6 000.
Вторая – привлечь инвесторов в некоммерческий проект не получится. Вкладывать миллиарды без отдачи, на благо всего человечества? Это не к частным инвесторам, а к государству. Власти США на роль такого общечеловеческого благодетеля тоже не подходили (впрочем, как власти любой страны).
Некоммерческая организация OpenAI после нескольких лет попыток создает в 2019 году коммерческую дочернюю структуру с одноименным названием. Она должна была принимать инвестиции, расходовать их (на благие цели, естественно) и обеспечивать будущую прибыль инвесторов.
Предсказать дальнейшее несложно. Быть единоличным лидером некоммерческой организации – это не очень интересное занятие. Поэтому основатели вполне уживались и дружно работали на благое начинание. А вот стать CEO бизнеса, в перспективе способного диктовать условия всему миру, – это совсем другое.
Илон Маск, как главный и на тот момент практически единственный инвестор некоммерческой организации OpenAI, по праву считал это кресло своим. Остальные основатели с этим не согласились. В переписке это звучало примерно так:
Ты раньше говорил, что не стремишься за контролем над будущим AGI, а тут вдруг выяснилось, что тебе критично стать CEO компании и получить абсолютный контроль над ней.
Маск, не получив желаемого, хлопнул дверью, прекратил финансирование и вышел из проекта. В 2024 году он подал в Калифорнийский суд иск к OpenAI, обвинив ее в отходе от заявленных изначально целей и ценностей. Иск суд, кстати, отклонил, но это другая история.
В 2019 году OpenAI привлекает инвестиции, но их не хватает.
В 2020 году экспертному сообществу представляется ChatGPT 3.0, работающий с множеством недостатков, но уже весьма перспективный продукт. И в этот момент на сцене появляется компания Microsoft, руководство которой понимает, что новые технологии ИИ – стратегическая угроза бизнесу корпорации. Microsoft делает OpenAI предложение, от которого трудно отказаться.
На первом этапе Microsoft инвестирует 1 миллиард долларов, получает долю в компании OpenAI и доступ к ее технологиям. Затем в несколько этапов заключаются новые соглашения и инвестиции увеличиваются на порядок. В октябре 2025 года Microsoft получает 27% в компании OpenAI. Эта доля оценивается в 135 миллиардов долларов. Кроме этого, по соглашению Microsoft сохраняет доступ к технологиям OpenAI до 2032 года.
В 2020 году команда Сэма Альтмана получает необходимые ресурсы, позволяющие форсировать разработки и наращивать возможности своих больших языковых моделей. В конце 2020 года из компании увольняется большая группа сотрудников, что тормозит, но не останавливает исследования. В 2021 году выходцы из OpenAI создают компанию Anthropic, еще одного современного лидера ИИ-отрасли. Не останавливается работа в тиши исследовательских лабораторий корпорации Google.
Гонка за первородство прорывается в публичное пространство в ноябре 2022 года. Компания OpenAI выпускает в виде веб-сервиса ChatGPT 3.5. Чат-бот практически мгновенно становится самой популярной темой обсуждений в экспертном сообществе и на кухнях. По некоторым оценкам ChatGPT 3.5 стал самым быстрорастущим веб-сервисом в истории интернета, достигнув 100 миллионов пользователей всего через два месяца после запуска.
Наверняка ChatGPT 3.5 имел много нереализованных возможностей. Это подтверждается быстрым выходом на рынок новых версий популярного чат-бота – ChatGPT 4o, ChatGPT 4o mini, ChatGPT 4.5, ChatGPT 5.0. Но компания приняла стратегически верное решение – вывести продукт на рынок «как есть», не дожидаясь идеального функционала. И не прогадала. Во-первых, как бы не сложилась дальше гонка ИИ-лидеров, первенство в революции генеративного ИИ остается за OpenAI. Во-вторых, конкуренты сразу были поставлены в позицию догоняющих.
Выход в свет ChatGPT 3.5 можно ассоциировать и с ящиком Пандоры, и с прорывом плотины, и с запуском первого спутника. Революция началась, и ее уже не остановить. Интересна в этой связи реакция миллиардера-мечтателя Илона Маска. Сначала он пытался собрать экспертов и сформировать общественное мнение в пользу ограничений ИИ-технологий, несущих человечеству невероятные угрозы. Затем, в марте 2023 года создал свою ИИ-компанию, которая со своим продуктом Grok быстро присоединилась к лидерам.
С 2023 года на ошалевшее человечество, которое только успокоилось после эпидемии COVID-19, как из рога изобилия посыпались ИИ-решения, выдаваемые на-гора лидерами и многочисленными стартапами. Все, имевшие собственные наработки в области ИИ, стремились присоединиться к революции, получить свою долю хайпа и инвестиций. Инвесторы не просто оживились. Они пришли в полный восторг и на все, что связано с генеративным ИИ, полился дождь инвестиций.
Оптимисты утверждали, что новый чат-бот успешно проходит тест Тьюринга. Конечно, можно придираться и утверждать, что это не совсем так. ChatGPT 3.5 и даже его более продвинутые потомки некоторое время не могли, например, правильно посчитать, сколько букв R в слове STRAWBERRY. Только чат-бот ChatGPT 5.0 научился справляться этой фундаментальной задачей.
Но если смотреть на подавляющее число диалогов, которые увлеченные пользователи вели и ведут с чат-ботами, то отличить их от диалогов людей друг с другом практически невозможно.
Но текстовые диалоги генеративных нейросетей – это лишь верхушка айсберга. Или, точнее, – фундамент, на котором строится все величественное строение под названием «генеративный ИИ». Практически все иные инструменты предполагают текстовый диалог с пользователями. Генераторам изображений, аудио и видео нужно пояснять, что должно получится на выходе. Писать prompt – так это сейчас называется. Генеративный ИИ должен prompt прочитать, разобрать и понять.
В завершении сюжета кратко перечислим, что сегодня может делать генеративный ИИ. И наш список – далеко не полный, области применения и решаемые задачи постоянно множатся.
Генеративный ИИ:
пишет самые разнообразные тексты: стихи, рассказы, рекламные сообщения, официальные письма, …;
создает новые изображения по заданным описаниям и в заданных стилях, реставрирует фотографии, обрабатывает изображения (например, удаляет лишние детали или добавляет новые);
пишет музыку, тексты к ней и песни, неотличимо подделывает голоса любых людей, общается с клиентами в службах поддержки;
генерирует по заданному сценарию и на основе предлагаемых изображений реалистичное видео, накладывают на видеоряд звуковое сопровождение;
разрабатывает сценарии (фильмов, шоу-программ), составляет планы мероприятий и аналитические отчеты, учебные курсы и тесты, делает презентации – и все это с уместным сочетанием информации в разных форматах;
пишет программный код на всех языках программирования для решения все более сложных задач, тестирует программный код и находит в нем ошибки;
выполняет домашние задания для школьников и студентов, готовит курсовые работы и дипломные проекты;
проверяет тексты договоров, в том числе на соответствие законодательной базе, находит в них ошибки и противоречия;
анализирует результаты медицинских анализов и исследований, ставит диагнозы, выявляет патологии, отслеживают состояние пациентов и консультирует их, помогает разрабатывать лекарства.
Перечень не полный, но и его достаточно, чтобы признать: генеративный ИИ прорвал плотину, открыл ящик Пандоры, и шестая информационная революция началась. ИИ-разработчики соревнуются, расширяя возможности своих творений и создавая все новые и новые решения. Инициативные пользователи с помощью генеративного ИИ улучшают свои профессиональные возможности. Любознательные пользователи балуются с новой игрушкой. Обычные пользователи присматриваются и готовятся вступить в гонку века. Скептики сомневаются, алармисты бьют в колокола. Караван идет, набирая ход.
Резюме. Инициатива, которая начиналась как желание ИИ-визионеров послужить человечеству, быстро превратилась в крупнейший в истории инвестиционный бум. К чему это в итоге приведет? Ответ на этот сакраментальный вопрос будем искать в последующих сюжетах.
Сюжет 9. Почему современный ИИ – это революция
Революции –
локомотивы истории.
Карл Маркс
Основатель марксизма знал толк в революциях и сказал абсолютно правильно. Любая революция – это коренная трансформация привычного порядка вещей. Она приходит в сложившийся мир и меняет условия его существования. Правда, Карл Маркс имел в виду социально-экономические преобразования общества, но то же самое по праву можно сказать о промышленных и информационных революциях. Промышленные революции мы рассматриваем в книге «Цифра и экономика», а информационные – в книге «Цифра и человек».
Революция генеративного ИИ – это революция информационная, по счету – шестая. Поэтому имеет смысл кратко напомнить о предыдущих пяти революциях, чтобы можно было сравнить эффекты преобразований, которые они принесли человечеству.
Начнем с определения.
Информационная революция – это глубокие качественные изменения, происходящие в результате внедрения новых средств хранения, обработки и передачи информации.
Напомним ход пяти информационных революций.
Первая революция – появление письменности. Усложнение хозяйственной деятельности по мере образования крупных родовых общин породило потребность в хранении и передаче информации на большие расстояния. Эту потребность нужно было удовлетворять – и люди для начала стали использовать предметное письмо. Затем оно трансформировалось в письмо пиктографическое. Далее пиктографическое письмо постепенно превратилось в иероглифическую письменность, которая сегодня сохранилась только в Китае, Японии, Северной Корее и Южной Корее. В остальном мире постепенно распространялось алфавитное письмо.
Вторая революция – технологии книгопечатания. Бумагу и первые технологии печати текстов изобрели в Китае в первом тысячелетии нашей эры. Однако эпоху книгопечатания принято отсчитывать с XV века, когда в Средневековой Европе немецкий изобретатель Иоганн Гутенберг создал первый печатный станок и напечатал на нем Библию. Создание книг перестало быть таинством, которое держала под контролем католическая церковь.
Третья революция – средства коммуникаций. Революция началась в XIX веке и тесно связана с изобретением электричества. Последовательно появились телеграф, телефон и радио. Несколько позже – в середине XX века появилось телевидение, которое тоже принято относить к третьей информационной революции. Наверное, правильно относить к третьей информационной революции первые мобильные телефону, служившие исключительно для коммуникаций.
Четвертая революция – компьютерные устройства. Обычно большие ЭВМ не включают в состав этой революции, так как они, решая важные научные и промышленные задачи, на жизнь подавляющего большинства жителей Земли влияния не оказали. Четвертая информационная революция началась с массового распространения персональных компьютеров в 1980-х годах. Продолжилась она уже в XXI веке, когда на смену кнопочным мобильным телефонам пришли смартфоны – полноценные персональные компьютерные устройства.
Пятая революция – интернет-технологии. В 1991 году интернет стал общедоступным. За несколько лет к нему подключились миллионы компьютеров. Первый миллиард пользователей интернет получил в 2005 году. Сегодня пользователей интернета в мире – более 5 миллиардов. Информационные ресурсы, поисковые машины, социальные сети и разнообразные онлайн-сервисы – вот краткий перечень основных интернет-технологий.
Информационные революции меняли мир кардинально.
Письменность позволила сохранять и передавать потомкам накопленные человечеством знания. Книгопечатание поставило эту практику на поток, что позволило вовлечь в работу с информацией практически все человечество. Телеграф, радио и телефон на порядки ускорили коммуникации между людьми, приучив человечество к работе с актуальной информацией. Персональные компьютеры и смартфоны вооружили каждого человека эффективным инструментом для работы с информацией. Интернет сделал практически любую информацию доступной, онлайн-взаимодействие – нормой.
Попробуем обосновать, что стремительное распространение генеративного ИИ тоже кардинально трансформирует жизнь человечества и поэтому по праву называется информационной революцией. При этом не будем забегать вперед и рассуждать об изменениях, которые может привнести в нашу жизнь сильный ИИ. Это уже будет не революция, а технологическая сингулярность, о которой речь в одном из следующих сюжетов. Будем говорить только о текущем состоянии генеративного ИИ и его ближайших перспективах.
Перечислим основные факторы.
Партнер в познании. До появления генеративного ИИ человек занимался познанием окружающего мира индивидуально или в сообществе с себе подобными. Инструменты, которые он для этого использовал, были всего лишь инструментами. Наскальная живопись, глиняные таблички, папирусы, перо и бумага, печатные книги и журналы, телеграф и телефоны, персональные компьютеры и смартфоны, многочисленные программные продукты. Все это были технологические средства для работы с информацией. Их эффективность повышалась, но инструменты оставались инструментами.
Генеративный ИИ доказал, что способен демонстрировать многие когнитивные способности, ранее относящиеся только к человеку. Он стал не просто забавным собеседником – это теперь всегда доступный и достаточно надежный партнер в когнитивной работе. Многие задачи, для которых нужны интеллектуальные усилия, генеративный ИИ решает не хуже человека. Именно как партнера воспринимают генеративный ИИ все больше и больше людей.
Общение с миром техники. До недавнего времени человек общался с окружающими его технологическими устройствами на их языке. Это мог быть язык механических воздействий – например, так человек управлялся с транспортными средствами. Это мог быть язык фиксированных инструкций – например, управление приборами, использование интерфейсов компьютерных программ, написание программного кода.
Генеративный ИИ переводит наше общение с миром техники на естественный для нас язык. Мы теперь можем общаться практически с любыми устройствами, использую обычную письменную или устную речь. Как нам кажется, интернет вещей будет развиваться в этом направлении. И это безусловно революционная трансформация.
Рынок труда. Оценки событий, который происходят на рынке труда вследствие внедрения генеративного ИИ, разнятся. Кто-то предрекает почти полное замещение интеллектуального труда ИИ-технологиями. А после оптимизации технологий, позволяющих создавать локальный ИИ, – замещение умными роботами людей многих профессий. Кто-то скептически приводит в пример статистику, которая говорит о том, что большинство запросов к ИИ – это баловство и глупости. Что организации не спешат перестраивать свои бизнес-процессы, а массовые увольнения – фейки или не связанные с ИИ последствия конкретных экономических провалов.
Во многом здесь, как и в 1950-е годы, негативную роль играют громкие заявления и завышенные ожидания. И тем не менее революционные изменения происходят, пусть пока только в некоторых направлениях Генеративный ИИ постепенно трансформирует сферу разработки программного обеспечения. Полезность искусственного когнитивного партнера оценили маркетологи, рекламщики, дизайнеры. Уже видна революция в организации научных исследований.
Цифровой контент. То, что происходит на рынке цифрового контента, иначе как революцией назвать нельзя. Собственно, генеративный ИИ свое название получил за способность быстро, качественно и дешево создавать тексты, изображения, аудио и видео.
Количество цифрового контента, который создают разные модели генеративного ИИ, растет как на дрожжах. Во многих случаях его уже невозможно отличить от контента, который создают люди.
Еще один фактор – революционные изменения, связанные с достоверностью цифрового контента. После пятой информационной революции психологи и социологи заговорили о том, что для нормальной жизни в цифровом информационном пространстве человеку нужно развивать критическое мышление. После шестой информационной революции без критического мышления жить в мире фейков и полуправды будет сложно. Точнее, жить-то будет проще, но вот куда такая жизнь может привести – большой вопрос.
Новая аналитика. До недавнего времени аналитическая работа строилась по одной схеме. Человек через поисковую систему запрашивал в интернете информацию, выбирал нужные источники и затем уже на их основе занимался непосредственно аналитикой. Так школьники выполняли домашние проекты, студенты – курсовые и дипломные работы, ученые – научные обзоры, экономисты – аналитические отчеты. Подобная работа требовала серьезных когнитивных усилий.
Сегодня такая схема устаревает с пугающей скорость. Генеративный ИИ прекрасно справляется со школьными домашними заданиями и проектами, студенческими работами, научными обзорами, обобщением и анализом информации в любых сферах. Здесь уместно вспомнить тезис, который мы неоднократно повторяем. Искусственный интеллект делает сильного сильнее, а слабого – слабее.
Сфера образования. Очень печальная тема, так как образование – одна из самых консервативны сфер человеческой деятельности. Это объективная ситуация. Плоды основного образования отложены на годы в будущее, а революционным изменениям государственная система образования умеет хорошо противостоять. Да и коренные изменения невозможно проводить быстро из-за длительных согласований. Поэтому во время шестой информационной революции сфера образования становится заложником лозунгов «не навреди!» и «работает – не трогай!»
Тем не менее революционные изменения в сфере образования происходят, только носят они стихийный характер. Школьники и студенты, как любые нормальные люди, свято придерживаются важного психологического принципа, которые предполагает приложение минимальных усилий для достижения заданного результата. Генеративный ИИ прекрасно помогает им этот принцип соблюдать.
Военные конфликты. Войны – одно из самых древних занятий, которым тысячелетиями так любило заниматься неугомонное человечество. Первая и Вторая мировые войны своими страшными результатами охладили эту любовь. Ядерное оружие заставило человечество вести себя предельно аккуратно. Но военные конфликты по-прежнему вспыхивают в самых разных горячих точках планеты.
Пока еще главным участником этих трагических событий остается человек. Даже разного рода беспилотные устройства военного назначения все еще в значительной степени управляются людьми. Но ситуация, похоже, неуклонно движется к революционным изменениям в военном деле. На сцену выходят автономные устройства военного назначения. Если они будут воевать между собой, сокращая при этом реальные человеческие жертвы, то это вроде бы лучше войны с активным участием людей. Но вот только есть большие сомнения, что воевать такие автономные системы будут только друг с другом.
Угрозы безопасности. Последний фактор связан со стремительным увеличением угроз на всех уровнях. Подделка голоса открывает небывалые возможности перед мошенниками. Доказаны способности генеративного ИИ по взлому информационных систем. Вызывает большие опасения встраивание генеративного ИИ в самые разные управленческие контуры человеческой цивилизации.
Резюме. Наверное, это не все факторы. Но и перечисленных достаточно, чтобы утверждать: генеративный ИИ запустил новую информационную революцию, шестую по счету. Хотелось бы верить, что не последнюю.
Часть 3. Общее представление о генеративном ИИ
Сюжет 10. Ключевые технологии генеративного ИИ
Интеллект – это способность
избегать выполнения работы, но так,
чтобы она при этом была сделана.
Линус Торвальдс
Считается, что революция генеративного ИИ началась в ноябре 2022 года с выходом в публичное пространство чат-бота ChatGPT 3.5, разработанного компанией OpenAI. Но революции на голом месте не происходят. Все второе десятилетие XXI века велась подготовительная работа – разрабатывались, апробировались и совершенствовались технологии работы с нейросетями.
За каждой технологией скрываются сложные математические понятия и алгоритмы. Как мы уже говорили, погружаться в них – удел специалистов по проектированию, разработке и обучению нейросетей. Поэтому мы познакомимся лишь с концепциями, которые предельно кратко описывают эти ключевые технологии. По каждой технологии любознательный читатель при желании самостоятельно сможет найти публикации нужного уровня сложности и детализации.
Сначала напомним, что ключевой проблемой нейросетей предыдущего поколения была необходимость вручную отбирать и размечать данные, на которых нейросети обучались. Громоздкая задача даже для специализированных нейросетей. Для универсальных – задача просто неподъемная. Поэтому исследователи в первую очередь искали способы, как обучать нейросети на исходных неразмеченных данных, которых на просторах интернета – воз и маленькая тележка.
Первая технология – генеративно-состязательная нейросеть (Generative adversarial network, GAN). Это архитектурное решение, состоящее из двух конкурирующих нейросетей, каждая из которых в процессе состязания обучается сама и помогает обучаться конкуренту.
GAN была представлена на суд общественности в 2014 году.
Концептуальная идея проста и гениальна.
Первая нейросеть генерирует объект, относящийся к заданной категории. Например, изображение кота. Эту нейросеть так и называют – генератор. Новое изображение – это его (генератора) выход.
Выходные данные генератора подаются на вход второй нейросети, которую назвали дискриминатор. Чтобы внести элемент неопределенности, на вход дискриминатора также периодически подаются реальные изображения. Получив изображение, дискриминатор должен определить – оно реальное или сгенерированное.
Если дискриминатор ошибся и посчитал сгенерированное изображение реальным, он проиграл этот раунд. Победитель генератор настройки не меняет. Проигравший дискриминатор корректирует параметры своей нейросети, улучшая возможности распознавания.
Если дискриминатор точно определил, что поданное ему на вход изображение – плод работы генератора, он считается победителем. Победитель сохраняет настройки, а проигравший (генератор), получив соответствующий сигнал, свои настройки корректирует, улучшая способности к генерации.
Если на вход дискриминатора было подано реальное изображение, то в этом раунде генератор отдыхает. Если дискриминатор ошибается, он корректирует свои настройки. Если правильно определяет, что изображение реальное, начинается следующий раунд.
Предварительно для GAN собирается набор исходных данных. Исходные данные нужны генератору – это источник его вдохновения. Исходные данные нужны дискриминатору – по ним определяется, правильно ли он определил источник изображения.
GAN могут работать с разными данными: изображениями, текстами, аудио, видео. Главное – ручная разметка исходных данных не нужна, все обучение происходит в автоматическом режима.
Вторая технология – автоэнкодеры. Это базовая техника генеративного ИИ и машинного обучения, на основе которой строятся более сложные модели. Понятно, что в ее основе тоже лежат нейросети.
Автоэнкодер предназначен для кодирования данных в более компактное представление и затем декодирование компактного представления в исходную форму. Процесс полностью автоматический. Автоэнкодер учится сам, без необходимости в явных метках или человеческом вмешательстве. Во время обучения он автоматически находит способы, как лучше всего представить данные в компактной форме.
Автоэнкодер состоит из двух частей. Первая часть – энкодер – переводит исходные данные в более компактную форму. Вторая часть – декодер – пытается восстановить исходные входные данные из закодированного представления. Цель состоит в том, чтобы обеспечить максимальное сходство выходных данных с оригинальными входными, показывая, что кодирование сохраняет основные признаки.
Это напоминает работу программ-архиваторов, только более умную. Автоэнкодер способен понять важные особенности данных (так называемые скрытые признаки) и запоминает их вместо всех данных. На изображениях, например, он может запомнить очертания объектов или относительное положение объектов друг к другу. Из этого приблизительного закодированного описания данные восстанавливаются. Понятно, что при этом происходят потери, но если они не велики, то работа автоэнкодера признается удовлетворительной.
В обучении нейросетей автоэнкодеры используется для уменьшения размерности или сжатия данных, а также, например, для удаления шума с изображений.
Третья технология – стабильная диффузия (Stable Diffusion, SD). Эта технология лежит в основе нейросетей, которые генерируют изображения и видео.
Для пользователей генерация изображений и тем более видео выглядит как магия. Как компьютер может генерировать настолько реалистичные изображения и делать это так быстро? Еще несколько лет назад это казалось совершенно невозможным. SD позволила сделать фантастику реальностью.
На концептуальном уровне модель SD проста и гениальна.
Модель учится на исходном наборе парных изображений. Одно изображение в паре – реальное изображение. Второе – то же изображение, в которое по определенному алгоритму добавляются искажения (шум). Узнать во втором изображение исходное – сложно или невозможно. Для этого второе изображение нужно очистить от шума.
Этому и учат нейросеть, которая лежит в основе SD. Получив на вход искаженное изображение, SD пытается определить добавленный к изображению шум, удалить его и проявить оригинал. То, что получилось, сравнивается с первым изображением (оригиналом). По результатам сравнения в нейросети корректируются параметры, чтобы она проявляла оригиналы все лучше и лучше.
Добавление шума и его удаление выполняются за ряд итераций. Такой подход последовательного пошагового приближения к образцу (идеалу) используется не только в SD, а практически во всех технологиях машинного обучения.
Когда SD обучена делать прекрасное из шума, ее можно начинать использовать. Пользователям предлагается описать свои пожелания и передать это SD-модели.
На вход SD-модели поступает текстовый запрос, в котором описывается, что пользователь хочет получить на изображении. Запрос разбирается, кодируется и передается в информационное пространство SD-модели. В этом пространстве хранится закодированное описание сущностей, которые участвовали в процессе обучения: котов, собак, облаков, деревьев, попугаев, …
По закодированному запросу SD-модель находит в пространстве нужные сущности, определяет контекст, в котором они должны быть связаны на изображении, и запускает процесс генерации. Затем технология SD очищает сгенерированное изображение от ненужного шума.
Четвертая технология – сверточные нейросети (Convolutional Neural Network, CNN). CNN – технология не новая, ее придумали еще в XX веке. Но она развивается и продолжает активно использоваться.
Если изображения показывать обычной нейросети, то она будет воспринимать все пиксели, а потом по этим пикселям будет учиться распознавать котов. Человек делает это совсем по-другому. Он видит уши, усы, плоский нос, пушистый хвост и понимает – это кот. Похожий подход к анализу изображений используют CNN.
На вход CNN поступает изображение. Фрагменты изображения последовательно рассматриваются с помощью специального блока, которое называется ядром CNN. Уместно провести аналогии с лупой. Мы наводим ее на левую верхнюю часть страницы и начинаем читать, перемещаясь слева направо и сверху вниз.
Отличие ядра CNN от лупы заключается в том, что выделенные фрагменты изображения по правилам ядра обрабатываются и трансформируются (сворачиваются), например, в числа. Числа одно за другим по мере просмотра всех фрагментов изображения помещаются в дополнительную структуру, например, матрицу.
Предположим, у нас есть квадратное изображение. Разбиваем его по вертикали и горизонтали на 5 квадратных фрагментов – всего получается 25 фрагментов. Ядро CNN одно за другим просматривает эти фрагменты и по заложенным в него правилам последовательного заполняет числами матрицу 5 на 5. В дальнейшем решение о том, кот на изображении или не кот нейросеть принимает, анализируя матрицу.
Пятая технология – рекуррентные нейросети (Recurrent neural network, RNN). Эту технологию сегодня заменили трансформеры – ключевая технология генеративного ИИ, о которой пойдет речь дальше. Но мы решили включить концептуальное описание RNN для лучшего понимания тех решений, которые пришли им на смену.
В обычной нейросети любой нейрон внутренних слоев имеет один вход для получения сигнала от нейрона предыдущего слоя и один выход для передачи сигнала нейрону последующего слоя. Такая конструкция плохо приспособлена для получения и обработки последовательностей, например, фрагментов текста (последовательности слов).
Для восприятия и обработки последовательностей элементов и были придуманы RNN. Узлы в такой нейросети могли иметь несколько выходов и входов. То есть, нейрон мог передавать обычный сигнал об элементе нейрону следующего слоя и одновременно передавать сигнал другому нейрон, например, соседнему в том же слое. Второй сигнал – это информация о порядке элемента в последовательности. Таким образом CNN можно было научить обрабатывать тексты, последовательности событий, статистических данных и многое другое.
RNN широко использовались во втором десятилетии XXI века. Они, например, лежали в основе первых версий голосовых помощников Siri корпорации Apple и Alexa корпорации Amazon. RNN активно применялись для машинного перевода с одних языков на другие.
Главный недостаток RNN проявлялся при работе с длинными фрагментами текста. Чтобы хранить весь контекст приходилось помнить все и создавать для этого очень громоздкие модели RNN. Если модель упрощалась для обработки более коротких сообщений, контекст мог теряться – модель, обрабатывая конец текста, забывала о том, что было в его начале.
Все мы помним, как коряво по нынешним стандартам работали машинные переводчики еще 10 лет назад. Воспринять книгу и сохранить контекст между главами при помощи RNN – об этом не было даже речи. Нужно было принципиально иное архитектурное решение.
Шестая технология – трансформеры. Новое архитектурное решение в 2017 году представили на суд общественности исследователи из Google Brain. Именно оно дало старт шестой информационной революции – революцию генеративного ИИ. Революцию готовили в исследовательских лабораториях лидеров ИИ-рынка. Пять лет полученные результаты (например, ChatGPT 1, 2, 3) до широкой общественности не доводились. Когда в ноябре 2022 года количество перешло в качество, мир узнал о ChatGPT 3.5.
Как обычно, идея на концептуальном уровне проста и изящна, хотя для ее реализации потребовались годы исследований. RNN воспринимают и кодируют отдельные слова и их порядок следования в предложении. Трансформеры воспринимают и кодируют отдельные слова и их контекстное окружение. Например, есть фрагмент «черный кот на крыше». При кодировании слова «кот» трансформер кодирует и контекст – связь «кота» с «чернотой» и «крышей».
В сравнении с RNN такой подход был существенно экономичнее по вычислительным ресурсам, необходимым для обработки текстов. Кроме того, он позволял разбивать большие фрагменты текста на блоки, а затем воспринимать и обрабатывать их параллельно. Таким образом существенно повышалась скорость работы технологии.
О трансформерах речь пойдет в одном из следующих сюжетов.
Резюме. Революцию генеративного ИИ, стартовавшую в конце 2022 года, подготовили технологии – оригинальные, простые на идейном уровне, но предельно сложные в реализации и математическом обеспечении. Сколько еще таких идей вертятся в исследовательских коллективах – нам еще только предстоит узнать.
Сюжет 11. Данные, которые используют для обучения
Дети учатся на примере взрослого,
а не на его словах.
Карл Юнг
Практически любой человек знает или хотя бы слышал, что генеративный ИИ обучается на больших массивах данных. Относительно этих массивов существует два предубеждения, широко распространенных среди людей, не представляющих, что такое машинное обучение. Это люди, которые уже активно используют генеративный ИИ, а также люди, которые к нему только присматриваются.
Первое предубеждение – для обучения нейросетей уже использованы все данные, накопленные человечеством. Второе предубеждение – нейросети обучаются на абсолютно случайных данных, которые они вытягивают из интернета.
Разбираться с машинным обучением – удел квалифицированных специалистов. Но нынешним и будущим пользователям генеративного ИИ с предубеждениями лучше расстаться. Попробуем им в этом помочь. А заодно поговорим о том, как находятся, отбираются и готовятся данные для обучения самых разных моделей современного искусственного интеллекта.
Начнем с первого предубеждения.
С 2024 года в самых разных изданиях, в том числе весьма авторитетных, постоянно появляются публикации примерно с такими заголовками: «Данные для обучения нейросетей заканчиваются. Что дальше?» В подтверждение приводится, например, такое сообщение:
Осенью 2024 разработчики OpenAI обнаружили, что, несмотря на общий рост производительности самой последней языковой модели, прогресс при переходе на нее менее заметен, чем при переходе от ChatGPT-3 к ChatGPT-4. Они связывают это с тем, что модель обучили уже на всех легкодоступных данных.
Читатель, уверены, уже отметил, что ключевое слово здесь «легкодоступные», а не слово «все». И это действительно так – заканчиваются легкодоступные данные, которыми могут пользоваться разработчики генеративного ИИ. Но, значит, есть еще и труднодоступные данные?
Здесь придется сделать небольшой экскурс во всемирную паутину.
Мы так часто употребляем слова «интернет», «всемирная паутина», «глобальная сеть», что в нашем сознании само понятие интернет ассоциируется с огромным, но единым информационным пространством. Мы почему-то уверены, что можем найти в интернете все.
Не все, что пожелаем, но точно – все, что там есть. В интернете, скорее всего, нет описания и изображения семирукого шестинога. Но если есть, их можно получить, составив правильный поисковый запрос – не правда ли? В реальности – все не совсем так.
В интернете принято выделять три сегмента.
Видимый интернет (Surface Web). Это тот сегмент интернета, к которому мы получаем доступ при помощи ссылок и поисковых запросов. В нем расположены официальные сайты организаций, новостные порталы, интернет-издания и многого другое, что находится в открытом доступе. Этот сегмент интернета доступен поисковым роботам, которые постоянно индексируют веб-страницы. Google и другие поисковые системы выдают в качестве результата только то, что находится в видимом сегменте интернета.
Глубокий интернет (Deep Web). Этот сегмент иногда называют «скрытая сеть», «невидимая сеть». Это места или контент в интернете, к которым нельзя получить доступ с помощью обычных поисковых систем. В первую очередь, это веб-страницы и базы данных, для доступа к которым нужно пройти аутентификацию, например, ввести логин и пароль. Так владельцы контента ограничивают к нему доступ.
Ограничение доступа к цифровому контенту может быть обусловлено многими причинами. Защитой персональных данных, конфиденциальностью контента, желанием на нем заработать.
Темный интернет (Dark Web). Более распространен термин даркнет. Это совсем небольшой сегмент интернета, для доступа к которому нужны специальные программные средства (обычные браузеры его не видят). В этом сегменте основная часть контента связана с преступной деятельностью. Искать читателю этот сегмент интернета мы категорически не рекомендуем, так как незаметно преступить закон в темном интернет проще простого.
Когда сравнивают сегменты видимого и глубокого интернета, обычно используют аналогию с айсбергом. Видимый интернет – это малая часть информационного айсберга. Глубокий интернет – его основная, гораздо более массивная часть. По некоторым оценкам глубокий интернет содержит более 90% цифровых данных. Оценки разнятся, но в любом случае закрытый цифровой контент в разы превосходит контент открытый.
Понятно, что учиться на данных из глубинного интернета генеративный ИИ в общем случае не может. Конечно, создатели ИИ-модели могут купить закрытый цифровой контент у его владельцев. В некоторых случаях владельцы свой контент и закрывают, чтобы зарабатывать на доступе к нему. Однако общей ситуации это не меняет – огромное количество закрытых данных для обучения нейросетей недоступно.
Да и с открытыми данными в видимом сегменте все не так просто.
С 2008 года некоммерческая организация Common Crawl занимается сканированием видимого сегмента интернета и созданием его обширного архива. Результаты своей работы организация бесплатно предоставляет широкой общественности. На ноябрь 2024 года в архивах организации хранилось около 250 миллиардов страниц, 45% которых – на английском языке.
До революции генеративного ИИ деятельность организации особых возражений не вызывала. Платный контент находился в закрытом сегменте интернета, а если попадал в видимый сегмент, Common Crowl была не при чем – это были происки пиратов.
Все изменилось, когда архивы Common Crowl стали использовать для обучения своих нейросетей компании, ведущие разработку в области генеративного ИИ. Быстро выяснилось, что в архивах хранятся миллионы платных публикаций, принадлежащих крупнейшим изданиям, таким как The New York Times, The Wall Street Journal и другие.
Поисковые роботы Common Crowl, как и поисковые роботы Google, умели извлекать платные публикации, пользуясь некоторыми скрытыми возможностями новостных лент. Но от поисковых инструментов Google владельцы контента признавали пользу – они увеличивали поток пользователей на их ресурсы. А вот пользы от того, что их публикации служат для обучения генеративного ИИ, владельцы не видели. Более того, уникальные возможности по генерации текстов делают искусственный интеллект серьезным конкурентом для периодических изданий и новостных агрегаторов.
Сегодня многие крупнейшие информационные ресурсы блокируют программы, которые собирают данные для обучения нейросетей. Среди них New York Times, Reuters и CNN. Поэтому пока генеративному ИИ сложно конкурировать на рынке оперативной достоверной информации. Давать объективную оценку событиям, которые произошли на днях, он не может.
Говорить, что данные для обучения нейросетей заканчиваются, преждевременно. Владельцам генеративного ИИ и владельцам уникального цифрового контента есть, о чем договариваться. К тому же следует помнить, что в реальном мире остается много данных, которые еще не оцифрованы. Это живая речь людей в многочисленных аудиозаписях прошлых лет, библиотеки мира, архивы периодики на разных языках, произведения искусства, археологические находки.
Второе предубеждение – нейросети обучаются на абсолютно случайных данных, которые они вытягивают из интернета. Попробуем кратко объяснить, почему это не совсем так.
В машинном обучении есть важнейший термин датасет. Датасеты – это организованные наборы данных, которые используются для обучения и тестирования нейросетей. Как правило, они представляют из себя упорядоченные коллекции записей, каждая из которых содержит различные характеристики конкретного объекта.
Если ввести в поисковой строке Google слово «датасет», то в выдаче будет много результатов с такими названиями: «130+ датасетов для машинного обучения», «Топ 100 open source датасетов», … В реальности доступных датасетов – десятки тысячи. Они различаются по назначению, содержанию и объему. Вот несколько примеров:
ImageNet – легенда, изменившая мир машинного обучения, которую мы уже упоминали. 14+ миллионов размеченных изображений в более чем 20 000 категорий.
MNIST – 70 000 рукописных цифр размером 28×28 пикселей.
Kinetics-700 – 650 000 видеоклипов из YouTube, покрывающих 700 классов человеческих действий. Минимум 700 примеров на каждое действие — от занятий спортом до повседневной активности.
Отдельные датасеты можно найти для различных видов транспорта, одежды, обуви и мебели, фруктов, овощей и цветов, древнеегипетских иероглифов, деталей автомобилей, ситуаций на дороге, … Сложно придумать тему, для которой не найдется подготовленного датасета.
В интернете существует много открытых и закрытых коллекций датасетов. Например, американское правительство создало ресурс, который содержит тысячи датасетов от федеральных агентств по климату, здравоохранению, транспорту, экономике. Данные структурированы по регионам и уровням власти, что упрощает поиск. Есть коллекция датасетов на основе статистики здравоохранения от ВОЗ.
Для увеличения объема данных, которые можно использовать в обучении, часто применяется их аугментация – внесение незначительных изменений в реальные данные. Например, на фотографии человека меняется цвет глаз, форма носа, прическа. Измененные данные увеличивают объем обучающего набора, и при этом сохраняется связь с реальными данными.
Кроме датасетов, огромное значение для обучения нейросетей имеют синтетические данные. Так называют сгенерированные компьютером данные, похожие на настоящие, но при этом полностью выдуманные. Это не фотографии лиц реальных людей, а изображения лиц, нарисованные нейросетью. Это не истории болезни реальных людей, а придуманные истории вымышленных пациентов, похожие на настоящие. Это не портреты реальных покупателей, а похожие имитации с ФИО, которые берутся «с потолка».
Применение в обучении синтетических данных позволяет справиться с несколькими проблемами, которые плохо решаются или вообще не решаются при работе с реальными данными.
Дефицит и редкость данных. Например, нейросеть нужно научить диагностировать редкую болезнь. Реальных историй болезни – десяток, крайне мало для обучения. В таких случаях на помощь приходят синтетические данные, которые можно создать вручную или по заданным алгоритмам. Нейросеть учится на «выдуманных» данных и начинает лучше распознавать реальные.
Проблемы конфиденциальности. Законы о персональных данных ужесточаются во всех странах. Компании как огня боятся их утечки, и синтетические данные – то, что нужно в этой ситуации. Например, банк хочет сделать нейросеть, которая будет предсказывать, кто возьмет кредит и вернет, а кто – нет. Использовать для ее обучения реальные данные клиентов — опасно и незаконно. Поэтому создаются мифические кредитные истории «выдуманных» клиентов, похожие по статистике на настоящие истории. Для обучения нейросети подходит, сохранность персональных данных не нарушена.
Стоимость реальных данных. Например, чтобы обучить беспилотный автомобиль ездить по разным дорогам, нужно потратить много ресурсов на реальные тестовые поездки. Синтетические данные помогают сократить издержки. Создается виртуальная среда, в которой нейросеть автомобиля собирает синтетические данные с камер и датчиков и учится принимать правильные решения.
Дисбаланс реальных данных. В реальных данных один тип данных может присутствовать в избытке, а данных другого типа – явно недостаточно. Обучение на них будет однобоким и в итоге – ущербным. Синтетические данные помогают выравнивать такие дисбалансы.
Мусор в реальных данных. Как и сама жизнь, реальные данные – не идеальны. В них могут быть опечатки, ошибки, случайные помехи, которые мешают обучению нейросети. Синтетические данные могут быть очищены от этих помех.
Синтетические данные играют важную роль в машинном обучении, но всегда следует помнить об опасностях их чрезмерного или неуместного применения.
Синтетические данные могут быть недостаточно похожи на реальные. Например, человеческие лица, которые генерируют нейросети, как правило, идеальны и не имеют явных изъянов. Если нейросеть обучать только на таких лицах, она будет плохо распознавать реальные лица с морщинами, дефектами и разными оттенками кожи, плохим освещением.
Синтетические данные могут потерять важные нюансы реальных данных. Например, при разработке беспилотного наземного транспорта нужно учитывать все особенности погодных условий. Если забыть, например, про извилистую скользкую дорогу, в какой-то момент это станет катастрофическим недостатком.
Резюме. Подбор и/или подготовка специальных наборов данных для обучения нейросетей – это искусство в сочетании с высокой квалификацией. Да и потенциал накопленных человечеством неструктурированных данных далеко не исчерпан – генеративному ИИ есть, чему учиться.
Сюжет 12. Обучение, проверка и настройка
LLM
Я получил образование в библиотеке.
Совершенно бесплатно.
Рэй Брэдбери
Обучаться на структурированных наборах данных – датасетах – нейронные сети научились еще до революции генеративного ИИ. Такое обучение до сих пор играет важную роль, но революцию вызвали другие технологические решения. Их название сегодня слышали многие – большие языковые модели (Large Language Model, LLM).
LLM способны «понимать» поступающий на вход текстовый запрос и адекватным образом реагировать на него. Эта их способность после выхода в свет ChatGPT 3.5 уже несколько лет будоражит умы людей. Для большинства такая способность LLM – таинство и повод говорить об искусственном разуме, к созданию которого наконец-то приблизилось любознательное человечество.
Будем разбираться, как обычно – «на пальцах».
Прежде чем LLM начнет на равных общаться с людьми, ее нужно этому обучить. Обучаются LLM на обычных человеческих текстах – книгах, публикация в СМИ, официальных документах, мнениях самых разных людей по самым разным поводам. Такое обучение предполагает, что LLM правильно воспринимает и интерпретирует поступающие на вход тексты, а результаты каждой интерпретации улучшают возможности LLM к последующему общению.
Прежде чем перейти к обучению LLM, перечислим некоторые проблемы, с которыми сталкиваются любые технологии обработки естественного человеческого языка. До недавнего времени решение этих проблем казалось невыполнимой задачей.
Проблемы и примеры будем приводить для русского языка.
Неоднозначные по смыслу фразы. Бытие определяет сознание. Что здесь что определяет на самом деле. Хочешь есть? Да нет, не знаю. Так «да», «нет» или «не знаю»?
Многозначные слова. Что ты думаешь об этом замке? А про что речь – про рыцарский замок или про дверной замок?
Фразеологизмы. Ни пуха, ни пера. У нас нет ни того, ни другого? Темная лошадка. А это лошадь какого цвета?
Отнесение местоимений к существительным. Мы составляли план праздника, потому что он … был очень нужен; … был очень близок. Без контекста невозможно определить, к чему относится местоимение «он».
Это лишь некоторые проблемы, которые подчеркивают сложность задачи понимания текстов. Тем не менее LLM научились справляться и с этими проблемами, и со многими другими, которые делают человеческий язык образным, богатым, эмоциональным.
Напомним, что в основе LLM лежат трансформеры – архитектура, которая пришла на смену RNN – рекуррентным нейросетям. RNN воспринимают и обрабатывают текст последовательно – слово за словом. На больших текстах RNN работают плохо и неэффективно. Трансформеры способны воспринимать тексты целиком, сохраняя при восприятии заложенные в них смыслы и контекст.
LLM обучается на огромном количестве текстов. Обычно эти тексты делятся на три части. Первая используется непосредственно для обучения, вторая – для настройки параметров, третья – для итоговой проверки. Эти части не должны пересекаться, так как это завышает оценку качества работы LLM.
Сначала текст из первой части поступает в блок предварительной обработки, которая автоматически выполняется в несколько шагов.
На первом шаге текст разбивается на токены. Большинство токенов – это отдельные слова, но в целом ситуация сложнее и токенами могут быть неразделимые сочетания слов. Например, Нижний Новгород. Разбивать это название на два слова «нижний» и «Новгород» неправильно, так как в последующем приведет к искажениям. Таким образом, токены – это минимальные смысловые единицы.
Иногда токены объединяются в связанные последовательности, если в реальном языке соответствующие слова используются как устойчивые сочетания. Например, словосочетание «правильная дробь» целесообразно представить одним объектом для последующей обработки.
На втором шаге текст, разбитый на токены, нормализуется. Эта процедура предполагает переход к нижнему регистру, удаление знаков препинания, перевод в символьный вид всех чисел, расшифровку аббревиатур и некоторые другие операции.
На следующем шаге в словах-токенах выделяются корни путем устранения приставок, суффиксов, окончаний, они приводятся к канонической форме. Глаголы и его формы ставятся в неопределенную форму, существительные и прилагательные – в именительный падеж единственного числа. Слова «подумаю» и «думая» превращаются в слово «думать». Слова «веселенькие» и «празднички» в слова «веселый» и «праздник».
На последнем шаге подготовительного этапа проводится чистка текста – удаляются слова, которые не несут смысловой нагрузки: (артикли, междометья, союзы, предлоги).
После этого текст готов к переводу в его в числовые векторы и последующей обработке. Здесь начинается самая сложная для понимания часть процесса обучения LLM, за которой стоит математика, понятная и нужная специалистам по проектированию и обучению нейросетей. Для нас важно понять концептуальный смысл дальнейших действий, которые предпринимает LLM, формируя, поглощая и обрабатывая векторное представление подготовленного текста.
На первом шаге токены заменяются числами. Для замены используются заранее подготовленные переводные словари, в которых представлены пары «токен – число». Далее под токенами будем понимать их числовые представления.
Для дальнейшего погружения еще раз обратимся к архитектуре трансформеров, которая лежит в основе работы LLM. Важнейшим ее элементом является механизм внимания (attention). Этот механизм заменяет в LLM механизм понимания, который лежит в основе человеческого мышления.
Как и почему человек понимает текст и все его контекстные нюансы – до сих пор большая загадка. Во многом понимание человека интуитивно, не предсказуемо и вряд ли представимо в виде строгой математической модели. Механизм внимания LLM – это не метафора, не интуиция, а строгий математический аппарат. В результате его применения LLM великолепно имитирует важнейшую когнитивную способность человека – понимание речи.
С помощью механизма внимания LLM определяет, какие токены входного текста наиболее значимы в конкретной ситуации. LLM не фиксирует последовательность токенов, а вычисляет, какие из них связаны между собой и насколько. Каждый токен сопоставляется с каждым, независимо от их положения в тексте. По результатам сопоставления формируется матрица весов, которая отражает степень значимости каждой пары токенов по отношению друг к другу.
Черный кот залез на черепичную крышу дома.
После применения механизма внимания к этому предложению, слова «кот» и «крыша», «кот» и «черный» оказываются в многомерном векторном пространстве ближе друг к другу, чем слова «кот» и «черепичный». Эта близость выражена строгими математическими отношениями (параметрами нейросети), которые можно использовать для дальнейшей работы».
По мере обработки различных текстов, векторное пространство расширяется и уточняется. Если про черного кота LLM узнала не из одного текста, а из многих, близость слов «кот» и «черный» будет зафиксирована в результатах обучения LLM более прочно.
Естественный язык многогранен. Слова в предложениях и тексте связаны не только по смыслу, но и по синтаксису, позиции, ассоциациям, стилистике, концепциям.
Черный кот, живущий на крыше дома, напоминает не животное, а трубочиста.
Слова «черный» и «кот», «черный» и «напомнить» – связь смысловая и синтаксическая, так как это словосочетания. Слова «кот» и «трубочист» – связь ассоциативная. Слова «кот» и «животное» – связь концептуальная.
Поэтому в LLM используется механизм множественных голов внимания (multi-head attention). Каждая «голова» – это независимый блок внимания, обучающийся видеть определённый вид связей и вычислять соответствующие им весовые параметры. Так формируется сложная многослойная структура внимания, где LLM одновременно смотрит на текст под разными углами. Это делает его восприятие более точным и гибким, а внутреннее представление текста – многомерным.
Результатом всей процедуры является многомерная матрица внимания, в которой каждому слову присвоены веса, показывающие его важность для всех остальных слов по разным видам связей.
А теперь представим себе, какое количество связанных данных должно храниться в многомерном векторном пространстве после того, как LLM «прочитает» тысячи книг и сотни тысяч публикаций. Именно поэтому для больших языковых моделей понадобились нейросети с миллиардами параметров и огромные вычислительные мощности.
На этапе предварительного обучения LLM «проглатывает» огромное количество книг и публикаций, представляющих разные грани человеческого творчества – от юмористических рассказов до научных отчетов, от коротких новостных сообщений до романов. Обработать поступающие на вход тексты – первая задача LLM. Вторая задача – генерировать связанный текст в ответ на запросы пользователей.
Когда LLM генерирует текст, она не думает и не выбирает в человеческом смысле. У нее нет интуиции, воли или намерения. Есть только математическая структура, в которой каждое возможное слово имеет свои веса, зависящие от контекста. И есть стратегия генерации, которая формирует последовательность слов. Каждое следующее слово подбирается с учетом четырех основных факторов:
первый фактор – математическая структура поступившего на вход запроса пользователя;
второй фактор – математическая структура, сформированная на этапе предварительного обучения;
третий фактор – вероятностные алгоритмы, позволяющие подбирать наиболее подходящие слова (если в запросе есть слова «лаять» и «кусать», наиболее вероятное слово для подбора – «собака»);
четвертый фактор – сформированная до этого последовательность слов в ответе.
Вероятностные алгоритмы могут быть настроены разными способами. Можно использовать очевидное правило «подбирать слова в лоб, с самой высокой совокупной вероятностью».
Солнце взошло над…
Вероятность токена «море» – 0.45, токена «город» – 0.30, токена «стакан» – 0.001. Модель не задумываясь выбирает токен «море». Текст получается предсказуемым и … скучным. Если вероятностные алгоритмы настроить более тонко, можно получить красивую литературную фразу.
Солнце взошло над прекрасным просыпающимся городом.
После предварительного обучения LLM проводится ее проверка, отладка и экспертная настройка.
В ходе проверки LLM получает от экспертов тестовые задания, затем эксперты оценивают качество их выполнения. У первых LLM экспертами выступали люди. В настоящее время все чаще в качестве экспертов используют другие LLM (об этом – в следующем сюжете).
Если в процессе проверки выясняется, что в работе LLM есть недостатки или пробелы, проводится ее отладка – LLM обучается на дополнительных текстах. Их подбирают таким образом, чтобы LLM после их обработки избавилась от выявленных недостатков.
Экспертная настройка – это проверка LLM на соответствие человеческой этике и внесение в нее соответствующих ограничений. Такая настройка, например, запрещает LLM давать советы по приготовлению взрывчатых веществ, обсуждать детскую порнографию, рассказывать о наркотиках. Перекосы в экспертной настройке могут усиливать галлюцинации LLM (о этом поговорим в одном из следующих сюжетов).
Резюме. Большие языковые модели – LLM – не умеют думать, как человек. Но гениальные идеи и мощный математический аппарат научили их великолепно имитировать важнейшие когнитивные способности человека – понимание текстов и ведение осмысленного разговора на естественном языке.
Сюжет 13. Варианты дополнительного обучения
LLM
Учиться, учиться и учиться.
Владимир Ленин
Универсальная LLM обучена, проверена, отлажена и настроена. Модель выпускают в мир, и начинается ее эксплуатация. Пользователи в восторге, некоторые даже готовы платить за это деньги. Однако в ходе работы с LLM постепенно вырисовываются несколько проблем.
Проблема первая – LLM делает разного рода ошибки. Не может посчитать количество букв R в слове STRAWBERRY. Ошибается в перемножении трехзначных чисел. Не понимает родовидовые отношения между понятиями. Не может решить несложные логические задачи, например, из тестов IQ. Перечень можно продолжать.
Проблема вторая – не хватает актуальных данных. В мире постоянно происходят новые события в самых разных сферах человеческой деятельности. Об этих событиях появляются многочисленные публикации в прессе. LLM об этих публикациях не знает, в ее математической структуре они не учтены.
Проблема третья – не хватает специальных знаний. Когда универсальной LLM начинают давать задания, требующие глубоких специальных знаний, она может путаться, упрощать или вообще фальсифицировать ответы.
Проблема четвертая – стиль ответов LLM не соответствует задаче. Чат-боту, который обслуживает клиентов, нужно повысить уровень вежливости в диалогах. Чат-бот, который играет роль приятеля, должен общаться непринужденно и даже где-то фамильярно.
Проблема пятая – не хватает индивидуальных данных. Человеку часто хочется получать ответы на вопросы, учитывающие его индивидуальные предпочтения. Например, только ту информацию о каком-то событии или явлении, которую он считает важной (важной именно для себя).
Каждая проблема по отдельности и уж тем более все они в совокупности – это повод для разработчиков LLM следовать завету вождя большевиков, вынесенному в эпиграф сюжета.
Здесь важно отметить два обстоятельства.
Во-первых, LLM – это сложнейшая программная система. Как любая сложная программная система она не может обновляться по щелчку пальцев – нашли недостаток, тут же его устранили и систему обновили. Так в ИТ-отрасли не делается для любых сложных систем.
Недостатки выявляются, систематизируются, накапливаются, постепенно исправляются, работоспособность системы повторно тестируется. В какой-то момент этот цикл приостанавливается. Новая версия системы с исправленными недостатками обновляется и становится доступной пользователям.
Точно так же разработчики дорабатывают и развивают свои LLM – периодически выпускают новые версии, которые существенно превосходят предыдущие. Периодичность – это не дни, а месяцы.
Во-вторых, перечисленные проблемы имеют разную природу и требуют совершенно разных подходов для решения. Об этих подходах дальше и будем говорить.
Устранение ошибок в работе LLM. Это самая скрытая от широкой публики работа создателей больших языковых моделей. Какие-то проблемы решаются понятными способами. Для каких-то проблем разработчики придумывают тайные алгоритмы и подходы, о которых можно только догадываться.
Например, для правильного сложения трехзначных чисел одна команда разработчиков просто «скормила» своей LLM полное множество соответствующих примеров. Позже, скорее всего, в LLM просто встроили что-то вроде математического калькулятора.
Авторы на заре ИИ-революции экспериментировали с ChatGPT 3.5, задавая чат-боту вопросы по формальной логике. Например, проведи два деления понятия «небесное тело» по разным основаниям. Чат-бот не только не справлялся с такими заданиями, он их просто не понимал. Следующие версии основы формальной логики освоили, подобные вопросы понимают и отвечают, пусть и не безукоризненно.
Самые большие проблемы у LLM с логическими головоломками. Особенно с теми, где используются графические изображения. Об этом поговорим в сюжете, который посвящен оценке разумности генеративного ИИ.
Дообучение LLM на актуальных данных. Это понятная и самая простая для решения проблема. Очевидный способ – периодически доучивать LLM на новых данных. Нужно их вовремя отслеживать, отбирать и «скармливать» модели. Понятно, что человек постарался предельно автоматизировать эти процессы.
Однако есть еще один вариант, которому научился современный генеративный ИИ. Решение простое и изящное, как это часто бывает у умных людей, которые категорически не выносят «дурной работы». О нем расскажем в конце этого сюжета.
Дообучение LLM на специальных данных. Такое дополнительное обучение называют тонкой настройкой (fine-tuning). Она предполагает тщательное формирование набора текстов, содержащих специальную информацию, на котором затем доучивается LLM.
В отличии от дополнительного обучения на актуальных данных, тонкая настройка LLM – совсем не очевидный выбор. Во многих случаях она просто не нужна, так как современные LLM хорошо справляются с большинством коммерческих задач и без нее. Например, чат-бот на основе универсальной LLM, помогающий заказывать цветы в цветочном магазине, не нужно доучивать на детальных описаниях декоративных растений. Он будет давать дельные советы и без этого.
Есть еще один аргумент против тонкой настройки по любому поводу. Очень часто неудовлетворительные ответы LLM – это прямое следствие неполного или некачественного запроса. Грамотный prompt с хорошим пояснительным контекстом способен делать чудеса. LLM, которая только что отвечала убого или невпопад, с хорошим запросом начинает генерировать полные качественные ответы.
Тем не менее в определенных случаях тонкая настройка уместна. В первую очередь, когда LLM должна использоваться в определенной профессиональной сфере деятельности: в медицине, юриспруденции, военном деле, образовании, …
Здесь можно провести следующую аналогию. Предварительное обучение LLM на базовых наборах текстов – это как школьное обучение. Человек получает универсальные, но поверхностные знания. Обучение студента на медицинском факультете – это как тонкая настройка универсальной LLM. Не теряются общие представления о мире и при этом приобретаются специальные знания, умения и компетенции.
Тонкая настройка может предполагать полноценное переобучение с обновлением всех без исключения параметров модели. Однако у этого подхода есть два существенных недостатка. Во-первых, для него требуются значительные вычислительные ресурсы. Во-вторых, возникает риск катастрофического забывания, когда модель, осваивая новые данные, теряет часть ранее приобретенных общих знаний.
Сегодня чаще используют подходы, когда тонкая настройка не затрагивает основную большую языковую модель. В одних подходах тренируют лишь маленькую часть параметров основной модели. В других – отдельно тренируют новые маленькие модели и потом объединяют их с основной LLM.