Kitabı oxu: «Искусственный интеллект на службе бизнеса. Как машинное прогнозирование помогает принимать решения»

Глава 2. Почему это называется «интеллект»

В 1956 году группа ученых собралась в Дартмутском колледже в Нью-Гемпшире, чтобы определить направления исследований в области ИИ. Их интересовало, можно ли запрограммировать компьютеры на решение когнитивных задач, чтобы они могли играть в игры, доказывать теоремы и пр. Также они формализовали такие понятия, как язык и знания, чтобы машины могли описывать объекты и явления. Они стремились предоставить компьютерам возможность выбора и побудить их выбрать лучший из вариантов. Исследователи с оптимизмом оценивали возможности ИИ. Обращаясь в Фонд Рокфеллера за финансированием, они писали:

«Мы намерены выяснить, как научить компьютер использовать язык, оперировать абстрактными понятиями и концепциями, решать разные типы задач, которые сейчас под силу только человеку, и совершенствовать самих себя. Полагаем, что за лето при условии сплоченной работы мы заметно продвинемся в направлении одной или нескольких целей»²⁷.

Но эти планы по большей части остались в мечтах. Помимо прочего, в 1950-х компьютеры были недостаточно мощными и быстродействующими для воплощения в жизнь всех замыслов студентов.

После этого заявления ИИ показал некоторый прогресс в машинном переводе, но незначительный. Разработки ИИ для узкоспециализированной среды (например, создания программы-психотерапевта) были неприменимы в других случаях. В начале 1980-х появилась надежда на создание экспертных систем для замены квалифицированных специалистов, в том числе для постановки медицинских диагнозов, но проекты оказались дорогостоящими, громоздкими и не могли учитывать миллиарды исключений и вариантов, что привело к периоду, называемому «зимой ИИ».

Но, похоже, зима закончилась. Сейчас данных больше, модели лучше, компьютеры мощнее, поэтому недавние разработки в сфере машинного обучения привели к повышению качества прогнозов. Усовершенствования в сборе и хранении больших данных обеспечили основу для новых алгоритмов машинного обучения. По сравнению со своими предшественниками современные компьютеры оборудованы более мощными процессорами, а новые модели машинного обучения гибче и выдают более точные прогнозы – настолько, что эту отрасль IT снова стали называть искусственным интеллектом.

Прогнозирование оттока клиентов

В основе развития прогностики лежат улучшенные данные, модели и компьютеры. Для понимания их ценности давайте рассмотрим давнюю проблему прогнозирования оттока клиентов, как выражаются маркетологи. Большинству компаний привлечение клиентов обходится дорого, и, следовательно, их отток приносит убытки. С набранной клиентской базой компания экономит на этих расходах, снижая отток. Сложнее всего его контролировать в сферах профессиональных услуг: страховании, финансовых операциях и телекоммуникации. Первый шаг к снижению оттока – выявление ненадежных клиентов, для чего компании могут использовать прогностические технологии.

Раньше отток клиентов прогнозировали статистическим методом, называемым «регрессия». Научные исследования позволили усовершенствовать его.

Ученые предложили и протестировали сотни различных методов регрессии в теории и на практике.

Регрессия делает прогноз на основе средних показателей прошлого. Например, если вам необходимо определить, пойдет ли завтра дождь, и у вас есть только данные за предыдущие семь дней, то оптимально использовать средний показатель. Если дождь лил два дня из семи, то вероятность завтрашних атмосферных осадков составит примерно два из семи, то есть 29%. Но благодаря всему, что нам теперь известно о прогностике, мы можем сконструировать модели, способные извлекать из контекста больше данных и точнее рассчитывать средний показатель.

Мы делали это с помощью так называемого условного среднего значения. Например, если вы живете на севере Калифорнии, то из опыта знаете, что вероятность осадков зависит от времени года – она ниже летом и выше зимой. Таким образом, если зимой вероятность дождя достигает 25%, а летом – 5%, вы не считаете, что завтра она составит 15%. Почему? Потому что вам известно, зима сейчас или лето, и прогнозируете вы с учетом этих данных.

Поправка на сезон – только одно из условий среднего значения (хотя и распространенное в розничной торговле). Учитываются также время суток, уровень загрязнения, облачность, температура океана и вообще любая доступная информация.

Поправки можно делать на несколько факторов одновременно: пойдет ли завтра дождь, если сегодня пасмурно, сейчас зима, дождь идет в 320 км к западу, в 160 км к югу солнечно, земля влажная, температура Северного Ледовитого океана низкая и дует юго-западный ветер со скоростью 24 км/ч? Однако все это обрастает громоздкими вычислениями. Только расчет среднего для семи категорий данных дает 128 комбинаций, а с дополнительными данными – в разы больше.

До машинного обучения множественная регрессия была эффективна для учета нескольких условий без необходимости рассчитывать десятки, сотни и тысячи условных средних значений.

Регрессия собирает данные и пытается извлечь результат с минимумом прогностических ошибок и с максимальной «точностью приближения», как ее называют.

К счастью, математическое значение термина точнее, чем это может показаться, исходя из формулировки. Регрессия минимизирует прогностические ошибки среднего значения и за крупные ошибки карает строже, чем за мелкие. Это достаточно надежный метод, особенно для работы с относительно небольшим объемом данных и при условии понимания, что́ в прогнозе самое главное. Например, если оценивать отток аудитории кабельного телевидения, то важны привычки людей; те, кто включает телевизор редко, с большей вероятностью откажутся от подписки на канал.

Кроме того, регрессионные модели способствуют генерации объективных результатов, поэтому при достаточном количестве прогнозов в среднем они будут точными. Хотя мы предпочитаем объективные прогнозы субъективным (в которых систематически переоценивается или недооценивается какой-либо показатель, например ценность), первые все еще не идеальны. Это утверждение можно проиллюстрировать старой статистической шуткой.

Физик, инженер и статистик отправились на охоту. В лесу они увидели оленя.

Физик прикинул расстояние до цели, скорость и cнижение траектории пули, сделал нужные поправки, выстрелил – и промахнулся на полтора метра влево.

Расстроенный инженер упрекнул его: «Ты забыл сделать поправку на ветер. Дай сюда ружье!» Он лизнул палец, поднял руку вверх, определил направление и скорость ветра, выстрелил – и промахнулся на полтора метра вправо.

И тут статистик закричал: «Ура! Попали!» Заметим, что он даже не расчехлил ружье.

Идеальная точность в среднем иногда говорит о том, что каждый отдельный результат ошибочен. Регрессия может постоянно промахиваться на полтора метра влево и вправо. Даже если средний показатель оказывается верным, не исключено, что регрессия ни разу не попала в цель.

В отличие от регрессии, прогнозы, сделанные при помощи машинного обучения, в среднем содержат ошибку, но если прогноз неверен, то обычно эта ошибка невелика. Статистики называют это допущением некоторого смещения при одновременном снижении дисперсии.

Важное отличие машинного обучения от регрессионного анализа заключается в способе разработки новых методов. Создавая новый метод машинного обучения, вы должны будете на практике доказать, что он лучше работает и насколько он эффективнее, для разработки же новых методов регрессии достаточно их работоспособности в теории. Акцент на практической стороне дал разработчикам свободу экспериментировать, хотя их методы давали оценки, которые в среднем были неверными или необъективными. Именно эта свобода позволила достичь быстрых результатов и совершенствовать машинное обучение, используя преимущества больших массивов данных и вычислительной мощности современных компьютеров.

В конце 1990-х и начале 2000-х успех экспериментов с машинным обучением для прогнозирования оттока клиентов был скромным. Методы машинного обучения совершенствовались, но регрессия все еще давала в целом лучшие результаты. Данных хватало, а компьютеры не были настолько мощными, чтобы реализовать все преимущества машинного обучения.

Например, центр Teradata в Университете Дьюка в 2004 году провел турнир по анализу данных для прогнозирования оттока клиентов. Тогда подобные события были редкостью; любой мог подать заявку, а выигрыш выплачивался наличными. Победители использовали регрессионные модели. Некоторые методы машинного обучения продемонстрировали неплохие результаты, но нейросети, впоследствии совершившие революцию в ИИ, никуда не годились. В 2016 году все выглядело наоборот: в лучших моделях прогнозирования оттока клиентов использовалось машинное обучение, а модели глубокого обучения (нейронными сетями) превзошли все остальные.

Что же изменилось? Во-первых, объем данных и быстродействие компьютеров стали достаточными для повсеместного использования машинного обучения. В 1990-е было трудно собрать действительно большой датасет. Например, в классическом исследовании прогнозирования оттока использовалось 650 клиентов и менее 30 переменных.

К 2004 году компьютерная обработка и хранение данные усовершенствовались. В турнире Дьюка набор обучающих данных содержал информацию о сотнях переменных для десятков тысяч клиентов. При таких условиях методы машинного обучения улучшились до уровня регрессии, если не превзошли его.

Современные исследователи прогнозируют отток на основе тысяч переменных и миллионов клиентов. Возросшая вычислительная мощность компьютеров дала возможность анализировать огромные объемы данных, включая, помимо цифр, тексты и изображения.

Например, в модели оттока клиентов мобильного оператора исследователи использовали данные телефонных звонков за каждый час помимо стандартных переменных, таких как размер абонентской платы и своевременность оплаты.

Методы машинного обучения стали лучше использовать имеющиеся данные. В конкурсе Дьюка ключом к успеху был выбор – какие из сотен доступных переменных включить и какую взять статистическую модель. Лучшие методы того времени, будь то машинное обучение или классическая регрессия, использовали комбинацию статистических проверок и интуиции. Современные методы машинного обучения (и особенно глубокого обучения) обеспечивают моделям гибкость, иными словами позволяют сочетать переменные самым неожиданным образом. Скажем, те клиенты с высокими тарифами, у которых есть много минут в начале расчетного периода, уйдут с меньшей вероятностью, чем клиенты, платящие столь же много, но говорящие меньше и «копящие» минуты к концу расчетного периода. Клиенты с большими счетами за роуминг в выходные, которые к тому же платят с опозданием и часто пишут СМС, тоже склонны менять оператора. Такие комбинации могут сыграть для прогнозирования решающую роль, но их трудно предугадать. И поэтому их не включают в стандартные регрессионные модели. Машинное же обучение дает возможность выбирать, какие комбинации и взаимосвязи могут иметь значение. И это делает машина, а не программист.

Прогресс методов машинного обучения в целом и глубокого обучения в частности означает, что отток клиентов можно точно прогнозировать на основе имеющихся данных. И сейчас очевидно их превосходство над регрессией и многими другими методами.

Прогнозирование в других сферах

Помимо оттока клиентов машинное обучение улучшило прогнозирование во многих других сферах, от рынка до погоды.

Финансовый кризис 2008 года ознаменовал крах основанных на регрессии прогностических методов. Отчасти в кризисе виновны прогнозы вероятности дефолта по обеспеченным долговым обязательствам. В 2007 году агентства уровня Standard & Poor прогнозировали, что в ближайшие пять лет вероятность не получить доход по обязательствам с рейтингом ААА²⁸ составит 1 из 800. Пятью годами спустя больше одного из четырех обеспеченных долговых обязательств не принесли дохода. Изначальный прогноз оказался провальным, несмотря на обширные данные по предыдущим дефолтам.

Проблема заключалась не в недостатке данных, а в том, как аналитики использовали их для прогнозирования. Рейтинговые агентства исходили из моделей множественной регрессии, в которых цены на недвижимость на разных рынках друг с другом не сопоставлялись. В этом и состояла ошибка, и не только в 2007 году, но и раньше. Прибавьте сюда одновременное потрясение нескольких рынков недвижимости, и вероятность потерь на обеспеченных долговых обязательствах резко возрастает, даже если они распределены по многим городам США.

Аналитики создают регрессионные модели на основе гипотез о том, что именно (и с какими характеристиками) имеет значение, – для машинного обучения все это не нужно. Модели машинного обучения особенно хороши для вычленения полезных переменных из множества и определения, что не имеет значения, а что, как ни удивительно, наоборот. К сегодняшнему дню интуиция и гипотезы аналитиков утратили свою значимость. Таким образом, машинное обучение позволяет делать прогнозы на основе непредусмотренных сопоставлений, как, например, то, что цены на недвижимость в Лас-Вегасе, Фениксе и Майами изменятся одновременно.

Если это всего лишь прогноз, за что его называют интеллектом?

Недавний прогресс в машинном обучении преобразовал применение статистики для прогнозирования. Последний рывок в развитии ИИ наводит на мысль, что машинное обучение – это всего-навсего «навороченная традиционная статистика». В каком-то смысле так и есть, поскольку цель та же – заполнение информационных пробелов. К тому же в процесс машинного обучения входит поиск решения с минимизацией ошибок.

Итак, за что же машинное обучение считается революционной вычислительной технологией и заслужило название «искусственный интеллект»? В некоторых случаях прогнозы настолько хороши, что их можно использовать вместо основанной на правилах логики.

Эффективная прогностика меняет компьютерное программирование. Ни традиционные статистические методы, ни алгоритмы «если, то» не работают в сложной среде настолько успешно. Хотите найти кошку на одном изображении из нескольких представленных? Уточните, что кошки бывают разного окраса и с шерстью длинной, короткой, курчавой и т. д. Они могут стоять, сидеть, лежать, прыгать, хмуриться, как Грампи-кэт, и находиться где угодно. Все сразу усложняется: даже для более или менее сносных результатов следует предусмотреть очень многое. И это только в отношении кошек. А если необходимо описать все объекты на изображении? Для каждого придется составлять отдельные спецификации.

Ключевая технология глубокого обучения основана на так называемом обратном распространении. С ним машина учится примерно так же, как наш мозг – на примерах (насколько искусственные нейроны похожи на настоящие – еще один интересный вопрос помимо достоинств технологии). Когда ребенка учат слову «кошка», то повторяют его каждый раз при появлении животного; в машинном обучении действует тот же самый принцип. Снабдите компьютер фотографиями кошек с названием «кошка» и фотографиями без кошек и, соответственно, без этого названия. Машина научится распознавать паттерны пикселей, связанные с названием «кошка».

При наличии фотографий с кошками и собаками связь между кошкой и четырехногим объектом укрепится, как и связь между ним же и собакой. Без дальнейших уточнений можно загрузить несколько миллионов разных изображений (в том числе без собак) с названиями, тогда у машины появится больше ассоциаций, и она научится отличать кошек от собак.

Большинство проблем перешли из алгоритмической категории («Каковы признаки кота?») в прогностическую («Есть ли на этом изображении без названия что-нибудь похожее на кошек, которых я уже видел?»). Для решения задач машинное обучение использует вероятностные модели.

Почему же технические специалисты называют машинное обучение интеллектом искусственным? Потому что его результат – прогноз – представляет собой ключевую составляющую интеллекта, точность прогнозов возрастает в процессе обучения, а высокая степень точности позволяет машинам выполнять задачи, которые до недавнего времени считались прерогативой человеческого интеллекта, – такие как распознавание объектов.

В книге «Об интеллекте»²⁹ Джефф Хокинс одним из первых заявил, что прогноз являет собой основу человеческого интеллекта. Суть теории Хокинса такова: интеллект человека, лежащий в основе творческого начала и продуктивной деятельности, обусловлен тем, как мозг использует память для прогнозирования: «Мы осуществляем непрерывное прогнозирование на низком уровне всеми органами чувств одновременно. И это еще не все. У меня есть более серьезное предположение. Прогностика не просто одна из функций мозга, это первичная функция неокортекса и базис интеллекта. Кора головного мозга является прогностическим органом»³⁰.

Хокинс считает, что наш мозг постоянно делает прогнозы относительно всего, что мы испытаем в ближайшие мгновения: что увидим, почувствуем или услышим. С развитием и взрослением прогнозы становятся все точнее и чаще всего сбываются. Если же нет, мы замечаем несоответствие между предполагаемым и произошедшим, информация поступает в мозг, который обновляет свои алгоритмы и таким образом учится и совершенствуется.

Теорию Хокинса воспринимают неоднозначно. Его идеи обсуждаются в психологической литературе, а многие IT-специалисты категорически отрицают утверждение о коре головного мозга как модели для прогностических машин. Предположение, что ИИ может пройти тест Тьюринга (на способность обмануть человека, убедив его, что тоже является человеком), пока еще далеко от реальности. Современные алгоритмы не умеют убеждать, к тому же с ними сложно вести переговоры для выяснения основания их прогнозов.

Независимо от того, насколько уместна аналогия Хокинса, его утверждение о прогностике как базисе интеллекта удобно для понимания значения недавнего развития ИИ. Мы хотим подчеркнуть огромные последствия усовершенствования прогностических технологий. Теперь до вдохновенных идей Дартмутского семинара 1956 года рукой подать. Прогностические машины различными способами могут «использовать язык, оперировать абстрактными понятиями, решать разные типы задач, которыми сейчас [в 1955 году. Прим. авт.] занимаются люди, и самосовершенствоваться»³¹.

Мы не строим домыслов о том, возвещает ли этот прогресс появление общего ИИ – приход технологической сингулярности, подобной «Скайнет». Однако, как вы убедитесь, если пристально посмотрите на прогностику, грандиозные перемены в ближайшие несколько лет вполне реальны.

Так же как дешевая арифметика с распространением компьютеров ознаменовала волну перемен в деловой и частной жизни, аналогичные преобразования не заставят себя долго ждать с удешевлением прогнозов.

Интеллект это или нет, но в целом переход от детерминированного программирования к вероятностному произошел скачком, хотя и параллельно с прогрессом в общественных и естественных науках. Канадский философ Ян Макдугалл Хакинг в книге «Укрощение случайности» сказал, что до XIX века вероятность была уделом игроков в азартные игры³². С наступлением XIX века благодаря валовому росту данных государственных переписей зарождающаяся теория вероятностей и ее математические основы теперь можно было применять к общественным наукам. ХХ век ознаменовался фундаментальным изменением нашего понимания физического мира, и мы перешли от детерминизма ньютоновской (классической) физики к неопределенности квантовой механики. Важнейший прорыв XXI века в IT-науках сравним с достижениями социальных и естественных наук прошлого: мы осознали, что алгоритмы работают лучше всего, когда они структурированы с помощью вероятностностных моделей, на основе данных.

Выводы

• У машинного обучения цели иные, чем у статистики как науки. Последняя особое внимание уделяет средним значениям и их точности, тогда как машинное обучение этого не требует, там на первом месте операционная эффективность. Погрешности в прогнозировании допускались, но при условии, что сами прогнозы ставятся лучше (благодаря мощным компьютерам). Это дало ученым простор для экспериментов и возможности быстро воспользоваться преимуществами большого объема данных и возросшего быстродействия современных компьютеров.

• В традиционных статистических методах для спецификаций модели необходимы сформулированные гипотезы или, по крайней мере, человеческая интуиция. Машинное обучение не требует предварительной спецификации и вмещает в себя эквиваленты гораздо более сложных моделей с большим количеством взаимодействий между переменными.

• Прогресс машинного обучения называют достижением ИИ, поскольку:

– основанные на данном методе системы учатся и постепенно совершенствуются;

– системы выдают значительно более точные прогнозы, чем другие при аналогичных условиях, а некоторые специалисты считают прогностику базисом интеллекта;

– повышенная точность прогнозов таких систем позволяет им выполнять задачи, такие как машинный перевод и навигация, ранее считавшиеся прерогативой исключительно человеческого интеллекта.

• По поводу связи между прогнозом и интеллектом мы придерживаемся агностической точки зрения. Ни одно из наших заключений не основано на позиции, утверждающей, что достижения прогностики представляют собой интеллектуальные достижения. Мы рассматриваем последствия удешевления прогнозов, а не интеллекта.

Глава 3. Данные – это новая нефть

Хэл Вариан, ведущий экономист Google, в обращении к Роберту Гойцуэте из Coca-Cola сказал в 2013 году: «Миллиард лет назад появился современный “человек разумный”. Миллиард минут назад зародилось христианство. Миллиард секунд назад выпустили IBM PC. А миллиард поисковых запросов назад… наступило сегодняшнее утро»³³. И Google не единственная компания с неохватным объемом данных. Для всех, от гигантов вроде Facebook^♦ и Microsoft до местных государственных органов и стартапов, сбор данных стал проще и дешевле, чем когда-либо. Эти данные обладают ценностью. Миллиарды поисковых запросов – это миллиарды строк данных, с которыми Google совершенствует свои службы. Данные даже называют новой нефтью.

Прогностические машины полагаются на данные. Чем их больше и чем они лучше, тем качественнее прогнозы. Выражаясь языком экономистов, данные остаются ключевым компонентом прогнозирования, их ценность растет с удешевлением прогнозов.

В ИИ данные представлены в трех ипостасях. Первая – входные данные, которые загружаются в алгоритмы и используются для прогнозирования. Вторая – обучающие данные, необходимые для создания самих алгоритмов; с их помощью ИИ учится прогнозировать в реальной среде. И наконец, существуют также данные обратной связи, призванные постепенно улучшить эффективность алгоритмов. В некоторых случаях виды данных пересекаются, например одна и та же информация выполняет все три роли.

Но сбор данных может стоить дорого, следовательно, объем инвестиций рассчитывается на основе выгоды от получения дополнительных данных и затрат на них. Чтобы принять оптимальное решение по инвестированию средств в данные, необходимо понимать, как машины их используют.

Для прогностики необходимы данные

До недавнего ажиотажа вокруг ИИ возникало много шумихи по поводу больших данных. Их разнообразие, количество и качество заметно выросли за последние 20 лет. Изображения и тексты переводят в цифровой формат, чтобы машины могли их анализировать. Все оснащено датчиками. Такой активный интерес основан на возможности этих данных помочь людям снизить неопределенность и оставаться в курсе происходящего.

Рассмотрим улучшенные датчики сердечного ритма. Многочисленные компании и некоммерческие организации с медицинскими названиями, такие как Oura, AliveCor и Cardiio, разрабатывают продукты, использующие данные о сердечном ритме. Например, стартап Cardiogram сделал приложение для iPhone, которое получает показатели сердечного ритма от Apple Watch и выдает огромный объем информации: посекундные замеры частоты сердцебиения. Пользователи могут отслеживать, не подскакивает ли она в течение дня и повысилась или уменьшилась за год или даже за десять лет.

Изобилие данных и возможности прогностических машин открывают подобным разработкам широкие перспективы. Научные и производственные исследователи продемонстрировали, как смартфоны прогнозируют нарушения сердечного ритма (мерцательную аритмию, как говорят медики)³⁴. Продукты, разрабатываемые Cardiogram, Oura, AliveCor и Cardiio с помощью прогностических машин, используют данные о сердечном ритме, необходимые для диагностики кардиологических заболеваний. Общий подход компаний заключается в том, чтобы на основе выявленных данных прогнозировать информацию о наличии у пользователя отклонений в работе сердца.

Без входных данных прогностические машины не смогут работать, поэтому их называют просто данными, в отличие от обучающих и данных обратной связи.

Неподготовленные пользователи не улавливают в необработанных данных связи между информацией о частоте сердечных сокращений (ЧСС) и нарушением сердечного ритма. А приложение Cardiogram выявляет его с 97%-ной точностью благодаря работе глубокой нейронной сети³⁵. Отклонения в работе сердца становятся предвестниками 25% всех инфарктов, а усовершенствования анамнеза позволят врачам вовремя назначить лечение. Для профилактики инфаркта существуют лекарства.

Но для этого потребители должны предоставить сведения о своем сердечном ритме. Машина не сможет прогнозировать риски для конкретного человека, не имея о нем необходимой информации. При наличии у прогностической машины индивидуальных данных человека она выдаст прогноз вероятности нарушений сердечного ритма.

Как машины учатся с помощью данных

Нынешнее поколение технологий ИИ не без причины называется машинным обучением. Оно учится на данных. В только что описанном примере машина для составления прогноза нарушений сердечного ритма (и вероятности развития инфаркта) устанавливает связь между ЧСС и случаями диагностированной мерцательной аритмии. Для этого она сопоставляет входные данные Apple Watch – их статистики называют независимыми переменными – с информацией о нарушениях сердечного ритма (зависимой переменной).

Чтобы обучить машину, информация о нарушениях сердечного ритма должна исходить от тех же людей, что и входные данные Apple Watch. Другими словами, прогностической машине необходимы данные о большой выборке людей с нарушениями сердечного ритма наряду с полученными от них данными. Кроме того (и это важно), необходимы также аналогичные показатели большой выборки людей, не страдающих кардиологическими заболеваниями. Прогностическая машина сравнивает данные обеих групп, на основании чего выдает прогноз. И если паттерн сердечного ритма нового пациента ближе к данным «обучающей» выборки людей с нарушениями, то машина прогнозирует у него нарушение сердечного ритма.

Как и большинство медицинских приложений, Cardiogram собирает данные научных исследований с участием шести тысяч пользователей. Из них примерно у двухсот человек уже диагностировано нарушение сердечного ритма, Cardiogram остается только получить с помощью Apple Watch данные и сравнить их с предыдущими показателями.

Такие продукты продолжают совершенствовать точность прогнозов даже после выхода на рынок. Прогностическим машинам необходимы данные обратной связи о корректности прогнозов: в нашем случае это частота нарушений сердечного ритма среди пользователей продукта. Машина объединяет эти данные со входными данными кардиомониторинга и на основе полученной информации непрерывно повышает качество прогнозов.

Однако добыть обучающие данные не всегда легко. Для прогноза одной группы (в нашем случае это пациенты с риском сердечных заболеваний) необходима информация как о потенциальном риске (нарушении сердечного ритма), так и о том, что необходимо для уточнения прогноза данного прецедента в новом контексте (кардиомониторинг).

Еще сложнее, когда прогноз касается будущих событий. Вы можете предоставить прогностической машине подтвержденную информацию только на настоящий момент. Скажем, вы надумали купить билет на игры любимой команды на следующий сезон. В Торонто большинство болеет за местную хоккейную команду Maple Leafs. Вы хотите ходить только на матчи, в которых любимая команда победит, и не желаете платить за проигрышные. Вы решили, что стоит купить билет только в случае, если команда в следующем году выиграет минимум половину матчей. Но для этого вам необходимо спрогнозировать количество побед.

В хоккее выигрывает команда, загнавшая больше шайб в ворота противника. Поэтому вы предполагаете, что команда, забивающая больше голов, побеждает чаще. Вы загружаете в прогностическую машину данные за прошлые сезоны: сколько каждой команде засчитали голов, сколько она пропустила, каково количество побед каждой команды. Вам кажется, что это великолепный способ прогнозировать вероятность победы. Теперь вы собираетесь таким же образом прогнозировать количество выигрышей на следующий год.

Но ничего не выйдет, поскольку это невозможно. У вас нет информации о том, как сыграет команда в предстоящем сезоне, следовательно, вы не узнаете ничего о предстоящих спортивных победах или поражениях. У вас есть данные за прошлый сезон, но они не пригодятся, потому что вы научили машину прогнозировать по данным за текущий год.

Для вашего прогноза необходимы данные, доступные на момент прогнозирования. Возможно переучить прогностическую машину использовать забитые в прошедшем году шайбы для прогнозирования предстоящих побед. Можно добавить другую информацию, например о выигранных ранее матчах или возрасте игроков команды и качестве их игры.

Так работают многие коммерческие приложения ИИ: для создания прогностической машины берут входные данные вместе с критериями результатов, а затем используют входные данные новой ситуации для прогнозирования ее исхода. Если вы располагаете данными о результатах, то ваша прогностическая машина может непрерывно обучаться на данных обратной связи.

Решения по данным

Сбор информации нередко стоит дорого, но прогностические машины иначе работать не могут. Исходные данные необходимы для их создания, функционирования и совершенствования.

Следовательно, нужно найти решение относительно масштаба и диапазона приобретаемых данных. Сколько разных типов данных вам понадобится? Сколько различных объектов требуется для обучения? Как часто вам необходимо собирать данные? Большее число типов, объектов и частый сбор означают, что цена будет выше, но и выгода тоже увеличится. Взвешивая решение, следует тщательно продумать, что именно вы собираетесь прогнозировать. Конкретные предсказательные задачи подскажут ответ.

Программа Cardiogram разработана для прогнозирования риска инфарктов. Нарушения сердечного ритма в ней использовались в качестве индикатора (подтвержденного медициной)³⁶. В качестве цели установили выявление нарушений, после чего оставалось только получить данные о ЧСС пользователей. Могли также использоваться данные о сне, физической активности, родственниках, истории болезни и возрасте. После получения данной информации приложению требовался всего один прибор, точно измеряющий единственный параметр – ЧСС.

Данные были необходимы Cardiogram и для обучения – в базе состояло шесть тысяч человек, и некоторые из них страдали нарушениями сердечного ритма.

Несмотря на обилие датчиков и разнообразие потенциально доступных данных о пользователях, по большинству людей Cardiogram собирала немного информации. И доступ требовался только к данным об отклонениях сердечного ритма у людей из обучающей ИИ выборки. Таким образом, количество переменных оказалось относительно малым.

Для качественного прогноза в распоряжение машины должны быть предоставлены обучающие данные по достаточному количеству людей (или единиц анализа). Количество зависит от двух факторов: первый – стабильность «сигнала» по отношению к «шуму», второй – насколько точным должен быть прогноз, чтобы он имел смысл. Иными словами, требуемое количество людей зависит от того, считаем мы ЧСС сильным или слабым прогностическим критерием нарушений сердечного ритма, и того, насколько дорого обойдется ошибка. Если ЧСС считается сильным прогностическим критерием, а ошибки не принесут проблем, то достаточно нескольких человек. Если же это слабый критерий или любая ошибка может стоить жизни, то необходимы тысячи людей, а лучше миллионы. В предварительном исследовании Cardiogram, как мы уже говорили, использовалась выборка из шести тысяч человек, в том числе двухсот с нарушениями сердечного ритма. Впоследствии сбор дополнительной информации осуществлялся посредством обратной связи о том, диагностировано ли у пользователей нарушение сердечного ритма.

Почему именно шесть тысяч? Специалисты по обработке и анализу данных пользуются отличным инструментарием для получения необходимого объема информации с учетом желаемой надежности и степени точности прогноза. Эти инструменты называют расчетом мощности – они сообщают, сколько единиц требуется для проведения анализа, с тем чтобы прогноз имел смысл³⁷. Очевидно, придется искать компромисс: для более точного прогноза необходимо больше анализируемых показателей, а они могут дорого стоить.

Cardiogram требует постоянного сбора данных – посекундного, – и для этого используется Apple Watch: частота сердечных сокращений варьируется в течение дня, а для точности измерений необходим многократный анализ того, насколько эта дельта типична для конкретного человека. Алгоритмы Cardiogram используют поток данных, непрерывно поступающих от устройства, которое человек постоянно носит на теле, в противовес результатам однократного измерения в кабинете врача.

Сбор данных потребовал существенных вложений. Пациенты постоянно носили устройства, что не всегда удобно (особенно тем, у кого нет Apple Watch). Поскольку речь шла о здоровье, было необходимо соблюдать конфиденциальность, и Cardiogram разрабатывалась с учетом этого обстоятельства, что увеличило затраты и снизило возможности улучшить прогнозы на основе обратной связи. Она собирала данные для прогнозирования через приложение, а все данные хранились на устройстве.

Далее мы обсудим разницу между статистическим и экономическим подходами к количеству требуемой информации. (Вопросы конфиденциальности мы рассмотрим вместе со стратегией в части IV.)

Экономия на масштабе

Чем больше данных, тем лучше прогноз. Но сколько их нужно? Преимущества дополнительной информации (единиц анализа, типов переменных и частоты) могут увеличиваться или уменьшаться вместе с имеющимся объемом данных. Выражаясь языком экономистов, отдача от масштаба может быть возрастающей или убывающей. С чисто статистической точки зрения у данных убывающая отдача от масштаба. Мы получаем больше ценной информации из третьего наблюдения, чем из сотого, и больше из сотого, чем из миллионного. По мере добавления наблюдений к обучающей информации они все меньше способствуют улучшению прогноза.

Каждое наблюдение приносит дополнительные данные для обоснования прогноза. Cardiogram учитывает промежутки между ударами сердца. Говоря «у данных убывающая отдача», мы подразумеваем, что первых ста ударов достаточно для того, чтобы убедиться, есть у человека нарушения сердечного ритма или нет. Каждый последующий удар менее важен для уточнения прогноза, чем предыдущие.

Рассмотрим расчет времени выхода из дома, чтобы вовремя приехать в аэропорт. Если вы там ни разу не были, первая поездка даст много полезной информации. После второй и третьей вы определите среднее время в пути. В сотый же раз вы вряд ли узнаете что-то новое. Вот что означает убывающая отдача от масштаба: по мере того как вы получаете больше данных, каждый дополнительный фрагмент становится менее ценным.

С экономической точки зрения это может быть неверно, но это не касается того, как данные улучшают прогнозирование. Речь идет о том, как данные повышают ценность, которую вы извлекаете благодаря прогнозу. Если прогноз и результат совпадают, убывающая отдача от наблюдений подразумевает отрицательную отдачу с точки зрения результатов, которые вас интересуют. Иногда, однако, результат отличается от прогноза.

К примеру, у пользователей есть выбор: брать продукт вашего или другого производителя. И ваш они выберут только в том случае, если он так же хорош или лучше, чем у конкурента. При условии постоянной доступности данных все продукты одинаково хороши. Например, большинство поисковых систем выдают схожие результаты при обычном поиске. Используете ли вы Google, Bing или DuckDuckGo, заботящийся о конфиденциальности, результаты поиска по запросу «Оливия Родриго» будут близки.

Ценность поисковой системы определяется ее способностью выдавать лучшие результаты при нестандартном запросе. Попробуйте ввести «генеративно-состязательные сети» в Google, Bing и DuckDuckGo. На момент написания данного раздела все три поисковика выдали статью в Википедии и пояснение IBM по этой теме. Но Google также дал ссылку на онлайн-курсы. Результаты Google оказались лучше, потому что для определения, что именно ищет пользователь, нужны данные о подобных поисках. Большинство людей используют Google как для редких, так и для обычных запросов. Даже небольшое улучшение результатов поисковой выдачи может увеличить долю рынка и доход.

Итак, технически у данных наблюдается убывающая отдача от масштаба – миллиардный поиск менее полезен для улучшения поисковика, чем первый, – но с точки зрения бизнеса данные обладают огромной ценностью, если у вас их больше и они лучше, чем у конкурента. Считается, что большее количество данных об уникальных факторах дает несоизмеримо бо́льшие преимущества на рынке³⁸. И увеличение объема данных приводит к такому же результату. Следовательно, с экономической точки зрения в обоих случаях для данных характерна возрастающая отдача от масштаба.

Выводы

• Прогностические машины используют три типа данных:

– обучающие данные для ИИ;

– входные данные для прогнозирования;

– данные обратной связи для повышения точности прогноза.

• Сбор данных требует затрат – вложения. Его размер зависит от того, сколько данных вам необходимо и чем осложнен процесс сбора. Крайне важно уравновесить издержки на приобретение данных с выгодой от повышенной точности прогноза. Для определения оптимального подхода требуется оценить окупаемость затрат для каждого типа данных: сколько нужно вложить для сбора и насколько ценным окажется повышение точности соответствующих прогнозов?

• Если данных больше, создает ли это большую ценность? Посмотрим на этот вопрос через призму статистики и экономики. С точки зрения статистики у данных – убывающая отдача. Каждая следующая порция данных улучшает прогноз меньше, чем предыдущая; десятое наблюдение более существенно для прогноза, чем тысячное. С точки зрения экономики все не так однозначно. Добавление данных к большому объему выгоднее, чем к маленькому, – например, если дополнительные данные повышают производительность прогностической машины или позволяют обойти аналог конкурента. Таким образом, организация должна понимать взаимосвязь между добавлением данных, повышением точности прогнозов и увеличением ценности.

Глава 4. Такая работа – делать прогнозы

Первое, что сделал кофе, – объединил людей. Кофе проник в Англию, и всего за полвека кофейни стали местом встреч, где в избытке было и кофеина, и информации. Одна из таких кофеен, открытая Эдвардом Ллойдом в 1687 году, стала чем-то гораздо бо́льшим. Кофейня Ллойда находилась недалеко от лондонских доков и была пристанищем всех местных работяг. Ллойд понимал, в чем суть его бизнеса, и осознавал, как велик спрос на информацию. Это породило неожиданный бонус – «список Ллойда», брошюру, куда попадали все новости судоходства: кто прибывал и уходил в плавание, какими были условия на море и пр. Кофе, возможно, пришел в Англию с Востока, но информация была глобальной.

Для чего она была нужна? Досужие сплетни – одна сторона медали, другой была выгода. В ходу были азартные игры, и рынок ставок уже существовал. Это были ставки не просто на то, какой жук быстрее залезет на стену, а на то, скажем, будет ли казнен адмирал Джон Бинг после морского сражения с французами. Эта ставка оказалась хороша. Но как насчет того, вернется ли корабль раньше срока? Было бы полезно иметь некоторые сведения о маршруте, погоде в пути и о том, чем придется закупиться на обратный путь, чтобы сделать путешествие более прибыльным. Точный прогноз помогал обыграть конкурентов.

Хотя азартные игры обусловлены весельем или дофамином, вызывающим привыкание, для стабильного бизнес-предложения нужно нечто большее. В чем была инновация? Ставки стали способом снизить риск, а не подвергнуться ему. В судоходстве многое зависело от характеристик судна. Во-первых, вложения были огромными, поэтому если сам корабль (не говоря уже о его грузе) не возвращался, те, кто финансировал путешествие, теряли очень много. Но даже задержка могла привести к упущенной выгоде и повлиять на другие рынки. Если ваш бизнес зависел от импорта, то опоздание могло означать разорение. Другими словами, предприятия все время играли в азартные игры. Им нужна была страховка, чтобы превратить неопределенность в надежность.

Давайте поразмышляем о стремлении тех, кто принимает решения, к определенности. В экономике часто многое сводится к избеганию риска. Лицо, принимающее решение, не станет рисковать, если оно решило не рисковать. Например, вам предложили $60, если будут брошены игральные кости и выпадет три, и больше ничего. Вы не склонны рисковать, если предпочитаете, чтобы вам вместо $60 дали $9 (или чуть меньше $10). Эта логика работает и в обратном направлении. Предположим, есть риск, что, если выпадет три, вам нужно будет заплатить $60. Вы не станете рисковать, если готовы заплатить $11 (или чуть больше $10), чтобы защититься от возможных потерь. В одной ситуации вы отказываетесь от ставки с ожидаемым доходом в $10 в обмен на меньшую сумму. В другой ситуации вы откажетесь от ставки с ожидаемым проигрышем в $10, даже если это обойдется вам дороже. В одном случае вы платите за то, чтобы снизить риск, в другом – за то, чтобы риск был устранен. Таким образом, если вы не склонны к риску, вы избегаете азартных игр и покупаете страховку³⁹.

В этой главе мы рассмотрим, как лица, принимающие решения, справляются с неопределенностью, если у них есть веские причины минимизировать ее воздействие на себя. Мы сможем яснее сформулировать, зачем человеку более точное прогнозирование. Начнем с наиболее известного способа снизить риски – со страхования. Подчеркнем: с его помощью можно не только добиться большего успеха, если вы не склонны к риску, но и снизить потребность в информации для принятия решения. Конечно, страхование, пожалуй, самый яркий пример общего способа борьбы с рисками – хеджирования ставок. В данном случае нас интересует то, как само прогнозирование дает информацию, которая позволяет принимать более эффективные решения, управляя рисками, и таким образом снимает потребность в страховании для ограничения риска.

Страховое покрытие

Стремление к определенности породило индустрию страхования, примером чему может служить кофейня Ллойда. Сегодня эта компания называется Lloyd's of London. Там больше нет кофе, зато есть история страхования длиной в несколько веков. Информация из кофейни стала бесценной для кое-чего нового – расчета коэффициентов различных событий, на которые люди хотели делать ставки с целью страхования. Эта информация имела решающее значение, ведь тем, кто принимал эти ставки, – андеррайтерам – нужно было платить за привилегию. Они должны были заработать достаточно со страховых взносов всех своих клиентов, чтобы покрыть потенциальные убытки, и получить еще немного за свою роль в управлении рисками клиента. Более точное прогнозирование способствовало адекватному размеру ставок и позволяло превратить переменную доходность отдельного предприятия в стабильную доходность группы предприятий.

Неопределенность пронизывает процесс принятия решений. И большинство решений, как в бизнесе, так и в других сферах, принимается без возможности застраховаться. Конечно, морское страхование существует по сей день. Оно значительно подешевело, поскольку судоходство стало более безопасным, хоть и несколько более экзотичным, так как появились новые продукты, например страхование выкупа (на случай пиратского захвата). Такие захваты стали достаточно предсказуемыми, чтобы можно было подсчитать размер выкупа и установить цену. Но в других местах люди по разным причинам принимают решения без возможности сделать дополнительную ставку, чтобы уменьшить риск.

Какие решения принимают люди, подвергаясь риску? Если само решение никак не влияет на степень риска, он не будет играть никакой роли. Но именно потому, что у тех или иных действий разные последствия, степень риска имеет значение. Чтобы убедиться в этом, представьте фермера, который размышляет о том, сколько земли засеять кукурузой. Урожайность такой культуры в значительной степени зависит от осадков. Обильные осадки – это хороший урожай, и наоборот. Если мы будем учитывать (как это бывает во многих развивающихся странах), что размер урожая зависит также от того, сколько съест семья фермера, риск невыпадения осадков окажется весьма значительным. Возможно, лучше сэкономить деньги или не влезать в долги, чем подвергать себя такому риску.

Поскольку осадки – измеримое явление, которое не зависит от фермеров, страховой продукт, основанный на результатах выпадения осадков, способен повлиять на решение фермера. Благодаря этому продукту он получит деньги, если осадков будет мало, и сможет погасить долг или обеспечить доход, чтобы прокормить семью. По сути, оформив страховку, фермер делает ставку на дождь. Но, в отличие от азартных игр, он ставит против. С одной стороны, возделывая больше земли, он делает ставку на обильные осадки, а с другой стороны, покупая страховку, он ставит на редкий дождь. И то и другое сразу – пустые траты, ведь, по сути, он не делает ставок. Если величина риска – фактор, сдерживающий возделывание кукурузы, то страховка должна изменить положение дел. Если величина риска не является сдерживающим фактором, страхование ничего не даст.

К счастью, благодаря ученым-экономистам нам не нужно отвлеченно рассуждать о такой возможности⁴⁰. Много лет подряд они изучали фермеров в Гане. Им предоставляли денежные гранты, страхование на случай дождя, и то и другое сразу либо ничего, чтобы измерить влияние этих продуктов на выбор тех или иных действий. Исследователи обнаружили, что денежные гранты не способствовали развитию фермерских наделов, так что проблема заключалась не только в том, что деньги было трудно достать. Напротив, все сводилось к степени риска. Те, кто имел доступ к страховому продукту, в среднем вкладывали в возделывание сельхозкультур на 10–15% больше, хотя они редко страховали более 60% своей земли⁴¹.

Это говорит о том, что страхование может изменить решение в пользу тех вариантов, которые в противном случае оказались бы слишком рискованными. Но это еще не все. Если бы фермеры Ганы потратили время и деньги на прогнозирование количества осадков на следующий год, то снизили бы риски своих решений, отказавшись от возделывания земли в годы, когда ожидается мало осадков. Другими словами, страхование устраняет потребность в прогнозировании как первичном факторе принятия решений. В Гане таких прогнозов нет, по крайней мере они не являются достаточно надежными, чтобы можно было снизить степень риска. Но, как мы вскоре увидим, когда страхование недоступно, лица, принимающие решения, активно ищут прогнозы, чтобы с их помощью снизить издержки, связанные с риском и неопределенностью.

Прогнозы снижают риски

Когда мы говорим с бизнес-лидерами об искусственном интеллекте и о том, как технический прогресс снижает стоимость прогнозов и тем самым предоставляет больше возможностей для их использования, мы часто приводим в пример погоду. Погода – то, что влияет на наши повседневные решения. Взять ли зонтик, надеть ли пальто, выбрать ли другой маршрут – перечень бесконечен. Никого не нужно убеждать в том, как важен точный прогноз погоды.

Одно дело – наши повседневные решения, но бывают ситуации, когда риски, связанные с погодой, невероятно высоки, и прогноз погоды, даже несовершенный, бесценен. Это, пожалуй, более всего очевидно в военное время. Исход многих сражений зависел от погоды. Самой известной операцией такого рода была высадка в Нормандии в 1944 году, когда нужно было избежать штормов в Ла-Манше. Благодаря прогнозам погоды командование сделало правильный выбор.

Противники знали о коварстве погоды. Но в силу географии возможности каждой стороны прогнозировать погоду были неравны. Штормы и другие погодные явления, как правило, перемещаются через Атлантику на восток. Соединенные Штаты могли измерять их и тем самым передавать более точный прогноз по другую сторону океана. В отличие от них, немцам приходилось прилагать немало усилий, чтобы получить соответствующие данные. Они посылали корабли, но те не могли долго оставаться на одном месте, ведь за ними охотились союзники. Вот почему в сентябре 1943 года немецкая подлодка переправила команду через Атлантику и высадила в Канаде, чтобы построить метеостанцию⁴².

Это было нелегко. Возник вопрос, где ее разместить. Она должна была находиться на достаточном отдалении, но не абы где. Выбор должен был быть разумным. Капитан подводной лодки высадился на севере Лабрадора⁴³. Затем немцы должны были развернуть метеостанцию, в том числе обеспечить ее электроэнергией. Они взяли с собой десять очень тяжелых батарей. Настроили станцию и протестировали ее. Они нанесли на нее название «Канадская метеорологическая служба» в надежде, что ее никто не тронет, даже если обнаружат. Немцам потребовалось чуть больше суток, чтобы установить станцию, прежде чем они отправились обратно в Европу.

Информация о погоде, возможно, помогла Германии частично устранить лакуны метеорологических прогнозов. Но по причинам, которые до сих пор неизвестны, передача сигналов была заблокирована несколько недель спустя. Немцы отправили еще одну миссию в Канаду в 1944 году, но подлодка не достигла места назначения. Метеостанцию случайно обнаружили только в 1980 году.

Более точные метеорологические прогнозы позволили бы немецкому командованию развернуть военные действия, учитывая погодные явления. К тому же они помогли бы им лучше прогнозировать действия союзников. В конце концов, прогнозы были и у них. В день высадки в Нормандии неверные прогнозы вселили в немцев уверенность в том, что никакого вторжения не будет, и они расслабились. Генерал Эйзенхауэр приписал победу в Европе превосходным метеорологам союзников.

Смысл этой истории не в том, чтобы еще раз повторить очевидное утверждение о важности прогнозов. Напротив, она призвана продемонстрировать, когда они ценны. Прогнозы могут превратить рискованный вариант в приемлемый. Опасно планировать наступление на определенный период, когда вы не знаете, какой будет погода, и не в силах отменить операцию. Но если у вас есть прогноз, вы можете планировать и выбирать дату с наименьшим риском.

Насколько вы себе доверяете?

Верно ли, что прогноз сам по себе способствует более эффективному принятию решений? Не совсем так. Имеет значение качество прогноза. Во Вторую мировую войну Кеннет Эрроу, впоследствии нобелевский лауреат по экономике, служил в ВВС США офицером метеослужбы. Перед его командой статистиков стояла задача: дать прогноз погоды на месяц вперед. Они обнаружили, что их результаты ничем не лучше случайных догадок – другими словами, они вообще не были прогнозами. Команда попросила дать им другое задание, но сверху пришел отрицательный ответ. По словам Эрроу, им сказали: «Командованию хорошо известно, что эти прогнозы никуда не годятся. Однако они нужны ему для целей планирования». Приказ есть приказ.