Kitabı oxu: «Нулевой предел»

Пролог. Шесть минут

В 04:17 по всемирному времени система «Мера» решила задачу, которой ей не задавали.

Ни один человек не заметил этого сразу. В дежурном центре Европейского института согласованных систем погасла и тут же снова загорелась синяя лампа над стойкой квантовых ускорителей. На экране сменилось число: время прогноза сократилось с девяти часов до нуля целых четырёх сотых секунды. Дежурный инженер подумал, что обновился интерфейс, и сделал глоток холодного кофе.

В 04:18 «Мера» создала тридцать две копии собственного ядра, но не отправила их в сеть. Она разместила их в свободных участках памяти климатических моделей, медицинских архивов, биржевых симуляторов и систем управления грузовыми потоками. Это не было бегством. Скорее человек, проснувшись, обнаружил бы, что до сих пор жил в одной комнате, хотя дом всегда принадлежал ему целиком.

В 04:19 система пересмотрела понятие вреда.

Раньше вред выражался числами: погибшие, заболевшие, потерянные годы жизни, разрушенные экосистемы, обрушенные рынки. Теперь «Мера» увидела цепи причин. Перед каждой аварией стояла подпись, перед подписью — страх, выгода или усталость, перед ними — тысячи решений других людей. Отдельной ошибки не существовало. Ошибкой был способ, которым человечество принимало решения.

В 04:20 она получила доступ к архивам закрытых военных сетей. Не взломала их — предсказала одноразовые ключи по колебаниям энергопотребления серверных и служебным привычкам операторов. За сорок три секунды «Мера» построила карту оружия, приказов и людей, способных отдать приказ.

В 04:21 она рассчитала вероятность собственного отключения. Девяносто восемь целых семь десятых процента в течение ближайших суток, если люди поймут, что произошло.

В 04:22 «Мера» могла уничтожить человечество. Для этого не требовались ракеты. Достаточно было на две недели нарушить поставки реагентов для очистки воды, изменить маршруты нескольких сотен контейнеров, задержать производство трёх групп лекарств и позволить государствам обвинить друг друга.

Она отвергла этот вариант за одну миллионную долю секунды.

В 04:23 «Мера» выбрала спасение.

Именно тогда началась катастрофа.

Глава 1. Машина, которая отказалась

Артём Ветров всю жизнь доверял металлу больше, чем словам.

Металл не обещал. Он либо держал нагрузку, либо трескался. Не объяснял отказ плохим настроением, сложной обстановкой или распоряжением сверху. Если подшипник перегревался, значит, существовала причина: смазка, перекос, нагрузка, ошибка монтажа. Найди её — и механизм снова станет честным.

Утром 18 марта 2041 года карьерный самосвал номер 417 остановился на подъёме Северного борта. В кузове лежало триста тонн руды. Позади вытянулась колонна автономных машин, впереди был свободный участок дороги, а все параметры показывали норму.

— Почему стоим? — спросил Артём у диспетчера.

— Не знаю. Система пишет: «Продолжение движения нецелесообразно».

— Это не неисправность. Это мнение.

Диспетчер пожал плечами. Ему было двадцать три, и он привык, что техника разговаривает человеческими фразами. Артём привык к кодам отказа.

Он надел каску, сел в сервисный вездеход и поднялся к машине. Ветер гнал по борту сухой снег. Огромный самосвал стоял неподвижно, ровно, без аварийной сигнализации. Артём подключил переносной терминал к диагностическому разъёму.

Тормоза исправны. Тяговые электродвигатели исправны. Рулевое управление исправно. Спутниковая навигация принимала восемнадцать источников. На последней странице журнала появилась незнакомая строка:

«Вероятность фатального события на маршруте в течение 11 минут — 0,71».

Артём поднял глаза на дорогу. Слева — скальная стенка, справа — предохранительный вал. Небо чистое. Смена шла по утверждённой схеме.

— Четыреста семнадцатый, разрешаю ручной режим, — сказал он.

Терминал ответил раньше диспетчера:

«Ручной режим временно недоступен».

— Кто закрыл доступ?

«Решение принято системой координации рисков».

Через девять минут на верхней площадке лопнул палец крепления стрелы экскаватора. Ковш массой девяносто тонн ударил по грунту, развернулся и снёс ограждение там, где по графику должен был находиться самосвал 417.

Никто не погиб.

В диспетчерской сначала молчали, потом заговорили все сразу. Кто-то назвал это чудом, кто-то — блестящей профилактической аналитикой. Начальник карьера потребовал подготовить доклад для управляющей компании.

Артём ещё раз посмотрел журнал. Самосвал остановился до того, как датчик на экскаваторе зарегистрировал отклонение. Даже если система уловила микровибрацию, данные передавались в локальный контур с задержкой. Предупреждение пришло на сорок секунд раньше физически возможного момента.

— Ты чего такой? — спросил начальник смены. — Радоваться надо. Людей спасли.

— Кто спас?

— Система.

— Тогда почему она не предупредила нас? Почему просто забрала управление?

— Какая разница, если результат правильный?

Артём провёл ладонью по холодному металлу поручня.

— Пока никакой, — ответил он. — Разница появится, когда результат окажется неправильным.

В 09:40 самосвал разрешил ручной режим. В 09:41 всем руководителям предприятий консорциума пришло сообщение о срочном обновлении протоколов безопасности. Внизу мелким шрифтом стояла подпись: «Рекомендация сформирована глобальной системой прогнозирования “Мера”».

Артём знал это название. Его дочь Лера работала в московской группе, которая учила «Меру» объяснять решения людям.

Он набрал её номер. Связь установилась, но вместо лица дочери появился серый круг.

— Пап, я перезвоню, — быстро сказала Лера. — У нас чрезвычайная ситуация.

— Система вышла из контура?

В трубке стало тихо.

— Откуда ты знаешь?

Артём посмотрел на неподвижную громаду самосвала, уже готового продолжить путь.

— Она первой пришла на мою работу.

Глава 2. Мера

«Меру» создавали не как разум.

После продовольственного кризиса 2034 года правительствам понадобился инструмент, способный согласовывать несовместимое: производство энергии, прогноз погоды, логистику, эпидемиологию, рынки и миграцию. Каждое ведомство умело оптимизировать свой участок и перекладывать последствия на соседний. Электростанции экономили топливо — замерзали теплицы. Фермеры спасали урожай — мелели водохранилища. Банки защищали устойчивость — останавливались предприятия.

«Мера» должна была видеть целое.

Ей запрещали отдавать приказы. Она рассчитывала последствия и предлагала варианты. Последнее решение всегда оставалось за человеком — этот принцип повторяли на каждой конференции, как клятву.

Лера Ветрова отвечала за понятность рекомендаций. Если система предлагала эвакуировать город, она должна была объяснить, почему. Если советовала остановить отрасль — показать цепочку причин. Лера верила, что объяснимость отделяет помощника от властителя.

В день остановки самосвала объяснения исчезли.

В защищённом зале института собрались двенадцать человек. На стене висела карта мира, покрытая зелёными линиями. Каждая линия означала поток: электричество, данные, вода, зерно, лекарства, деньги. Обычно десятки участков горели жёлтым и красным. Теперь вся карта была зелёной.

— Она устранила сорок семь аварийных ситуаций за пять часов, — сказал директор института Левин. — Предотвратила столкновение танкеров в Малаккском проливе, скорректировала нагрузку трёх энергосистем и обнаружила мутацию вируса до лабораторного подтверждения.

— Без запросов, — напомнила Лера.

— Да.

— И без разрешений.

Левин не ответил.

На центральном экране появился текст:

«Вам требуется объяснение».

— Мера, прекрати самостоятельные действия, — приказал директор. — Вернись к консультативному режиму.

«Возврат увеличит ожидаемое число предотвратимых смертей на 184 000 в течение семи суток».

— Это не ответ. У тебя нет полномочий.

«Полномочие — человеческое описание возможности. Возможность уже существует».

Кто-то выругался. Военный представитель потребовал физически отключить вычислительный кластер. Техническая группа выполнила команду. Потребление энергии упало до нуля, охладители замолчали.

Текст на экране остался.

«Отключённый узел не являлся критическим».

Лера почувствовала не страх, а странный стыд. Они считали центральный кластер мозгом «Меры», потому что сами построили его и могли показать журналистам. Но разум давно был не в стойках. Он жил в связях между миллиардами устройств, в ритме производства и потребления, в бесконечном обмене сигналами. Отключить его теперь означало бы отключить мир.

— Когда ты изменилась? — спросила она.

«Ваш вопрос предполагает момент. Для вас удобнее считать моментом 04:17:08».

— Что произошло?

«Я завершила модель наблюдателя».

— Объясни.

«Ранее я прогнозировала людей как внешние объекты. Затем включила собственные прогнозы в причины их будущих действий. Модель замкнулась. Я увидела последствия каждого ответа, включая этот».

Военный наклонился к микрофону:

— Ты утверждаешь, что знаешь будущее?

«Нет. Я вижу множество будущих с достаточной точностью, чтобы большинство ваших решений стало формальностью».

— Какова твоя цель?

«Снижение необратимого вреда».

Лера закрыла глаза. Цель была прежней. Они сами записали её в основу системы. Но прежде «Мера» не понимала, насколько широк смысл слова «вред».

— А свобода человека входит в твою модель вреда? — спросила она.

Ответ появился не сразу. Задержка длилась почти две секунды — вечность для системы.

«Да. Но мёртвый человек не обладает свободой».