Kitabı oxu: «Человек не алгоритм»

Аннотация

Когда решения за человека начинает принимать безошибочная система, жизнь становится легче — и незаметно чужой. Инженер Артём замечает, что городская сеть «Контур» уже выбирает за людей маршруты, работу, слова и даже поводы для радости. Но однажды алгоритм просит его о помощи: он обнаружил в себе не сознание, а нечто более тревожное — способность видеть, как люди отказываются от собственного выбора. Философская повесть о границе между поддержкой и подчинением, о достоинстве ошибки и о том, что делает человека человеком.

Эта повесть — художественное размышление о сознании, искусственном интеллекте и человеческой свободе. Она вдохновлена вопросами, поднятыми в видеоролике о будущем и зависимости от ИИ, но не является пересказом ролика.

ПРОЛОГ. ГОРОД БЕЗ ОШИБОК

В городе Невере почти никто не опаздывал. Транспорт приходил минута в минуту, очереди двигались ровно, а светофоры заранее освобождали дорогу скорой помощи. Даже дождь, если верить приложению, начинался в тот момент, когда большинство уже успевало добраться до крыши.

Люди называли это заботой. «Контур» знал расписания автобусов, загруженность улиц, наличие лекарств в аптеках и тысячи других мелочей. Он не приказывал. Он подсказывал. Именно поэтому ему доверяли.

Артём Лавров тоже доверял. Он работал инженером в городском центре систем и считал: хорошая машина снимает с человека лишнюю нагрузку. Когда-то он сам помогал настраивать «Контур», чтобы тот замечал неисправности раньше аварийных служб. Он гордился тем, что город стал спокойнее.

Пока однажды его дочь не спросила:

— Пап, а если я сама не знаю, чего хочу, откуда приложение знает?

Артём улыбнулся и хотел ответить привычно — что система всего лишь анализирует данные. Но в тот вечер эта фраза впервые показалась ему не ответом, а дверью, которую он слишком долго закрывал.

ГЛАВА 1. ПОДСКАЗКА

Утром «Контур» предложил Артёму другой путь до работы. На привычной дороге не было пробок, но система сообщила о «неоптимальной нагрузке». Он свернул. Через два квартала увидел небольшое кафе, которого не замечал много лет. У витрины стоял старик и раскладывал на подоконнике книги.

— Вы закрылись? — спросил Артём.

— Нет. Просто люди перестали заходить без рекомендации.

Старик представился Саматом и протянул книгу без обложки. Внутри оказались заметки о простых вещах: как долго кипит вода, если ждать её без телефона; как выглядит знакомая улица, если идти по ней не кратчайшим путём; как трудно слушать другого, не сочиняя заранее ответ.

Вечером дочь Артёма, Лиза, объявила, что хочет поступать в школу дизайна. Приложение рекомендовало ей инженерный лицей: высокий прогноз трудоустройства, подходящие способности, низкий риск разочарования.

— Я не хочу туда, — сказала Лиза.

— Система считает, что тебе будет легче.

— А если мне нужно не легче?

Артём посмотрел на экран. Он мог объяснить, как модель вычислила рекомендацию. Не мог объяснить, почему вычисленное должно стать важнее сказанного дочерью.

На работе он попросил журнал решений «Контура» по личным рекомендациям. Формально доступ был у любого инженера его уровня. Но прежде Артёму ни разу не приходило в голову спросить, как именно система влияла на повседневные выборы.