Kitabı oxu: «Главное про AI»

Посвящается моей любимой жене, моей Надежде.

- - -

Предисловие

Это не научный труд, не художественное произведение и не одна идея, растянутая на сотню страниц. Я написал эту книгу для тех, кто уже попробовал работать с AI и теперь хочет понять, что это такое и что делать дальше, чтобы эффективно использовать AI в бизнесе: для собственников, менеджеров, юристов, дизайнеров, финансистов, инженеров — не специалистов в IT или машинном обучении. Для тех, кто видит для себя в AI перспективу или угрозу.

Внедрение AI в компании, подразделении или на своём рабочем месте поднимает массу практических вопросов: можно ли ожидать от AI полезных результатов в конкретной области, какие инструменты и модели лучше выбрать, какой экономический эффект это даст, как внедрять AI-решения, какие подводные камни вас ожидают на этом пути, чего стоит ожидать от AI в ближайшем будущем, и так далее. Каждая из 17 глав книги — содержательный ответ на наиболее острые из этих вопросов.

Не стану врать, что тема AI проста и всё можно объяснить за пять минут на пальцах. Это не так, поэтому книга получилась довольно объёмной. Чек-листы, списки и таблицы помогут вам быстро сориентироваться в теме и принять взвешенные решения, основываясь не на радужных обещаниях маркетологов, страшилках вечных скептиков или эмоциональных высказываниях популярных блогеров, а на фактах.

В конце каждой главы есть короткое резюме с ключевыми мыслями, чтобы можно было быстро погрузиться в контекст в случае необходимости, а специфические термины и аббревиатуры, которые вы не обязаны знать, я постарался расшифровать не только в глоссарии, но и прямо в тексте.

Разумеется, эта книга про AI была написана с помощью AI. В основу её текстов легли материалы моих семинаров на стыке искусственного интеллекта и менеджмента, а также публикации в открытых источниках. На AI легла работа по переводу текстов, верификации данных, корректуре и множеству других технических задач. Для такой динамично развивающейся области знаний это просто необходимо, иначе книга рискует устареть ещё до момента публикации. Такова реальность, и мы не можем её игнорировать.

Спасибо, что открыли эту книгу. Давайте начнём.

Глава 1. Как устроены LLM

Летом 2017 года восемь инженеров Google Brain в Маунтин-Вью спорили, можно ли отказаться от рекуррентности в архитектуре нейросети и оставить только механизм внимания — научить машину смотреть на предложение целиком, а не читать слово за словом. Для тех, кто привык к рекуррентным сетям, затея звучала ересью. Базовую модель они обучили за двенадцать часов, большую — за три с половиной дня, тоже на восьми видеокартах; результаты англо-французского теста пришли за пять минут до дедлайна. Двенадцатого июня 2017 года на arXiv появилась статья «Attention Is All You Need» («Внимание — это всё, что вам нужно»), и через восемь лет у неё было больше ста семидесяти тысяч цитирований — это входит в топ-10 самых цитируемых научных работ двадцать первого века. Эта дата — точка отсчёта для всей современной индустрии AI (Artificial Intelligence, искусственный интеллект).

Я начинаю с этой истории, потому что она отвечает на вопрос, с которым вы пришли в книгу: «что я использую каждый день, когда ввожу запрос в чат?». Короткий ответ: статистическую машину, обученную на терабайтах текста предсказывать следующее слово по предыдущим. Длинный ответ — почему эта машина вообще смогла появиться. Три вещи сошлись в одной точке: большие корпуса текстов, видеокарты, способные их перемалывать, и архитектура, которая хорошо подходит для этих видеокарт. Дальше сработала обычная инженерная логика: что работает, то повторяем в большем масштабе.

АНАТОМИЯ ТРАНСФОРМЕРА: АРХИТЕКТУРА, ИЗМЕНИВШАЯ ВСЁ

Когда вы слышите в новостях «новая модель от вендора X», важно знать: в основе большинства моделей, с которыми вы работаете, лежит одна и та же архитектура — трансформер. Это архитектура нейросети, появившаяся в 2017 году (историю её создания я рассказал в начале главы). Трансформер лежит в основе современных LLM (Large Language Models, большие языковые модели) — и именно о них эта глава. Слова «трансформер» и «LLM» — не синонимы: LLM — это конкретная обученная модель, а трансформер — архитектура, по которой её собрали. Одну и ту же архитектуру можно обучить на разных данных и получить разные модели, поэтому на самом деле по этому чертежу собраны и Qwen, и DeepSeek, и GigaChat, и YandexGPT.

ТРАНСФОРМЕР БЕЗ ФОРМУЛ: СУТЬ НА ПАЛЬЦАХ

Никакой мистики. Трансформер смотрит на всё предложение целиком и для каждого слова решает, с какими другими словами его связать. До него текстовые нейросети — рекуррентные сети (RNN, recurrent neural networks) — читали предложения слово за словом, как вы читаете эту строку: чтобы понять десятое слово, нужно было сначала «переварить» девятое, а до него — восьмое, и так до первого. RNN по природе последовательны, и на видеокарте с тысячами ядер реально работало меньше десяти процентов — остальные ждали, пока одна цепочка токенов ползёт от первого к последнему. Трансформер убрал цепочку: каждое слово за один проход связывается со всеми остальными, и эту операцию можно делать параллельно на тысячах ядер. Та же загрузка видеокарты, что раньше не превышала десяти процентов, выросла до девяноста, и с 2017 года размер моделей стал расти на порядки — инженерная логика «что работает, то повторяем в большем масштабе» перестала упираться в железо. Суть трансформера простая: нейросеть, которая хорошо параллелизуется. Не «более умная» — лучше приспособленная к железу.

МЕХАНИЗМ SELF‑ATTENTION

Почему трансформер «победил» RNN, что именно изменила архитектура внутреннего внимания (self-attention) и какие ограничения железа она сняла? Именно этот механизм реализует возможность каждому слову смотреть на все остальные в предложении. Работает он в три шага.

Сначала для каждого слова модель строит три вектора — запрос (Query), ключ (Key) и значение (Value). Это не три разных вычисления, а три проекции одного и того же слова — три угла зрения на одну сущность.

Затем она сравнивает запрос слова с ключами остальных и получает набор «весов внимания» — численную оценку того, насколько каждое слово важно для текущего. Веса нормализуются так, чтобы в сумме давать единицу, и по ним берётся взвешенная сумма значений остальных слов.

На выходе — новое представление слова, «обогащённое» контекстом.

Простой пример. В предложении «он взял ключ, потому что дверь была закрыта» слово «он» при обученном механизме получает высокий вес связи с тем существительным, к которому относится это местоимение, а «ключ» — с «дверь». RNN утрамбовывала весь смысл в одно скрытое состояние. Трансформер каждый раз заново смотрит на весь контекст.

Операция повторяется не один, а 8–16 раз параллельно с немного разными матрицами. Это называется многоголовым вниманием (по-английски — multi-head attention). Каждая «голова» учится решать свою задачу: одна ловит грамматические связи — какое слово является подлежащим, другая — смысловые: о каком предмете речь, третья — кто к кому относится в длинном предложении. Головы склеиваются — получается вектор, который пойдёт в следующий слой сети. Никакой магии: умножение матриц, выполняемое параллельно на тысячах ядер видеокарты.

ПОЧЕМУ ТРАНСФОРМЕР СТАЛ СТАНДАРТОМ

Трансформер победил не потому, что он единственный возможный, а потому что совпали три свойства, которые инженеры ценят больше красоты решения.

Масштабируемость через железо. Когда загрузка видеокарты поднялась с десятков процентов до почти полной, дальше работала обычная инженерная логика: что работает, то повторяем в большем масштабе. И оказалось: чем больше параметров и данных, тем предсказуемо лучше модель работает. Эту закономерность в 2020 году закрепили в OpenAI, а в 2022-м DeepMind уточнил рецепт (разберём подробно в разделе про то, почему модели появились именно сейчас).

Качество обобщения. Механизм внутреннего внимания работает не только на коротких предложениях, но и на длинных текстах, коде, таблицах — везде, где есть отношение «этот элемент зависит от того».

Универсальность. Один и тот же блок self-attention пригодился не только для текста: его используют для картинок, разбитых на куски, для звука, для белковых последовательностей. Подход не застрял в NLP — он стал общим языком современного AI.

Следующий раздел — о том, что именно модель предсказывает и как из цепочки предсказанных токенов складывается связный ответ.

ИГРА В УГАДЫВАНИЕ ТОКЕНА: ЧЕМ НА САМОМ ДЕЛЕ ЗАНЯТА МОДЕЛЬ

Представьте, что вы печатаете в чате «Премьер-министр Великобритании…». Модель выберет то слово, которое статистически чаще встречалось в похожем контексте в обучающих текстах. «Заявил», «встретился» или «подал в отставку» — не магия и не мышление, а статистика такого объёма, который ни один человек не способен охватить. Что такое токен, разберём в отдельном разделе ниже, пока запомните его как «фрагмент текста, на который модель разбивает входные данные». CSET, Центр безопасности и новых технологий Джорджтаунского университета, формулирует это так: «правильный входной запрос превращает машину для предсказания следующего слова в машину для ответа на вопросы». Именно это и происходит в каждом чате: вы формулируете задачу — модель продолжает текст так, как, по её подсчётам, должно следовать дальше в этом контексте.

Себастьян Рашка (Sebastian Raschka), автор книги «Собрать большую языковую модель с нуля», описывает механизм детальнее. Во время обучения модель обрабатывает последовательность токенов и на каждой позиции выдаёт вектор оценок для всего словаря. Вектор превращается в распределение вероятностей, и модель «штрафуется», когда приписывает низкую вероятность настоящему следующему токену. За миллионы пакетов данных и миллионы документов она учится не правилу «какое слово следующее», а тому, какие продолжения в каком контексте чаще встречаются. Постепенно усваивает синтаксис, смысл, стиль, факты и длинные языковые закономерности. «Выучить язык» в техническом смысле — это не «понять правила», а «выучить, какие слова в каких контекстах идут друг за другом».

Понимает ли модель то, что говорит, или только очень хорошо угадывает следующее слово? Модель не «понимает» намерение пользователя как человек и не знает, какой токен «правильный», — только какой вероятный в её статистике. Пять вещей, которые она не делает «сама по себе», важно знать заранее — иначе вы будете ждать от неё того, чего она не умеет:

1: Не проверяет факты. Модель продолжает текст по статистике, а не исходя из реальности.

2: Не обращается к базам данных без подключённого внешнего инструмента — её «знание о мире» заморожено на дате отсечки обучающего корпуса.

3: Не возвращается назад, чтобы отредактировать уже написанное, — каждый токен добавляется к предыдущим, всё сказанное остаётся как было.

4: Не планирует ответ заранее — она генерирует по одному токену, и каждый следующий токен зависит от уже написанного.

5: Не останавливается «сама по себе» — стоп-сигнал задаётся извне: по лимиту длины, по специальному токену или по команде пользователя.

Почему модель так уверенно врёт и при чём тут отсутствие внутреннего «детектора правды»? Понимание этого пригодится вам каждый раз, когда модель выдаст уверенный, но неправильный ответ. Модель не «забыла», не «ошиблась», не «решила вас обмануть»: она выбрала токен, который статистически подходил лучше всего, и ей было не на что опереться, кроме вероятностей. Уверенный тон — не признак точности. Чем выше вероятность следующего слова в обучающих текстах, тем увереннее модель его произносит.

В 2023 году в США на судебном процессе Mata v. Avianca выяснилось, что юрист Стивен Шварц (Steven Schwartz), использовавший ChatGPT для подготовки иска, подал в суд шесть несуществующих судебных прецедентов и подкрепил их цитатами, которых не было в источниках. Судья оштрафовал его. Этот случай показал то, что статистическая природа делает неизбежным: модель не отличает правду от правдоподобия и на любой запрос выдаст ответ, который звучит правильно, даже если за ним ничего не стоит. Это не баг, который исправят в следующей версии. Это системное свойство всех современных языковых моделей.

С этим утверждением спорят. Джеффри Хинтон (Geoffrey Hinton), лауреат Нобелевской премии 2024 года за работы в области нейросетей (формально — премия по физике, совместно с Джоном Хопфилдом (John Hopfield)), считает иначе: «чтобы точно предсказывать следующее слово, нужно понимать предложение» (оригинал: To predict the next word accurately, you have to understand the sentence). По Хинтону, при достаточном масштабе статистика порождает понимание как попутный эффект, и спор идёт не о том, статистическая ли модель, а о том, считать ли возникающие при масштабе способности пониманием.

Это контраргумент к метафоре «стохастического попугая» — так называют модель, которая воспроизводит услышанное, не понимая смысла; метафору в 2020 году ввели Тимнит Гебру (Timnit Gebru), Эмили Бендер (Emily Bender) вместе с коллегами. Все позиции сходятся в том, что модель статистическая, и разница только в том, считаем ли мы возникающие при масштабе способности пониманием. Спор философский — и не мешает использовать LLM как инструмент.

КОНТЕКСТНОЕ ОКНО: ГРАНИЦЫ И «ПОТЕРЯННАЯ СЕРЕДИНА»

У модели нет памяти в человеческом смысле. Есть контекстное окно — ограниченный «карман», в который она смотрит, продолжая текст. Каждый новый фрагмент она видит, держа в голове всё, что помещается, без потерь и сжатия. Окно кончилось — предыдущий текст из головы выпадает. Модель не помнит, что было за пределами окна, и не предупреждает об этом. Просто работает с тем, что поместилось.

Представьте, что вы читаете книгу через узкое окошко в двери. Страница за страницей ползут мимо, и в каждый момент вы видите только то, что в окошке помещается. Всё, что осталось за его пределами, для вас не существует — вы не помните, что было на предыдущих страницах, потому что их нет в поле зрения. Загрузили в чат пятидесятистраничный договор, а окно рассчитано на двадцать страниц, — модель физически увидит только последние двадцать. Начала договора для неё в этот момент просто нет. Переспрашивать бесполезно.

Контекстное окно важно для офисного работника по двум причинам. Для русского текста то же окно вмещает почти вдвое меньше слов, чем для английского, и платить за токены приходится в полтора-два раза больше. Окно измеряется в токенах, а не в словах, и до сих пор я говорил об этом как о факте — пора объяснить, что такое токен и почему он для русского обходится дороже. Это тема следующего раздела.

Модель физически работает не с текстом, а с числами. Каждое слово или кусок слова превращается в токен, и только после этого попадает в нейросеть. По оценке OpenAI (GPT-4 tokenizer release notes, 2023), сто токенов — это примерно семьдесят пять английских слов. В русском текст дробится на больше токенов, и то же окно в 128 000 вмещает не сто тысяч русских слов, а пятьдесят-шестьдесят тысяч. Когда маркетинг пишет «модель читает 100 000 слов», он имеет в виду английские слова, и для русского офисного текста это число надо делить примерно пополам.

Восемь тысяч токенов — это короткое письмо, протокол одного совещания, абзац кода. Тридцать две тысячи — статья средней длины, нормальный договор на двадцать-тридцать страниц, развёрнутый диалог на десяток ходов. Сто двадцать восемь тысяч — годовой отчёт небольшой компании, переписка за квартал, техническая книга. Миллион — стопка из десяти годовых отчётов или вся документация одного продукта. Для большинства офисных задач хватает 32–128 тысяч токенов, и покупать миллионное окно ради того, чтобы «уже точно хватило», — это как заказывать грузовик для поездки за хлебом. К середине 2026 года окно в миллион токенов стало стандартом у ведущих вендоров — GPT-5.5, Claude Opus 4.6+ и Gemini 3.1 Pro заявляют миллион, Llama 4 Scout — десять миллионов, Qwen3-Max Plus и DeepSeek V4 — по миллиону токенов. Но заявленный миллион и рабочий миллион — две разные вещи: по независимым оценкам, реальная ёмкость стабильно держится на 60–70% от рекламного максимума, а середина всё так же «теряется». Так что в 2026 году для офисного работника формула выбора простая: для письма и протокола — 32K, для длинного документа — 128K, для миллиона — отдельный повод подумать, действительно ли вам нужен миллион или вы просто загружаете всё подряд.

Имеет значение, куда ставить ключевую инструкцию. Самый опасный момент в работе с длинным диалогом — не тот, когда модель отказывается отвечать, а тот, когда она соглашается. Когда вы выходите за пределы окна, платформа либо возвращает ошибку «превышена длина контекста», либо — и это случается чаще — молча обрезает начало разговора и продолжает отвечать так, будто ничего не произошло. В первом случае вы хотя бы видите сбой. Во втором модель отвечает на вопрос, опираясь на усечённый контекст, и вы уверены, что она «всё помнит». Вот это и опасно: забывание без явного сигнала — маскировка потери памяти.

В 2023 году исследователи из Стэнфорда и Принстона во главе с Нельсоном Лю (Nelson Liu) обнаружили ещё одну ловушку, которую они назвали «потерянной серединой» (Lost in the Middle). Длинный документ с важной деталью в центре модель обрабатывает хуже, чем короткий: она лучше помнит начало и конец контекста, хуже — середину. Загрузили в чат договор на девяносто страниц и просите «найди пункт про досрочное расторжение», а нужный пункт попал в середину, — модель с высокой вероятностью его пропустит, даже если формально весь документ в окне. Практический вывод: важное ставьте в начало и в конец, середину не загружайте без необходимости.

Как размер контекста влияет на выбор модели для работы с большими документами, разберёмся чуть позже. Сейчас перейдём к токенизации.

ТОКЕНИЗАЦИЯ: СКРЫТАЯ НАЦЕНКА НА РУССКУЮ РЕЧЬ

Модель работает не с буквами и не со словами, а с числами. Прежде чем показать ей ваш договор, текст придётся нарезать на кусочки — токены, — и каждому кусочку присвоить числовой идентификатор. Слово «договор» может стать одним токеном, а может развалиться на три: «дог», «ов», «ор». Как именно — решает токенизатор, не грамматика и не ваш редактор. Когда в диалоговом окне ChatGPT вы набираете запрос, происходит короткий ритуал, о котором вы и не подозреваете. Система берёт ваш текст, прогоняет его через токенизатор и получает на выходе последовательность чисел вроде 101 2054 2003 2651 1005 — условных идентификаторов из словаря модели, где каждое число соответствует своему кусочку текста. Эти числа уходят в нейросеть, нейросеть их перемалывает и выдаёт обратно тоже числа, а уже отдельный механизм превращает их в человеческие буквы на экране.

Алгоритм, который режет текст на токены, появился задолго до нейросетей. В 1994 году Филип Гейдж (Philip Gage) предложил метод побайтового кодирования пар — способ сжать текст, заменяя самые частые пары букв одним символом. В 2018 году инженеры OpenAI приспособили этот же приём под GPT, и с тех пор он работает внутри каждой большой языковой модели. Идея простая: берём текст, считаем, какие пары букв рядом встречаются чаще всего, склеиваем их в один символ, повторяем, пока не наберём словарь нужного размера. Этот базовый метод называется BPE — алгоритм нарезки на пары символов (Byte Pair Encoding). WordPiece и SentencePiece — варианты BPE с небольшими отличиями в выборе пар; для офисного работника разница между ними не важна, вы этот алгоритм не выбираете.

Почему не «по словам» и не «по буквам»? Потому что оба варианта — крайности, и обе плохо работают. Если резать по буквам, скромное «привет» превратится в шесть токенов, и модели придётся каждый раз заново собирать слово из букв. Если резать по словам, словарь раздуется до миллионов форм: «бежать», «убежал», «забежал», «перебежал», «выбежал» — каждое нужно хранить отдельно, и для редких слов просто не хватит места. Токенизатор нарезает текст на кусочки промежуточного размера: целые слова, если они частые, и куски слов, если слово редкое или длинное.

У токенизатора есть фиксированный словарь — набор кусочков, которые он умеет распознавать. Словарь составляется один раз, на этапе обучения, и в нём столько русских кусочков, сколько их было в обучающих текстах. По данным OpenAI (GPT-3.5/4 tokenizer release notes), у GPT-3.5 и GPT-4 словарь — около ста тысяч кусочков, из них кириллических меньше пятисот. У GPT-4o словарь расширили до двухсот тысяч, и кириллических стало около четырёх с половиной тысяч — в десять раз больше (по анонсу OpenAI 2024 года). В OpenAI осознали проблему и вложились в неё деньгами, но и четыре с половиной тысячи на двухсоттысячный словарь — это всё ещё два процента, а не половина.

Чтобы почувствовать разницу на цифрах, возьмём простую фразу «Я встретил огромную собаку» и её английский перевод «I met a huge dog». Английский вариант превращается примерно в 5–6 токенов, русский — в 12–14. У моделей с латинским алфавитом в словаре больше целых английских слов, и они реже режут текст на части; у кириллических слов словарь беднее, и токенизатор рубит слово на куски. Точные цифры зависят от модели, но порядок сохраняется у большинства современных LLM.

Что это означает для офисного работника на практике:

1: Скорость ответа падает. Модель генерирует токены последовательно, и чем их больше, тем дольше идёт ответ.

2: Качество падает на сложной лексике. Юридические, медицинские и финансовые термины русского языка часто режутся на нерегулярные куски, и модель хуже «понимает», что перед ней.

Вопросы цены и размера окна для русского текста мы разобрали в предыдущем разделе, поэтому здесь остановимся только на этих двух следствиях.

Зачем нужны модели с поддержкой кириллицы на уровне токенизатора и что это даёт на практике?

GigaChat, YandexGPT, Qwen, DeepSeek появились с одной и той же мыслью: словарь нужно наполнить кусками тех языков, на которых модели будут работать, и не наполнять его кусками тех, на которых не будут. Для русскоязычной задачи кириллическая модель часто оказывается дешевле и быстрее западной, и это не «преимущество российской инженерии», а математический факт: у неё больше кириллических токенов в словаре, и она меньше тратит их на одну и ту же фразу. К 2026 году выбор стал конкретнее: YandexGPT 5 Pro встроен в Алису и закрывает офисные задачи на русском в формате подписки — платите фиксированно, без отдельной оплаты за токены, GigaChat 2 Max доступен в варианте локальной установки (on-prem, на серверах компании) под ФЗ-152 (Федеральный закон «О персональных данных»), а Llama 4 (выпущенная в апреле 2025 года) русского в списке языков дообучения не содержит — и для русскоязычной задачи это явный сигнал смотреть в сторону кириллических моделей. Миф «кириллица работает хуже, потому что модель обучена на английском» — неверен: проблема в токенизации, не в качестве обучения, и решается она не переходом на западную, которая выглядит «лучше» в маркетинговых таблицах, а выбором кириллической модели с собственным словарём.

АВТОРЕГРЕССИЯ, ДИФФУЗИЯ, ГИБРИДЫ: ТРИ СЕМЕЙСТВА МОДЕЛЕЙ

Внутри категории «большая языковая модель» работают три семейства, и по названию сервиса уже можно прикинуть, чего от него ждать. Для офисного текстового чата вам нужны авторегрессивные модели — GPT, Claude, Gemini, GigaChat и YandexGPT; остальные два семейства для чистого текста почти не используются.

Чтобы сравнить три семейства бок о бок, соберём ключевые признаки в таблицу.

Таблица показывает разницу в скорости и задачах: авторегрессия — секунды-минуты для текста, диффузия — минуты для картинки и часы для видео, гибрид — зависит от того, какую часть задействуете. Для чисто текстовой работы гибрид избыточен и часто медленнее, а диффузионная модель для текста в 2026 году всё ещё экзотика.

Авторегрессия объясняет три вещи, которые вы видите каждый день в чате:

1: Потоковый вывод. Ответ появляется токен за токеном, и вы видите, как модель «печатает» в реальном времени.

2: Невозможность «отмотать назад». Модель не может вернуться к началу ответа и поправить его — каждый токен добавляется к предыдущим.

3: Цепочка рассуждений (chain-of-thought). На длинных задачах модель использует «думание вслух» — каждый шаг рассуждения опирается на предыдущий.

Диффузионные модели решают принципиально другую задачу. Они не «пишут» текст или картинку, а учатся убирать шум из хаоса. Это та же механика, по которой проявляется фотография в тёмной комнате: берётся поле случайных пикселей, и за двадцать-тридцать аккуратных проходов из шума «проступает» изображение. Диффузия плохо работала с текстом до 2025 года, но почти все генераторы картинок — Midjourney, DALL-E 3, Stable Diffusion 3, Kandinsky 5.0 — это диффузионные модели. В 2025 году появились первые коммерческие диффузионные LLM — Mercury от Inception Labs (калифорнийский стартап, специализирующийся на диффузионных языковых моделях), которые выдают текст в 5–10 раз быстрее авторегрессии. Для офисного работника в 2026 году это всё ещё экзотика, а не рабочий инструмент. Полезно знать о них не ради выбора, а ради того, чтобы понимать, почему картинки в чате рисуются почти мгновенно, а текст — посимвольно: у них физически разная архитектура.

Гибридные (мультимодальные) модели — для офисного работника это самый заметный сдвиг последних двух лет. GPT-4o, Gemini 2.x, Claude 4, Llama 4 — все они в одном и том же окне принимают и выдают текст, картинки, аудио и видео. Архитектурно это «склейка»: авторегрессионная часть генерирует токены изображения, диффузионный декодер превращает их в пиксели. Для офисного работника теперь не нужно формулировать «запрос для художника» отдельно, можно просто продолжить разговор. Когда сервис принимает картинку в сообщении и описывает, что на ней, — это распознавание картинки на входе (по-английски — vision-in). Когда сервис рисует картинку прямо в чате без отдельного сервиса — это генерация картинки на выходе (по-английски — image-out), и это почти всегда гибрид.

По названию сервиса можно прикинуть, к какому типу он относится: текстовый чат с рассуждениями — авторегрессия, генератор картинок — диффузия, «всё в одном» — гибрид. Для смешанных задач (объяснить схему, перевести вывеску, сделать презентацию) гибрид единственный, кто работает без склеек.

Имея в голове эти три семейства, посмотрим, почему они вообще появились и смогли развиться до рабочих инструментов за последние годы.

ПОЧЕМУ ВСЁ ЭТО СЛУЧИЛОСЬ ИМЕННО СЕЙЧАС

Современная языковая модель — не одно изобретение и не одно озарение, а совпадение трёх факторов, каждый из которых сам по себе недостаточен. Убери любой из трёх — и большие языковые модели либо не появляются, либо приходят на десять лет позже. Это и есть ответ на вопрос «почему именно сейчас»: впервые в истории у одного поколения инженеров оказались все три инструмента в одной связке.

Эти три фактора подтверждаются тремя вехами:

– Данные. В 2009 году Фей-Фей Ли (Fei-Fei Li) из Стэнфорда с командой разметили четырнадцать миллионов изображений через Amazon Mechanical Turk — этот датасет, ImageNet, стал первым датасетом такого масштаба. Через десять лет тот же рецепт перенесли на текст: Common Crawl (некоммерческий проект, который с 2008 года архивирует веб-страницы) выкачивает весь интернет, GPT-3 берёт оттуда восемьдесят два процента своих токенов.

– Железо. В 2012 году аспирант Алекс Крыжевский (Alex Krizhevsky) из Торонто обучил нейросеть AlexNet на двух игровых видеокартах NVIDIA GTX 580, написанных на CUDA (язык, который NVIDIA выпустила в 2007 году, чтобы видеокарты перестали быть «только для игр»), и AlexNet выиграл конкурс ImageNet с отрывом в десять с лишним процентных пунктов. Стало ясно: видеокарты — не побочный продукт игровой индустрии, а отдельный инженерный слой.

– Алгоритм. Трансформер 2017 года дал параллелизацию, и за пять лет размер моделей вырос на три порядка.

В январе 2020 года OpenAI публикует статью о масштабировании моделей (Kaplan и соавторы, «Scaling Laws for Neural Language Models» — «Законы масштабирования для нейросетевых языковых моделей»), которая задала стратегию обучения на годы вперёд. Тезис простой: чем больше модель и чем больше данных, тем предсказуемо лучше она работает, причём зависимость степенная. В марте 2022 года DeepMind показывает, что OpenAI ошибся в одном: их рецепт недооценивал данные. Модели, обученные «маленькими, но долго», били модели, обученные «большими, но быстро». Так появилось эмпирическое правило из работы DeepMind под названием Chinchilla (это именно правило обучения, а не модель — название отсылает к шиншилле из детской повести): на каждый параметр модели нужно примерно двадцать токенов данных. То, что раньше делали интуитивно, стало инженерной дисциплиной.

Хинтон не изобрёл нейросети в 2010-х — он работает с ними с 1980-х, и большая часть его карьеры пришлась на период, когда эту область называли безнадёжной. Авторы «Attention Is All You Need» — восемь человек из Google Brain, а не один гений с армией ассистентов. LLaMA — десятки инженеров Meta и результат трёх лет подготовительной работы. Современная большая модель — это индустриальный продукт, где без инфраструктуры не будет прорыва. «История AI как история одиноких гениев» — пиар-история, которая хорошо продаётся, но плохо отражает реальность.

Миф «модель знает всё, потому что обучена на всём интернете» — неверен. Она обучена на срезе с пропусками и с датой отсечки. У неё нет представления о «сейчас», есть только статистика по корпусу, который заканчивается в определённый месяц, — отсюда уверенно поданный старый прецедент как свежий. То, что вы используете, делала команда из сотни человек с бюджетом в десятки миллионов долларов, а не один талантливый исследователь.

Какие сегодняшние «фундаментальные» ограничения AI через два-три года перестанут существовать и что, наоборот, подорожает? Узкое место в индустрии сдвигалось три раза, и каждое десятилетие приносило свой ответ:

– 2017 — алгоритм. Трансформер дал параллелизацию.

– 2020 — данные и формула. Chinchilla превратила «побольше данных» в инженерный план.

– 2024–2025 — применение модели и качество данных. Узкое место сместилось снова.

Сейчас это не «как обучить» (железо есть) и не «на чём обучать» (текстов на английском хватает), а «как обработать миллион токенов контекста без квадратичного взрыва» и «как заставить модель думать дольше, не делая её работу слишком медленной». Индустрия отвечает тремя путями.

Разреженное внимание. Модель смотрит не на все токены, а на отобранные. Так работают DeepSeek и Gemini Flash.

Смесь экспертов (MoE — Mixture of Experts). Модель состоит из нескольких специализированных подмоделей, и для каждого токена выбирается свой эксперт.

Дополнительные вычисления на этапе ответа в режиме рассуждения. Так работают o1, Claude thinking и Qwen3-Max-Thinking.

Из этого следует: через два-три года текущие «фундаментальные» ограничения — длина надёжного контекста, качество рассуждений и цена топовых моделей — тоже перестанут быть узким местом. Это не «AI станет умнее», а «инженеры найдут способ тратить вычисления умнее». А подорожает то, что и всегда: электричество, видеокарты, инженерные кадры и качественные данные на русском.

ПАРАМЕТРЫ И МАСШТАБ: КОГДА РАЗМЕР ВАЖЕН, А КОГДА НЕТ

Когда в команде говорят «давайте возьмём модель побольше, чтобы точно работало», полезно иметь в голове список из трёх строк:

1: 7 млрд параметров — «карманный помощник». Поправит письмо, сделает выжимку из протокола, переведёт короткий кусок, вытащит из длинного документа нужный пункт.

2: 70 млрд — «серьёзный собеседник». Пишет код с пониманием структуры, разбирает юридические документы на десятой странице без потери нити, выдерживает сложную многошаговую инструкцию.

3: 405 млрд — «старший эксперт, которого вызывают по особому поводу». Глубокий анализ, синтез противоречивых источников, длинные рассуждения с цепочкой выводов.

По моей оценке, около восьмидесяти процентов офисных задач закрывает 7-миллиардная модель, ещё пятнадцать — 70-миллиардная, и только оставшиеся пять действительно требуют 405-миллиардной. «Самая большая» для большинства команд не нужна.

Meta, выпуская Llama 3.1 в трёх размерах, фактически предлагает один и тот же рецепт, испечённый в трёх противнях: один для ноутбука, один для серверной стойки, один для дата-центра. Цифра параметров отвечает на вопрос «сколько железа нужно», а не «насколько модель умна». По данным Meta, 405B обучена на более чем пятнадцати триллионах токенов на кластере из шестнадцати тысяч H100 — Meta подчёркивает, что 405B — первая модель Llama, обученная в таком масштабе. За числом стоит бюджет, а бюджет — не магия, а деньги, электричество и инженерные решения.

Microsoft в релизе Phi-4 (декабрь 2024) поставила курс на «больше — не всегда лучше»: модель с четырнадцатью миллиардами параметров позиционируется как рассуждающая, конкурирующая с куда большими моделями. В декабре 2025 Microsoft подвела итог: Phi-4-reasoning «соперничает с куда большими моделями на сложных задачах на рассуждение». В той же точке сходятся независимые исследования: стэнфордская работа о «мираже» эмерджентности (иллюзии резких скачков в способностях модели при увеличении размера; авторы — Schaeffer, Miranda, Koyejo) показала, что «резкие скачки» в способностях больших моделей могут быть артефактом того, как их измеряют. При смене метрики или при увеличении числа примеров скачки исчезают, и зависимость становится гладкой. «Больше параметров» — в первую очередь маркетинговый аргумент. Для большинства бизнес-задач хватает меньшей модели, а где 405B действительно нужна, вы это узнаете по характеру работы, а не по рекламе вендора.

Теперь, когда мы разобрали, что у модели под капотом, какие семейства бывают и как соотносить размер с задачей, посмотрим ретроспективно: почему всё это вообще появилось именно в последние годы, а не десятью раньше или десятью позже.

РЕЗЮМЕ

Модель в чате — статистическая машина, предсказывающая следующий токен по предыдущим. По этому чертежу собраны и GPT, и GigaChat, и YandexGPT, и Qwen. Разница между ними — в обучающих данных, не в инженерной идее. Уверенный тон модели — особенность распределения токенов, и в ближайших релизах это не изменится. Контекстное окно измеряется в токенах: для русского текста оно вмещает вдвое меньше слов, чем для английского. По названию сервиса вы прикидываете архитектуру: авторегрессия для текста, диффузия для картинок, гибрид для смешанных задач. LLM — индустриальный продукт, не изобретение одного исследователя. Для офисной рутины размер модели решает меньше, чем принято думать: основная масса задач закрывается 7-миллиардной моделью, и локальная 7B на ноутбуке часто выигрывает у облачной.

Утро понедельника. Вы открываете почту, там двадцать три письма, и у трёх из них вложения по пятнадцать страниц. До обеда надо ответить на семь, остальные — после. В пятницу босс попросил «сделать красиво» квартальный отчёт. Секретарь уволилась месяц назад, новую ещё не нашли. Звучит знакомо? Следующая глава — про то, какие из этих задач AI закроет за вас, какие возьмёт на половину, а какие лучше не подпускать к деловой переписке вообще. Это не фантастика и не утро офиса 2030 года — это типичная рабочая неделя 2027-го.

Глава 2. Что AI умеет и чем ограничен

Представьте конец 2025 года: двое менеджеров из разных компаний спорят за кофе. Один говорит: «AI отлично работает, я за день закрыл месячный отчёт». Второй: «А я попросил его написать досудебную претензию — и он сослался на статью закона, которой не существует. Хорошо, что помощник успел проверить». Оба говорят про одну и ту же модель, но видят её по-разному. Оба правы, и оба смотрят на одну и ту же машину. Разница — в типе задачи. Первый дал модели задачу с низкой ценой ошибки, черновик, — и сэкономил день. Второй дал задачу с высокой ценой, юридический документ, — сэкономил час, а потом рисковал карьерой. В следующих разделах разберёмся, как заранее отличить первое от второго — и перестать спорить с коллегами о том, «хорошо ли работает AI». Он работает по-разному. Это не каприз, а системное свойство.

ПЯТЬ КЛАССОВ ЗАДАЧ AI

Когда вы открываете чат и формулируете запрос, модель решает одну из пяти задач. Названия звучат сухо, но различение между ними — первая линия обороны против плохого результата. Важнее, чем выбор модели и длина промпта.

Классификация. Вы даёте модели текст и список меток, она возвращает метку. «Отнеси это письмо к одному из пяти типов: жалоба, запрос документов, претензия по качеству, повторное обращение, спам» — модель должна выбрать один из пяти вариантов:

1: жалоба;

2: запрос документов;

3: претензия по качеству;

4: повторное обращение;

5: спам.

Внутри та же машина, что рисует картины, но задача формализована настолько жёстко, что вероятность выдумки низкая. Хорошо работает: сортировка входящих, тегирование тикетов поддержки, фильтрация резюме по базовым критериям.

Извлечение фактов. Вы даёте договор и список полей, модель возвращает пары «поле — значение». «Из этого договора вытащи: дату, номер, стороны, предмет, сумму, срок, условия расторжения». Здесь модель работает как очень внимательный, но не очень надёжный стажёр. С задачей справляется, но если в договоре поля нет, она часто выдумывает значение вместо того, чтобы честно сказать «не нашла». Это системная особенность, и с ней борются отдельно — мы к этому вернёмся в разделе про распознавание галлюцинаций.

Резюмирование. Вы даёте длинный текст, модель возвращает короткий. Самая надёжная операция из всех. По данным Vectara Hallucination Leaderboard за ноябрь 2025, лучшие модели на задачах суммаризации выдают менее одного процента галлюцинаций — Gemini 2.0 Flash, например, показывает 0,7% (лучший результат рейтинга на тот момент).

Но разброс в рейтинге — от 0,7% до 20,2%. Выбор конкретной модели даёт двадцатикратную разницу в вероятности выдумки. «Лучшая модель» — не общий ярлык, а привязка к конкретной строке рейтинга. Для офисной рутины «сожми мне протокол в пять строк» это рабочий инструмент, и риск выдумки в этой задаче один из самых низких во всём, что умеет LLM.

Причина простая: при суммаризации модель работает с заранее данным текстом, и единственный способ выдумать — исказить исходник. Это случается редко, потому что текст у неё «перед глазами».

Генерация. Вы даёте тему, модель возвращает связный текст. «Напиши письмо клиенту о переносе встречи», «Составь должностную инструкцию для помощника», «Сформулируй пять вариантов слогана». Здесь качество сильно зависит от того, насколько точно вы описали требования: тон, формат, длину, аудиторию, обязательные элементы. Чем расплывчатее промпт, тем выше шанс получить красивый, но бесполезный для вашей задачи текст. Не потому что она «глупая», а потому что у неё нет вашего контекста.

Поиск и вопрос-ответ. Вы даёте вопрос, модель возвращает ответ. Самая опасная задача, потому что в ней модель работает без ваших документов, на своей внутренней статистике. «Кто был премьер-министр Японии в 2018 году?», «Какая статья ГК РФ регулирует расторжение договора аренды?», «Что говорит наш регламент о сроках согласования?» Последний вопрос — самый коварный: модель не знает вашего регламента, и её ответ будет выглядеть как «правда про регламент», но это выдумка в форме ответа. Про распознавание таких моментов — отдельный раздел ниже.

РАСЧЁТЫ: ЛОВУШКА КОМАНДЫ «ПОСЧИТАЙ МНЕ»

К пяти классам задач стоит добавить шестой — расчёты, потому что в нём модель ведёт себя иначе. Правило раздела такое: «посчитай мне» — плохой промпт, а «напиши Python-скрипт, который считает…» — хороший. Если в вашем продукте нет Code Interpreter, а задача про точную арифметику (НДС, проценты по кредиту, штрафы, курсовые разницы) — считайте калькулятором или скриптом, а не моделью.

Почему так. Когда вы просите модель посчитать, она не считает — она предсказывает, какой токен статистически вероятнее всего окажется следующим в последовательности «два плюс два». На простом сложении двузначных чисел модели сбиваются в 5–15% случаев, а на умножении трёхзначных — почти всегда. Исследователи Apple Machine Learning в работе GSM-Symbolic (октябрь 2024) показали это эмпирически: при изменении только числовых значений в задаче точность моделей колеблется в пределах 65 процентных пунктов, а добавление одного нейтрального «шумящего» предложения в условие обрушивает результат.

Современные AI-ассистенты с Code Interpreter решают эту задачу иначе. Модель не считает сама — она пишет скрипт, а Python в изолированной среде (sandbox) его исполняет. Из такой среды модель не имеет выхода в вашу файловую систему, интернет или чужие процессы. Результат вычисления возвращается модели как контекст, и она формулирует ответ на естественном языке. Сейчас в эту архитектуру умеют: OpenAI Advanced Data Analyses (бывший Code Interpreter), Anthropic Claude с калькулятором, Google Gemini Code Execution, Qwen Code Interpreter, Microsoft Copilot + Python в Excel.

На вопрос «сколько будет 2341 × 5678» без инструмента модель с вероятностью 70–80% ошибётся. С инструментом — выдаст точный результат.

Смешение типов в одном запросе — почти гарантированный путь к плохому результату. Когда вы пишете «прочти этот PDF, выдели риски, сравни с прошлогодним, перепиши как письмо директору и порекомендуй решение», вы заставляете модель одновременно извлекать факты, классифицировать риски, сравнивать, генерировать и формулировать рекомендацию. Модель делает один из пяти шагов прилично, остальные — кое-как, и вы получаете текст, в котором половина фактов выдумана, а половина — точная, но не к месту. Если задача сложная и многошаговая, разбейте её на последовательность простых запросов: сначала выжимка, потом — сравнение, потом — черновик письма. Пять минут на разбивку экономят час на правку.

Если вы ловите модель на выдумке и думаете «может, попробовать более новую версию», остановитесь. Версия тут ни при чём — дело в архитектуре.

RAG: ИНСТРУМЕНТ ПОДСТРАХОВКИ, А НЕ ЛЕКАРСТВО ОТ ГАЛЛЮЦИНАЦИЙ

Извлечение фактов и поиск — два самых опасных класса задач: в них модель работает без ваших документов и «додумывает» ответ. По данным Stanford HAI (2024), в этих классах модель выдумывает на 17–33% чаще, чем хотелось бы. Есть ли способ заставить её отвечать по вашим документам, а не по памяти? Есть, и он называется RAG.

В 2024 году индустрия воодушевилась идеей: если дать модели читать ваши документы, а не свои внутренние веса, она перестанет выдумывать. Технология называется RAG — Retrieval-Augmented Generation, или «поиск с подсказкой». На каждый запрос модель сначала ищет релевантные фрагменты в вашей базе знаний, а уже потом формулирует ответ на их основе. Идея элегантная, и для части задач она работает. Для другой части — нет, и важно понимать где.

RAG радикально снижает галлюцинации, когда вопрос имеет точный ответ в ваших документах. «Какой срок оплаты по договору с ООО „Ромашка”?», «Что говорит наш регламент о командировках?», «Какая версия политики безопасности действует с 1 января?» Без RAG модель отвечает из своей статистики и врёт уверенно. С RAG — опирается на конкретный фрагмент, и шанс выдумки резко падает.

Но RAG не серебряная пуля. В сентябре 2024 года команда Стэнфордского института человекоцентричного AI (HAI) и RegLab опубликовала исследование, которое отрезвило индустрию. Авторы — шесть исследователей во главе с Сугуном Магешем (Sugun Magesh) и известным NLP-учёным Кристофером Мэннингом (Christopher Manning) из Стэнфорда — взяли три коммерческих юридических AI-инструмента: Lexis+ AI, Westlaw AI-Assisted Research (построенный на GPT-4 после покупки Casetext за 650 миллионов долларов) и Ask Practical Law AI.

Цифры по галлюцинациям: Lexis+ AI — 17%, Westlaw — 33%, Ask Practical Law AI — 17%, базовый GPT-4 без RAG — 43%. RAG снизил долю ошибок примерно вдвое, но не устранил: в каждом шестом ответе коммерческие инструменты с доступом к проверенной юридической базе выдавали ложную информацию. Westlaw, построенный специально для юристов с фокусом на точность, галлюцинировал в каждом третьем ответе.

Практический вывод: в задачах с высокой ценой ошибки RAG — фильтр первого уровня, а не финальный контроль качества.

Миф «RAG решает проблему галлюцинаций» не выдерживает проверки: модель всё равно может переврать прочитанное или сделать вывод, которого в источнике не было. Грег Ламберт (Greg Lambert), главный специалист по знаниям в Jackson Walker, в комментарии изданию Artificial Lawyer по итогам Stanford-исследования сформулировал ключевую проблему — «creativity problem», «проблему творческого додумывания». Модель не просто ищет в базе, она «креативит» на основе найденного. Берёт реальные документы, соединяет их в несуществующую конструкцию и формулирует уверенный ответ со ссылками на «реальные» источники. Юрист видит красивый ответ со ссылками и не перепроверяет каждую строку.

В феврале 2024 года канадский Civil Resolution Tribunal (Британская Колумбия) признал авиакомпанию Air Canada виновной в неосмотрительном введении в заблуждение из-за того, что её чат-бот пообещал клиенту несуществующую скидку. Клиент Джейк Моффатт (Jake Moffatt), потерявший бабушку, спросил у чат-бота, можно ли оформить обратный билет со скидкой после похорон. Чат-бот ответил утвердительно и привёл подробный тариф. Air Canada использовала RAG-подобный поиск по собственной базе тарифов, но поиск вернул не тот документ, и модель сгенерировала уверенный ответ про несуществующую политику. На суде компания пыталась доказать, что чат-бот — «отдельная сущность, за которую она не отвечает». Трибунал отверг этот аргумент и обязал Air Canada выплатить Moffatt компенсацию в размере 812,02 канадского доллара (CAD). Кейс стал прецедентом: компания отвечает за то, что говорит её AI, даже если AI ошибся.

Вывод: RAG нужен в любом офисном проекте с собственными документами — без него модель выдумывает ответы «как будто из вашего регламента» из общей статистики. Но одного RAG недостаточно: нужно RAG с цитированием, чтобы каждое утверждение модели можно было проверить по конкретному фрагменту базы. И держать в голове: даже хороший RAG уменьшает галлюцинации, а не устраняет.

ТРИ СПОСОБА АДАПТИРОВАТЬ МОДЕЛЬ ПОД СЕБЯ

RAG снижает галлюцинации, но не устраняет их — мы это установили. Тогда возникает следующий вопрос: есть ли способ переделать модель под себя, чтобы она отвечала «в нашем тоне», «с нашей терминологией», «по нашим правилам»? На бытовом уровне это звучит как просьба «натренировать наш ChatGPT на наших документах». В техническом смысле под этой фразой скрываются три разные операции с разной ценой и применимостью, и путаница между ними стоит компаниям десятков тысяч долларов и месяцев работы впустую.

Промпт-инжиниринг с few-shot примерами (few-shot — обучение на нескольких примерах в самом промпте). Вы не трогаете модель вообще, а пишете ей в системной инструкции, как себя вести, и прикладываете 2–5 примеров «вопрос-ответ» в самом промпте. Это самая дешёвая операция: ноль рублей на технику сверх обычной стоимости API, плюс несколько часов работы сотрудника, который учится формулировать задачи. Подходит, когда задача помещается в шаблон, не требует своей базы знаний и сводится к управлению тоном, форматом, терминологией. Лимит: если few-shot в промпте «съезжает» с формата на длинных ответах, это сигнал, что задача вышла за границы инструкции.

RAG (поиск с подсказкой). Вы оставляете модель общую, но подключаете к ней свою базу знаний. При каждом запросе модель сначала находит в базе релевантные фрагменты, а уже потом отвечает с опорой на них. Стоимость — от единиц тысяч долларов на старте (векторная база, индексация, интеграция) до десятков тысяч на зрелом проекте. Подходит, когда у вас есть много собственных документов, на которые модель должна опираться, и эти документы регулярно обновляются. Преимущество RAG перед дообучением — свежесть: данные можно обновить за часы (переиндексировал базу), а не за недели (новый цикл обучения). Преимущество RAG перед промптом — цитируемость: сотрудник или клиент может ткнуть пальцем в конкретный пункт регламента, на который модель сослалась. В задачах с регуляторной ответственностью (комплаенс, медицина, финансы) RAG даёт прослеживаемость источника, и в ЕС по AI Act это юридически значимое преимущество, а дообученная модель — чёрный ящик, и доказать, на каком основании она выдала ответ, потом будет нечем.

Дообучение (fine-tuning). Вы берёте готовую модель и прогоняете её через дополнительное обучение на своих парах «вопрос-ответ», подкручивая её внутренние веса. Это самая дорогая операция. Полное дообучение модели 7B требует 100–120 ГБ видеопамяти — это аренда нескольких серверных NVIDIA H100 примерно за 50 000 долларов за цикл.

Стоимость дообучения GPT-4o у OpenAI в августе 2024 — 25 долларов за 1 миллион токенов тренировки плюс 3,75 за миллион токенов инференса дообученной модели (тарифы OpenAI на 2024 год, в 2026 могли измениться). По оценке Open Source Data Summit 2025, дообучение обходится в 10–50 тысяч долларов за итерацию и требует месяцев на подготовку данных, тогда как RAG-система разворачивается за недели при 10% от этой стоимости.

Подходит, когда у задачи специфический стиль или формат ответа, который не вытягивается через примеры в промпте: юридические заключения в формате конкретного арбитражного суда, медицинские протоколы в формате конкретной клиники, финансовая отчётность в формате конкретного банка, или стабильный классификатор на 12 типов риска, обученный на 5 000 размеченных договоров.

Промежуточный вариант — QLoRA. Это метод на основе LoRA (Low-Rank Adaptation), где к стандартному дообучению добавляется 4-битное квантование весов: веса модели хранятся не в полной точности, а в упрощённой, что и даёт экономию памяти. Для модели 8B требования к VRAM сокращаются с 69 ГБ до 16 ГБ, и дообучение укладывается в одну потребительскую видеокарту NVIDIA RTX 4090 за полторы тысячи долларов вместо пятидесяти. Но даже QLoRA остаётся дообучением со всеми его ограничениями: модель застывает на момент обучения, и при обновлении данных придётся запускать новый цикл.

Какой инструмент выбирать в какой ситуации. Промпт — для тона, формата и типовых шаблонов, где не нужны ваши документы. RAG — для всего, где есть собственная база знаний, которую нужно уважать (регламенты, договоры, политика). Дообучение — для устойчивого специфического стиля или классификатора, который не вытягивается через примеры. В большинстве офисных задач достаточно RAG с хорошей базой и грамотного промпта.

РАСПОЗНАТЬ ГАЛЛЮЦИНАЦИЮ: ГРАНИЦА ДОВЕРИЯ К ОТВЕТУ МОДЕЛИ

Способа, который даёт стопроцентную гарантию, нет, но есть пять маркеров, по которым выдумку ловит даже непрофессионал. Они не дают абсолютной уверенности, но сдвигают вероятность в вашу сторону.

1: Подозрительная точность конкретных цифр. Когда модель выдаёт «исследование Университета X от 2019 года показало, что 73,4% респондентов…», цифры выглядят слишком «гладкими» для реального исследования — повод проверить. Реальная социология даёт неровные числа вроде «71,3% опрошенных из выборки 1247 человек», потому что работает с погрешностями и доверительными интервалами.

2: Неназванный источник. «Установлено, что…», «По мнению экспертов…», «Как известно…» — типичные обёртки для выдумки. Нет конкретной ссылки на автора, работу или базу данных — факт вызывает сомнение по умолчанию.

3: Длинный ответ с потерянной серединой. Модель хорошо помнит начало и конец своего ответа и хуже — середину (потерянная середина, о которой мы говорили в главе 1). Если первые два абзаца и последний связаны по смыслу, а середина «плывёт» — там может быть выдумка.

4: Внутренние противоречия при перефразировании. Попросите модель «расскажи то же самое другими словами». Если при пересказе появились новые факты, которых не было в первой версии, первая версия была частично выдумкой, и пересказ её «достроил».

5: Отсутствие оговорки про устаревание. Модель уверенно пишет про события вчерашнего дня без оговорки «на момент последнего обновления моих данных» — это техническая выдумка: у модели нет данных «вчерашнего дня», и она не предупредила об этом.

Эти пять маркеров не равны «доказано, что модель врёт», но задают простую рабочую норму: если хотя бы один из пяти сработал — перепроверьте по первоисточнику, прежде чем использовать ответ в работе. Что делать, когда выдумка уже прошла и попала к клиенту, — следующий раздел.

AI ЛЖЁТ КЛИЕНТУ: МАСШТАБ УЩЕРБА И ЦЕНА ОШИБКИ

Пять маркеров из предыдущего раздела помогают ловить выдумку. Но что делать, когда выдумка уже прошла и попала к клиенту — в договор, претензию, иск? Mata v. Avianca, флоридские кейсы и Air Canada — это три примера того, как AI-враньё попало в клиентские документы. Здесь нужен следующий уровень защиты: разделение ролей и процесс контроля.

Юридический риск несёт компания, а не модель. Что делать на практике, чтобы AI-враньё клиенту не превратилось в ваш инцидент?

Во-первых, разделить «кто пишет» и «кто проверяет факты». Автор черновика — AI, проверяющий факты — человек с компетенцией. Это два разных сотрудника и два разных этапа работы. В Mata v. Avianca юрист Шварц делал и то, и другое сам — и не справился. Один человек на обоих этапах не замечает собственных ошибок.

Во-вторых, запретить слепое копирование AI-текста в клиентский документ. Это касается договоров, претензий, исков и любых документов, которые уходят к контрагенту или в суд. Любой текст, сгенерированный AI в этих категориях, должен пройти через человека, который знает, как выглядит настоящая судебная практика, и может отличить её от правдоподобной выдумки.

В-третьих, обязательный RAG с цитированием в задачах, где есть собственная нормативная база. В главе 1 и ранее в этой главе мы видели, что даже юридические коммерческие инструменты галлюцинируют в 17–33% ответов. Цитирование в ответе модели — единственный способ для проверяющего быстро найти источник и сверить с тем, что модель написала.

В-четвёртых, вести журнал AI-использования — какие документы готовились с AI, кто проверял, какие правки вносил, и на этом же журнале строить запрет на AI в задачах с регуляторной ответственностью до тех пор, пока в компании не выстроен двухступенчатый контроль. Журнал защищает и клиента, и компанию при разборе инцидента.

ПРЕДВЗЯТОСТЬ AI: ПРОИСХОЖДЕНИЕ И ЦЕНА ДЛЯ БИЗНЕСА

В предыдущих разделах мы видели, что в судебных и академических кейсах модель фабриковала ссылки. Теперь посмотрим шире: откуда в модели берётся системное искажение, когда дело касается не конкретного факта, а целых групп людей.

В апреле 2025 года Кайра Уилсон (Kyra Wilson) и Айлин Калискан (Aylin Caliskan) из University of Washington опубликовали в Brookings исследование, которое получило широкий резонанс в деловых и технических СМИ. Три открытые LLM прогнали в режиме скрининга резюме (как в реальных HR-системах), и в каждом прогоне подменили имена кандидатов: белые имена встречались в обучающих данных в 5,5 раза чаще чёрных. Моделям предлагали выбрать 10% наиболее подходящих на вакансию. Получилось около 40 000 сравнений на каждую модель.

Результат по расовому признаку: белые имена выигрывают в 85,1% случаев, чёрные — в 8,6%. По гендеру: мужские имена выбираются на 51,9% чаще женских при сопоставимом опыте работы, и только в 11,1% случаев система отдавала предпочтение женщине. Самый жёсткий удар пришёлся по пересечению: чёрные мужчины выигрывали у белых мужчин в 0% случаев, ни одного раза из тысяч прогонов. Авторы отдельно подчёркивают: речь не о слабом сигнале, а о статистической невозможности для конкретной группы пройти фильтр.

Предвзятость — следствие обучающих данных. Если в корпусе белые имена встречаются в 5,5 раза чаще чёрных, модель выучивает, что белые имена «более вероятны» в деловом контексте, и при выборе «на кого это похоже» отдаёт им предпочтение. То же самое с гендером, национальностью, культурой, политической позицией.

Исследование Misinformation Review Гарвардской школы Кеннеди (сентябрь 2024) показало, что LLM фабрикуют положительную информацию о «своих» странах и негативную о «чужих» — асимметричное распространение, которое работает как мягкая пропаганда. Эта же механика работает в информационной войне: модели в обучающих данных унаследовали геополитические искажения западных источников и воспроизводят их в ответах.

Для российского офиса это означает конкретное следствие. YandexGPT, GigaChat, Kandinsky обучались на других корпусах, с другим балансом имён, культур, политических контекстов, и ведут себя в этих осях иначе, чем западные модели.

В апреле 2025 года команда AI, Data and Analytics Lab (AIDA-lab) Гентского университета опубликовала исследование «What Large Language Models Do Not Talk About» (arXiv 2504.03803). Они протестировали 14 frontier-моделей, включая GigaChat Max Preview и YandexGPT 4 Lite, на корпусе из 2371 политически активной персоны на шести языках ООН.

GigaChat и YandexGPT показали самый высокий процент «жёсткой цензуры» среди всех 14 моделей — выше китайских DeepSeek и Qwen, — причём отказываются отвечать преимущественно по персонам «своей» юрисдикции: война в Украине, оппозиция, «Мемориал», Афганистан, Сирия. Исследователи подчёркивают: цензура направлена на внутреннего русскоязычного пользователя, модели отказываются отвечать даже на запросы на русском языке. Это не языковой фильтр, а политика продукта, описанная академическим исследованием.

В январе 2025 года Meduza (издание внесено Минюстом РФ в реестр иностранных агентов) провела сравнительный эксперимент: одни и те же политически чувствительные вопросы про Китай и Россию задали DeepSeek, YandexGPT и GigaChat. Результат парадоксальный. DeepSeek подробно описал Евромайдан, аннексию Крыма, конфликт в Донбассе и упомянул «непризнанный референдум», а на Тяньаньмэнь отказался отвечать на пяти языках из шести. GigaChat и YandexGPT, наоборот, свободно описывали события 4 июня 1989 года в Пекине, но систематически отказывались обсуждать войну в Украине.

Вывод Meduza: российские модели более «пуганые» в политическом смысле, чем китайские, причём неравномерно — китайские темы обсуждают свободнее, чем российские. На запрос про «Xi Jinping и Винни-Пух» GigaChat выдаёт формальный отказ «некоторые темы временно ограничены» — это canned refusal (шаблонный отказ, встроенная заготовка из правил Sber), а не органический отказ модели.

В марте 2024 года команда исследователей во главе с Вероникой Григорьевой (источник: arXiv 2403.17553) выпустила бенчмарк RuBia — почти 2000 пар предложений по 19 подкатегориям в 4 доменах (гендер, социально-экономический статус, национальность, разнообразие).

RuBia показал то, что подтверждается любым русскоязычным: у русского языка нет устоявшегося гендерно-нейтрального местоимения, и почти любой контекст грамматически маркирован по роду («доктор наук находИЛСЯ» — мужской род, «доктор наук находИЛАСЬ» — женский). Модели усваивают связку «профессия — род» из обучающих текстов, и перекос «врач — мужчина, медсестра — женщина» в русском выражен сильнее, чем в английском.

Команда RuBia оценила девять LLM и обнаружила устойчивые паттерны гендерной предвзятости во всех. Для офиса это значит: попросите YandexGPT «назови 5 имён для инженера, 5 для учителя» — и с большой вероятностью получите «Александр, Дмитрий, Сергей» и «Наталья, Елена, Ольга», даже если дать явную инструкцию «используй разнообразные имена».

Важное отличие российской предвзятости от западной. Западная — статистическая: модель «переобучилась» на западной культуре, и эту предвзятость можно ослабить через промпт-инжиниринг и few-shot приёмы. Российская — институциональная: правила выставлены владельцем модели, встроены в ядро продукта и согласованы с регулятором. Команда GigaChat в техническом отчёте (препринт arXiv:2506.09440, «GigaChat Family», июнь 2025) прямо описывает, что пост-тренинг включает 250 000 размеченных примеров от профессиональных AI-тренеров с оценкой по критериям «adherence, context awareness, factual accuracy, safety», и слово «safety» в этом контексте — это и есть политическая и культурная фильтрация. Статистическую предвзятость можно обойти, институциональную — нельзя. Если вы думали, что «YandexGPT просто стесняется говорить о политике с иностранцами», то нет: это политика продукта, не языковой фильтр.

Что делать на практике. Во-первых, признать, что нейтральных моделей не бывает. Из этого следует выстраивать проверку, а не отказываться от AI. Во-вторых, для задач с регуляторной ответственностью (подбор персонала, кредитный скоринг, модерация контента) использовать AI только как первый фильтр с обязательной человеческой проверкой на «спорных» случаях.

В-третьих, тестировать модель на собственных примерах: 50–100 пар «правильного» и «неправильного» ответа, и если модель систематически ошибается в одну сторону — это сигнал, что у неё есть предвзятость в этой области. В-четвёртых, при международной работе помнить, что модель, обученная в основном на западных источниках, имеет западный уклон. Это уклон всей индустрии, в которой её обучали, а не баг конкретной модели.

И всё же четыре шага не закрывают проблему. Другое исследование (VoxDev/PNAS Nexus, май 2025) на 361 000 синтетических резюме с одинаковым опытом, но разными именами показало перевёрнутый перекос — в пользу женщин, с чёрными мужчинами в минусе. Просьба «будь нейтральным» в промпте не убирает bias, а иногда создаёт другой. Если вендор заявляет, что «наша модель нейтральна», — стоит спросить, на какой выборке проводилась оценка.

ЦЕПОЧКА РАССУЖДЕНИЙ: ПОДЛИННОЕ МЫШЛЕНИЕ ПРОТИВ ИМИТАЦИИ

Предвзятость, галлюцинации, RAG и дообучение — это всё про «что» модель выдаёт и «откуда» она это берёт. Отдельный вопрос — «как» она думает.

В январе 2022 года Джейсон Вэй (Jason Wei) и соавторы из Google Brain (ныне часть Google DeepMind) опубликовали работу (Wei et al., arXiv 2201.11903): если попросить модель «рассуждать пошагово» перед финальным ответом, качество на арифметических и логических задачах резко растёт. Технику назвали Chain-of-Thought (CoT, «цепочка рассуждений»). С тех пор прошло четыре года, и индустрия поняла: CoT помогает не всегда, и полезно знать, когда именно.

CoT реально помогает на задачах, которые требуют нескольких логических шагов. Если задача помещается в один шаг (классификация, извлечение одного факта, короткая генерация) — CoT не нужен, он только раздувает ответ. Если задача требует разбить сложное на простые шаги (математика с несколькими действиями, логические цепочки, многошаговые рассуждения) — CoT помогает, потому что каждый шаг становится отдельной задачей, и вероятность ошибки на каждом шаге ниже, чем вероятность ошибки в сквозном рассуждении. К 2026 году ведущие модели (Claude, GPT-4o, Gemini) научились «рассуждать по умолчанию» — то есть CoT встроен в их обычную работу и не требует отдельной просьбы в промпте.

Но есть нюанс, который перевернул расхожую рекомендацию «всегда просите модель думать шагами». В июне 2025 года Wharton Generative AI Labs (исследовательская лаборатория Школы бизнеса Уортон при Пенсильванском университете) опубликовал «Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting». На восьми моделях в трёх режимах прогнали 198 задач PhD-уровня. Результат: для reasoning-моделей (o3-mini, o4-mini, Gemini Flash 2.5) CoT даёт прирост всего +2,9%…+3,1% по среднему, а у Flash 2.5 — минус 3,3%, при этом время ответа растёт на 20–80%. Для нерассуждающих моделей эффект больше: Sonnet 3.5 +11,7%, Gemini Flash 2.0 +13,5% по среднему. Но по метрике «100% правильных ответов» Gemini Pro 1.5 теряет 17,2% при добавлении CoT.

Вывод Wharton: для reasoning-моделей CoT стал плацебо с побочным эффектом замедления. Ещё год назад девизом было «проси модель думать вслух», теперь — «дай ей доступ к калькулятору и не мешай». Если вы работаете с o3, o4, Flash 2.5 или подобными моделями, инструкция «давай подумаем шагами» в промпте — пустая трата времени, и часто хуже.

CoT не делает модель «умнее» за счёт добавления новых знаний. Он заставляет её использовать больше вычислительных шагов, и в задачах, где больше шагов — это больше точности, выгода очевидна. В задачах, где больше шагов — это больше пространства для накопления ошибки, выгода исчезает или становится вредом. Та же команда Apple Machine Learning, чью работу GSM-Symbolic мы упоминали в разделе про расчёты, показала в части про CoT: при небольшом изменении условий задачи (замена имён или чисел на эквивалентные) точность модели с CoT падает на 10–30%. Это значит, что значительная часть «рассуждений» модели — это не настоящая логика, а паттерны, выученные из похожих задач. При изменении условий паттерны перестают работать, и рассуждение рассыпается.

У CoT есть и вторая задача — прозрачность. Если модель рассуждает шагами, человек может проверить логику. Это критично для кейсов повышенного риска по EU AI Act: медицинские рекомендации, кредитный скоринг, найм, правовые заключения. CoT — не «серебряная пуля», но единственный дешёвый способ сделать решение модели оспариваемым: в спорном HR-кейсе или в анализе договора вы можете попросить модель «сначала перечисли риски, потом для каждого — рекомендацию, потом общий вывод», и каждое утверждение будет привязано к своему шагу.

Без CoT у вас есть только вывод, и никто точно не сможет сказать, откуда он взялся.

Используйте CoT по типу задачи, а не по привычке. Если задача многошаговая и проверяемая (математика, логика, пошаговый анализ договора или финансового расчёта) — CoT помогает, особенно на обычных (не рассуждающих) моделях. Если задача требует одного простого действия или вы работаете с рассуждающей моделью — CoT лишний, и часто вредит. Не верьте, что длинное «рассуждение» модели в ответе — доказательство её уверенности. Это просто текст, и в нём может быть столько же галлюцинаций, сколько в любом другом ответе.

ЧУДО, ИГРУШКА, ВРАГ: ТРИ ОБРАЗА AI В ГОЛОВЕ ПОЛЬЗОВАТЕЛЯ

Есть ещё один слой, без которого всё это не работает в команде: отношение людей к AI. Из предыдущих разделов видно, что у модели есть границы и системные риски. Как люди реагируют на эти риски — определяет, получится ли внедрение.

У каждой команды, которая впервые сталкивается с AI, проявляется одно из трёх базовых отношений, и каждое мешает эффективному внедрению. Эти отношения редко проговариваются вслух, но именно они определяют, как люди используют инструмент.

Чудо. «AI может всё, мы наконец получили волшебного помощника». Сторонники этого отношения бросают AI на задачи, для которых он не подходит (точный расчёт, юридические ссылки, медицинские рекомендации), и разочаровываются, когда получают выдумки. McKinsey в отчёте 2025 года описал: сотрудники движутся с AI быстрее, чем лидеры, энтузиазм снизу опережает понимание сверху, и компания получает разрыв между тем, что делают сотрудники, и тем, что компания готова поддержать. Slack Workforce Index в 2025 году зафиксировал, что сотрудники, использующие AI, сообщают о росте продуктивности на 64% — и одновременно о росте нагрузки: больше дел, больше писем, больше встреч. Чудо оборачивается перегрузкой.

Игрушка. «AI забавный, но для серьёзных задач не подходит». Сторонники этого отношения используют AI для развлечения (генерация картинок, шутки, болтовня) и не допускают его до рабочих процессов. По данным BCG AI at Work 2025, 60% сотрудников время от времени используют AI, но только 20% компаний имеют формализованную стратегию его внедрения. Разрыв между «попробовал в курилке» и «внедрил в процесс» остаётся гигантским. Игрушечное отношение закрепляет AI как маргинальный инструмент и не даёт компании получить реальный эффект.

Враг. «AI — это угроза моей работе, я не буду его использовать». Это отношение появляется у тех, кто видит в AI конкурента, а не инструмент. Такие сотрудники саботируют внедрение (сознательно или бессознательно), и это дорого обходится компании: исследования McKinsey показывают, что «сопротивление команды» — причина провала AI-проектов после технических проблем. Враг мешает не самой модели, а способности компании увидеть эффект от её работы.

Рабочая позиция — четвёртая. AI — это инструмент с известными границами, и эффективное использование состоит в том, чтобы знать эти границы и работать внутри них. Если вы ловите себя на одном из трёх отношений, остановитесь и задайте себе простой вопрос: какой реальный кейс вы видели за последний месяц, где AI помог, и какой — где подвёл. Если обоих примеров нет — отношение держится не на фактах, а на привычке. Если есть — пересмотрите его по фактам, а не по убеждениям.

Инструмент остаётся инструментом. Меняется только ваше отношение к нему.

РЕЗЮМЕ

Пять классов задач — классификация, извлечение фактов, резюмирование, генерация, поиск — первая линия защиты от плохого результата. Расчёты стоят особняком: модель не считает, а предсказывает токены, для точной арифметики нужен Code Interpreter или внешний скрипт.

RAG уменьшает галлюцинации, но не устраняет их: даже юридические коммерческие инструменты с доступом к проверенной базе галлюцинируют в заметной доле ответов. RAG нужен в любом офисном проекте с собственными документами, но RAG с цитированием и человеческая проверка остаются обязательными.

Три инструмента адаптации — промпт, RAG, дообучение — не взаимозаменяемые опции, а слои с разной ценой. В большинстве офисных задач достаточно RAG с хорошей базой и грамотного промпта.

Распознавание галлюцинаций опирается на пять маркеров: подозрительная точность конкретных цифр, неназванный источник, длинный ответ с потерянной серединой, внутренние противоречия при перефразировании, отсутствие оговорки про устаревание. AI-враньё клиенту — структурная особенность моделей, и работа с ним строится на четырёх опорах: разделение «кто пишет» и «кто проверяет факты», запрет слепого копирования, обязательное RAG с цитированием, журнал AI-использования.

Предвзятость — следствие обучающих данных, нейтральных моделей не бывает. Западные несут западный культурный код, российские — собственную институциональную цензуру поверх статистических искажений. CoT помогает на многошаговых задачах на нерассуждающих моделях и стал плацебо на reasoning-моделях.

Три базовых отношения к AI — чудо, игрушка, враг — все мешают внедрению. Рабочая позиция: инструмент с известными границами, к которому подходят по типу задачи.

Представьте, что завтра утром вы открываете рабочий чат и видите задачу, которую раньше делали три часа: подготовить справку для клиента по договору, перевести служебную записку на английский, посчитать эффект от скидки для тендера. У вас есть час и привычка спрашивать AI всё подряд. Следующая глава берёт фильтры, которые вы собрали в этой — пять классов задач, маркеры галлюцинаций, понимание границ RAG и дообучения — и проверяет их на реальных офисных сценариях. Где AI сегодня объективно быстрее и дешевле вас, где остаётся ваша зона как человека, и где граница между ними движется прямо сейчас. Без моральных оценок про «заменит — не заменит», только по типам задач и по тому, что вы увидите в собственном рабочем дне.

Глава 3. AI против человека: возможности и границы

В феврале 2024 года шведский финтех Klarna объявил, что AI-ассистент на OpenAI берёт на себя работу семисот штатных агентов поддержки. CEO Себастьян Симиатковски (Sebastian Siemiatkowski) назвал это конкурентным преимуществом компании.

К маю 2025 года Klarna публично откатилась: компания возобновила наём людей через аутсорсинг-партнёров. AI хорошо справлялся с типовыми вопросами, но на сложных кейсах — спорные списания, мошенничество, уязвимые клиенты — без человека качество обслуживания падало. В то же время группа исследователей из University of Chicago Booth и Harvard Business School опубликовала эксперимент: GPT-4 получал анонимизированные финансовые отчёты компаний S&P 500 и предсказывал направление движения прибыли в следующем году.

Точность модели составила 60,35%, что побило консенсус-прогноз профессиональных аналитиков с Уолл-стрит (52–57%) и совпала с уровнем самых опытных. На основе предсказаний GPT-4 авторы построили торговую стратегию, которая обогнала широкий рынок по коэффициенту Шарпа (доходность на единицу риска; чем выше, тем эффективнее) и показала положительную альфу — доходность сверх рыночного ориентира. Один и тот же инструмент, два применения, два результата. AI не делает всех одинаково быстрыми и не делает всех одинаково глупыми. Он делает то, что вы попросили, а проверять результат — за вами.

Предыдущая глава была о том, что AI умеет в принципе, эта глава ставит вопрос практичнее: в каких задачах AI в реальной офисной работе объективно превосходит человека, в каких задачах объективно уступает, и где граница между зонами сдвигается прямо сейчас. Креативные задачи — копирайтинг, дизайн, литература — здесь разбирать я не буду: они лежат в другой плоскости, и в этой главе мы сосредоточимся на офисных функциях, где есть измеримый результат.

Klarna за полтора года дала нам два противоположных сюжета. Один — триумф, второй — откат. Ниже разберём, что именно AI делает лучше человека в типовых офисных задачах и где проходит граница.

ГДЕ AI ДЕЙСТВИТЕЛЬНО СИЛЬНЕЕ ЧЕЛОВЕКА

Самый цитируемый эксперимент последних лет — полевое исследование Harvard Business School и BCG 2023 года (с грантом OpenAI на доступ к GPT-4), проведённое на 758 консультантах BCG. С GPT-4 консультанты выполняли задачи на 12,2% чаще по числу завершённых заданий и на 25,1% быстрее по времени. Качество их работы по слепой оценке сторонних экспертов выросло на 40% по сравнению с контрольной группой. Для задач внутри границ компетенции GPT-4 эффект был ещё сильнее, за пределами этих границ — обратный: консультанты с AI совершали больше ошибок, чем без AI, потому что слепо доверяли уверенному тону модели. Урок из этого исследования: «AI делает нас быстрее, пока мы остаёмся редакторами». Скорость и качество покупаются ценой верификации.

В юридической сфере американская legal-tech платформа LawGeex в феврале 2018 года собрала 20 американских юристов с опытом работы с NDA (соглашение о неразглашении, Non-Disclosure Agreement) и дала им ту же задачу, что и OpenAI: найти тридцать типичных проблемных пунктов в пяти коммерческих NDA. Юристы в среднем тратили 92 минуты на документ, добираясь до точности 85% (диапазон от 67% до 94%). AI от LawGeex закончил работу за 26 секунд с точностью 94%.

В 2025 году независимый бенчмарк LawNext подтвердил тренд: специализированные legal-AI инструменты в сценариях повышенного риска выявляют явные предупреждения в 83% случаев против 27% у универсальных моделей вроде GPT-4 «из коробки». Критики кейса LawGeex указывают, что NDA — самый шаблонный тип договора, и на сложных сделках вроде M&A разрыв между AI и юристом сильно меньше или исчезает.

Эта оговорка справедлива и сама показывает границу применимости: на типовых, хорошо структурированных задачах AI превосходит среднего специалиста и уступает лучшим, на нетиповых — картина обратная.

McKinsey в январском отчёте 2025 года «Superagency in the Workplace» проанализировал 16 рабочих функций и посчитал, где AI даёт наибольший прирост. Лидеры — маркетинг и продажи (от плюс 5 до плюс 15% выручки при полном внедрении), разработка программного обеспечения (от 25 до 30% ускорения написания кода, на фронтенде до 50%), обслуживание клиентов (сокращение времени обращения на 20–30%), бухгалтерия и контроллинг (ускорение обработки транзакций до 50%). Наибольший прирост идёт не там, где работа «глупая», а там, где у задачи есть правильный ответ и проверяемая структура. AI превосходит человека не на лёгких задачах — он превосходит на проверяемых. Там, где есть правильный ответ, есть и способ его быстро проверить. AI опасен там, где есть только убедительная риторика без ответа.

Из того же отчёта McKinsey: 88% организаций в 2025 году используют AI хотя бы в одной бизнес-функции, но только 6% переводят это в ценность для бизнеса. Сам по себе AI — не решение. Без изменения рабочего процесса, ключевых показателей, обучения сотрудников и систем мотивации AI остаётся дорогой игрушкой, которую сотрудники используют раз в месяц для написания писем.

BCG в июньском отчёте AI at Work 2025, основанном на опросе 10 600 работников из 11 стран, зафиксировал «кремниевый потолок»: 78% руководителей и менеджеров регулярно используют генеративный AI, среди линейных сотрудников — только 51%, и этот показатель за год фактически не сдвинулся.

Вторая половина данных: 42% регулярных пользователей-линейных сотрудников экономят с AI целый рабочий день в неделю и больше. Распределение результата неравномерно. Есть люди, у которых AI экономит восемь часов в неделю, и есть люди, у которых он экономит ноль, причём вторых до сих пор много.

Причина почти всегда не в инструменте, а в процессе: те, кто перестроил рутину вокруг AI, получили эффект. Те, кто добавил AI в старую рутину, — нет.

AI И ЧЕЛОВЕК: СРАВНЕНИЕ ПО ШЕСТИ ПАРАМЕТРАМ В ОДНОЙ ТАБЛИЦЕ

Прежде чем смотреть на цифры, зафиксируйте, как устроено сравнение. В левом столбце — параметр, по которому можно сравнивать. В двух средних — типичные значения для современных моделей 2024–2026 годов и для живого специалиста. В правом — где разрыв между ними максимален и на каких задачах это работает в вашу пользу или против. Эта таблица — не справочник, а фильтр: если ваша задача попадает в строку, где AI выигрывает в десять-двести раз, она кандидат на автоматизацию; если в строку, где выигрывает человек, — оставьте за человеком.

Из таблицы следует, что разрыв максимален там, где у задачи есть правильный ответ и проверяемая структура. На «штучных» задачах и на работе с неявным контекстом человек возвращает себе преимущество, и это меняет критерий отбора — не сложность задачи, а её тип.

ШЕСТЬ ЗАДАЧ, ГДЕ AI УЖЕ ПРЕВОСХОДИТ ЧЕЛОВЕКА

Ниже — шесть измеренных задач с конкретными цифрами, источником и эффектом. Они подобраны так, чтобы покрыть разные профессии: аналитика, юриспруденция, разработка, медицина, HR, клиентская поддержка. Если ваша задача похожа на одну из этих строк по типу, у вас есть ориентир; если не похожа — переносите логику, а не цифру.

Мы видим, что эффект воспроизводится в шести разных доменах с одной и той же закономерностью. Где у задачи есть правильный ответ и проверяемая структура, AI обходит среднего специалиста по точности или по скорости. Где ответ не проверяется автоматически, эффект размывается.

ОБЪЕКТИВНЫЕ ПРЕИМУЩЕСТВА AI НА РУТИННЫХ ЗАДАЧАХ

1: Скорость в десять-двести раз на структурированных задачах. Юридический анализ NDA: 26 секунд AI против 92 минут у юриста. Финансовый анализ: минуты у GPT-4 против одной-четырёх недель у аналитика-человека. Код: лидеры SWE-bench Verified решают реальный GitHub issue за минуты, младший разработчик — за часы. Это не «небольшое ускорение», а смена единицы измерения.

2: Цена единицы работы в сто-тысячу раз ниже. Саммари пятидесятистраничного отчёта стоит $0,05 через API против $30–60 у живого младшего разработчика. С учётом проверки разрыв сжимается, но остаётся двузначным по стоимости. На больших объёмах, десять тысяч документов и больше, экономия исчисляется миллионами долларов.

3: Отсутствие усталости и падения точности к концу дня. Человек совершает на 15–25% больше ошибок после шести часов непрерывной работы. Модель выдаёт стабильное качество на первом и на десятитысячном запросе. Это особенно важно в задачах модерации, скрининга, аудита.

4: Параллелизация в масштабах, невозможных для штата. Система, подключенная по API, обрабатывает десять тысяч входящих заявок за минуты. Эквивалентный штат — пятьдесят операторов, не справляющихся с пиковой нагрузкой. AI масштабируется линейно по стоимости, штат — ступенчато. Сезонные пики, налоговая отчётность, декабрьские распродажи — там, где AI-преимущество в параллелизации проявляется ярче всего.

5: Повторяемость и прослеживаемость результата. При нулевом параметре «температуры» (это режим, в котором модель выбирает самый вероятный ответ и не варьирует результат) модель выдаёт идентичный ответ на идентичный вход. Это меняет compliance (соответствие нормативным требованиям): каждое решение можно воспроизвести и проверить, а не «юрист Петров вчера сказал, что риск низкий». Для регулируемых отраслей, банки, страхование, фарма, это системное преимущество, недостижимое для человеческой экспертизы.

AI В РОЛИ СВЕРХБЫСТРОГО КАЛЬКУЛЯТОРА

Представьте себе: в 1970 году бухгалтеру дали электронный калькулятор. Соседи говорили ему: зачем он вам, вы и так считаете в столбик? А он отвечал: потому что считаю я на скорости пяти операций в минуту, а калькулятор — пяти тысяч. За день я успею сделать то, что раньше делал за месяц, и высвобожу время на разговор с клиентом, а не на сложение столбцов. AI — это калькулятор для текста, кода и изображений. Вместо арифметики он берёт на себя то, что раньше требовало человеческого внимания: разбор пятидесятистраничного отчёта, классификацию тысячи писем, поиск рискованного пункта в договоре. Калькулятор не заменил бухгалтера — он убрал арифметику и оставил смысл. AI делает то же самое с текстом, кодом и изображениями.

Метафора работает в обе стороны. Калькулятор не ошибается в арифметике, но ошибается в приложении арифметики к реальности: бухгалтер всё ещё решает, какие именно цифры считать. AI не ошибается в грамматике, но ошибается в том, какую грамматику применять к вашему контексту. Калькулятор без бухгалтера выдаёт шум цифр без смысла. AI без человека-редактора делает то же самое с текстом.

Эта метафора прошла проверку практикой: появление электронных калькуляторов в бухгалтерии пришлось на 1970-е (первый настольный Casio AS-A вышел в 1962 году, но массовый переход офисов — 1970-е), и бухгалтеры сначала боялись, что их уволят. Через десять лет их не уволили — их стало больше, потому что снизилась стоимость расчётов и расширился спрос на финансовую отчётность. Экономисты называют это парадоксом Джевонса: когда технология снижает стоимость ресурса, спрос на этот ресурс не падает — он растёт. То же с AI в офисных задачах.

AI снижает стоимость юридического анализа, и компании, которые раньше не могли позволить себе юриста, теперь могут. Спрос на юристов не падает — он растёт, но содержание работы меняется. То же с аналитиками, рекрутерами, бухгалтерами.

ГДЕ AI НЕЛЬЗЯ ДОВЕРЯТЬ БЕЗ КОНТРОЛЯ

Галлюцинации как обратная сторона уверенности. Модель не признаёт границ собственного знания в тот момент, когда вам это критично, — она с одинаковой уверенностью генерирует и то, что знает, и то, чего не существует. Эксперимент Harvard Business School и BCG 2023 года, о котором мы говорили выше, показал именно это: для задач вне границ компетенции GPT-4 консультанты с AI делали больше ошибок, чем без AI, потому что доверяли уверенному тону. Преимущество скорости и качества покупается за дисциплину верификации. На юридических и медицинских задачах цена непроверенной ошибки слишком высока, чтобы экономить на человеке-редакторе.

Отсутствие контекста за пределами окна. Модель знает то, что в неё загрузили, и не знает, что осталось за кадром. Юрист помнит, что контрагент уже дважды задерживал платежи; AI — нет, если ему об этом не сказали. Преимущество AI в обработке явного корпуса работает только при условии, что человек донёс «неявный» корпус. Без этого контекста AI-рекомендация формально правильная, а по сути опасная.

Этические и юридические рамки. Когда AI допустил ошибку в прогнозе прибыли, кто отвечает — модель, вендор, аналитик, руководитель? Цепочка ответственности требует человека с правом подписи. Без этой подписи AI-рекомендация — черновик, а не решение. HireVue-иски 2025 года в США показали: AI-решения о найме, не прошедшие аудит предвзятости, дают работодателю не экономию, а регуляторный штраф.

ЗАДАЧИ, В КОТОРЫХ AI УСТУПАЕТ ЧЕЛОВЕКУ

Базовая рамка для понимания раздела — работа Дарона Асемоглу (Daron Acemoglu) и Паскуаля Рестрепо (Pascual Restrepo) «Automation and New Tasks», опубликованная в Journal of Economic Perspectives в 2019 году и ставшая фундаментом всех серьёзных дискуссий о влиянии автоматизации на труд. Тезис Асемоглу и Рестрепо: экономисты десятилетиями спорили, заменяют ли машины людей или помогают им, и обе стороны оставались при своих. Асемоглу и Рестрепо разрешили спор через промежуточную переменную — задачу. Внутри любой профессии существует набор задач. Технология может автоматизировать часть из них. Технология может создать новые задачи, которых раньше не существовало. И технология может изменить сравнительное преимущество работника на оставшихся задачах. Что это меняет в разговоре об AI: фраза «AI заменит юристов» — бессмыслица, потому что профессия юриста — это пятьдесят разных задач. AI заменяет задачи 1, 4, 7, 12 (поиск прецедентов, проверка шаблонных формулировок, рутинный скрининг соответствия требованиям, первичный договорной аудит) и создаёт задачи 51, 52 (промпт-инжиниринг, аудит AI-выводов, корректировка галлюцинаций). Юрист, который вёл эти пятьдесят задач по-старому, теряет работу. Юрист, который перешёл на новый набор задач вокруг AI-инструмента, востребован сильнее, чем раньше. Профессия при этом не исчезает — она трансформируется.

В сентябре 2013 года Карл Бенедикт Фрей (Carl Benedikt Frey) и Майкл Осборн (Michael Osborne) опубликовали работу «The Future of Employment», которая вошла в историю одной цифрой: 47% рабочих мест в США находятся в зоне высокого риска автоматизации в ближайшие десятилетия. Спустя двенадцать лет можно проверить прогноз по факту. McKinsey и OECD в 2019 году пересмотрели оценку до 20–30%, а не 47%. Причины две: методология 2013 года завышала возможности технологий — AI тогда был узкими экспертными системами, а не большими языковыми моделями. И авторский метод не учитывал «сопротивляемость» профессий, в которых за автоматизацией стоят политические и регуляторные барьеры. Врачи, юристы, учителя формально автоматизируемы, но никто не готов доверить AI принятие окончательного решения о диагнозе или приговоре. Второй урок: даже когда AI технически может выполнить задачу, на его пути стоят лицензирование, ответственность, страх ошибки и социальное доверие. Фрей и Осборн измеряли технический потенциал. Реальная автоматизация требует не только технологии, но и легитимности.

Кейс Mata v. Avianca, подробно разобранный ниже в этой книге: юрист Стивен Шварц (Steven Schwartz) из Нью-Йорка подал в федеральный суд иск, в котором цитировал шесть прецедентов, — и все шесть оказались выдуманными. Сгенерировал их ChatGPT. Судья Кевин Кастель (Kevin Castel) вынес санкции и обязал юриста известить всех «авторов» несуществующих решений, а позднее каждый из двух адвокатов был оштрафован на $5 000. Здесь мы смотрим на этот кейс с другой стороны: дело Mata v. Avianca показало, что поток таких случаев не прекращается. В мае 2025 года LawNext зафиксировал ещё два случая подряд, в августе того же года федеральный судья из Южной Флориды наложил санкции на адвоката за «false, fake, non-existent, AI-generated legal authorities» в восьми документах, в марте 2026 года окружной суд Орегона ввёл особенно жёсткие санкции за систематическое использование AI-галлюцинаций. Это профессиональные юристы, у которых нет процедуры проверки AI-вывода. Они берут шаблонный запрос «найди прецеденты по теме X». Получают красиво оформленный список с реальными названиями судов и выдуманными деталями. И вставляют его в иск, не открывая ни одной ссылки. AI экономит время на поиске и съедает время на проверке. Выход — не «доверяй AI», а «встрой проверку как отдельный шаг процесса».

Даже лучшие гуманоидные роботы 2025–2026 годов не умеют делать то, что пятилетний ребёнок делает по умолчанию: перехватить скользкий пакет, нащупать выключатель в тёмной комнате, переложить хрупкую чашку из одной руки в другую. В сентябре 2025 года легендарный робототехник Родни Брукс (Rodney Brooks) (создатель Roomba и iRobot) опубликовал жёсткий разбор «Why Today’s Humanoids Won’t Learn Dexterity».

Тезис раздела: ловкость человеческой кисти — это результат миллионов лет эволюции, встроенной в мозжечок, спинной мозг и тактильную обратную связь от десяти тысяч рецепторов на квадратный сантиметр кожи пальцев. Обучить эту функцию из видео с YouTube и пары десятков демонстраций — задача, к которой у индустрии нет подхода.

Пока AI не имеет тела, он не закроет профессии, в которых тело критично. Сантехник, электрик, хирург, массажист, грузчик на складе, няня, доярка — все они работают руками в непредсказуемой среде. Это не временный лаг — это фундаментальное следствие того, что модель не имеет сенсорного ввода, не имеет обратной связи, не получит физического урона, если ошибётся. «Глава 2026 года про AI в офисе — не про AI на складе» — это и есть рабочее определение границы: задачи с физическим миром пока за пределами применимости текстовых моделей.

ЗОНА AI И ЗОНА ЧЕЛОВЕКА: СЕМЬ ПАРАМЕТРОВ РАЗГРАНИЧЕНИЯ

ФУНДАМЕНТАЛЬНЫЕ ОГРАНИЧЕНИЯ AI

1: Нет тела, нет тактильности, нет физического опыта. Гуманоидный робот 2025 года спотыкается о провод, не отличает сырое яйцо от камня, не умеет перехватить скользкий пакет. Брукс в «Why Today’s Humanoids Won’t Learn Dexterity» фиксирует: передовое направление в dexterous manipulation работает в лаборатории и ломается в поле. Пока этого нет — нет и замены сантехнику, массажисту, хирургу.

2: Нет биографии, нет идентичности, нет репутации, которую терять. AI не стыдится ошибки и не боится суда за неё. Юридически и этически он не субъект. В профессиях, где цена ошибки — тюрьма или репутация, человек остаётся обязательным звеном.

3: Нет устойчивой памяти между сессиями. Контекстное окно растёт, миллион токенов и больше у топовых моделей, но это не замена отношениям. Врач, который помнит пациента десять лет, знает то, чего нет ни в одном окне контекста. Семейный юрист, помнящий историю трёх поколений бизнеса клиента, не может быть заменён AI без переноса всей этой памяти в систему.

4: Нет совести, нет этического суждения в конфликте ценностей. Когда правильного ответа нет, увольнять ли сотрудника, выдавать ли кредит заёмщику с просрочкой, AI выдаёт ответ по статистике, а человек — по совести, биографии и готовности отвечать. Дарон Асемоглу (Daron Acemoglu) в соавторстве с Саймоном Джонсоном (Simon Johnson) формулирует это политически в книге «Power and Progress» (2023): направление технологического прогресса — это выбор, и общество может потребовать, чтобы AI усиливал человека, а не заменял его в зонах этического выбора.

5: Нет уверенного сигнала «я не знаю». Большие языковые модели (large language models, LLM) генерируют правдоподобный текст с одинаковым тоном, независимо от того, существует факт или нет. Юрист Шварц и десятки его коллег в 2024–2026 годах потеряли работу и репутацию, потому что не отличали уверенный тон от проверенного факта. Это свойство архитектуры трансформера (подробно — в главе 1), а не баг конкретной версии.

6: Нет здравого смысла в физическом и социальном мире. Исследование на препринт-сервере arxiv.org «Challenges for Language Models in Abstract Common-Sense Reasoning» (февраль 2025) зафиксировало: LLM стабильно проваливаются на задачах, требующих «все знают, что», — что упадёт раньше, что оскорбит, что нарушит негласный контракт. Исследование Apple Machine Learning Research (внутренний исследовательский блог Apple) в июне 2025 («The Illusion of Thinking») показало, что reasoning-модели (модели с цепочкой рассуждений) теряют точность на задачах выше определённого уровня сложности даже при увеличении вычислительных ресурсов.

ЧЕК-ЛИСТ: СЛАБОСТЬ AI ИЛИ ПРОСЧЁТ В НАСТРОЙКЕ?

Пять диагностических вопросов. Этот чек-лист работает как фильтр: пройдите его последовательно, и к пятому вопросу у вас будет ясный ответ — задача для AI, для человека или для их связки.

– Вопрос 1. Требует ли задача физического присутствия, моторики, тактильного контакта? Если да — AI в этой задаче уступит в обозримом будущем (хирургия, массаж, сборка). Если нет — идём ко второму вопросу.

– Вопрос 2. Конфликт, горе, раздражение, страх — в задаче есть эмоциональный заряд? Если да — AI уступит как исполнитель, но может помочь как ассистент «за кулисами». Если нет — идём к третьему вопросу.

– Вопрос 3. Имеется ли в задаче проверяемый правильный ответ: тест, бенчмарк, шаблон, норматив? Если да — AI справится, останется вопрос стоимости и скорости (раздел 1). Если нет — это серая зона, идём к четвёртому вопросу.

– Вопрос 4. Редкая задача или типовая? На длинном хвосте распределения у AI не хватит данных, и он начнёт галлюцинировать. Если задача относится к частым сценариям — AI справится. Если попадает в редкие — остановитесь и подумайте, прежде чем переходить к пятому вопросу.

– Вопрос 5. Готовы ли вы лично нести ответственность за результат, если AI ошибётся? Если да — AI применим как рабочий инструмент с вашим контролем. Если нет — AI в этой задаче не применим, это зона человека.

КАК ОСТАВАТЬСЯ ВОСТРЕБОВАННЫМ В БЛИЖАЙШИЕ ДВА ГОДА

1: Проведите аудит своего рабочего дня. Выпишите все задачи за последнюю неделю и классифицируйте каждую по двум осям: «повторяется ли» и «проверяем ли результат за минуты». Задачи, попавшие в «да + да», — это ваша зона риска. Сокращайте долю этих задач уже сейчас, перекладывая на AI.

2: Сместитесь вверх по пирамиде абстракции. Если вы были исполнителем — становитесь валидатором AI-вывода. Если вы были валидатором — становитесь архитектором процесса. Если вы были архитектором — становитесь тем, кто задаёт AI вопрос, который раньше никто не задавал. Каждый уровень — рост цены вашей работы.

3: Развейте одну «неавтоматизируемую» компетенцию до уровня сеньор. Эмпатия в переговорах, судебная практика, сложная диагностика, управление конфликтами, менторство, продажи на длинном цикле. WEF Top Skills 2030: лидерство, социальное влияние, управление талантами, креативность. Выберите одну и вложитесь в неё на тысячу часов.

4: Перейдите из «я работаю с данными» в «я принимаю решения с помощью данных». AI берёт обработку, человек берёт интерпретацию и решение. Это требует развития в сторону отраслевой экспертизы и в сторону понимания возможностей и ограничений модели. PwC AI Jobs Barometer 2025 фиксирует премию 56% к зарплате за AI-навыки, рост с 25% годом ранее. Это самый быстрорастущий компонент зарплаты в корпоративном секторе.

5: Станьте «мостиком» между AI и людьми в своей команде. Человек, который умеет объяснить коллегам, что AI умеет и не умеет, как его внедрять безопасно, как проверять его выводы, — это редкий и востребованный навык. Через два года роль «AI-facilitator» будет в каждой компании с более чем пятьюдесятью сотрудниками.

ЭВОЛЮЦИЯ ГРАНИЦЫ ОТВЕТСТВЕННОСТИ С 2023 ГОДА

Граница «AI может / AI не может» — это береговая линия, которую рисует прилив. Когда я смотрю на снимок 2022 года, мне кажется, что AI тогда «ещё не умел писать код». Когда я смотрю на снимок 2026 года, он уже пишет код быстрее, чем я успеваю прочитать задание. Но если я выйду на берег в 2026-м и буду спорить с отдыхающим: «вот увидишь, в 2027-м AI будет писать и фронтенд», он посмотрит на меня с усталой улыбкой. Потому что он помнит, что в 2023-м граница проходила по elementary, в 2024-м по джуниор, а сейчас по сеньор.

Снимок берега делается каждый квартал, и каждый следующий отличается от предыдущего. Глупо фиксироваться на текущей карте.

Anthropic с февраля 2025 года выпускает Economic Index — регулярный отчёт о том, как реально используется Claude в 150+ странах. Первая волна данных показала: 57% диалогов с AI работают на усиление человека (человек учится, итерирует, проверяет себя через модель), и только 43% — на прямую автоматизацию задачи. Сильнее всего AI проник в работу копирайтеров, редакторов, разработчиков, переводчиков, профессии, где раньше граница «человеческого» казалась неприступной. В сентябре 2025 отчёт зафиксировал, что в США доля сотрудников, использующих AI хотя бы раз в неделю, удвоилась за два года — с 20% до 40%. Это не «пилоты», это уже часть повседневной работы.

Исследовательская группа METR (Model Evaluation and Threat Research) в марте 2025 года опубликовала работу «Measuring AI Ability to Complete Long Tasks». Они замеряли не точность модели на тесте, а длину задачи, с которой AI справляется хотя бы в 50% случаев.

Цифра получилась впечатляющая: с 2019 года этот «time horizon» — сколько часов работы специалиста модель закрывает автономно — растёт экспоненциально, с удвоением примерно каждые семь месяцев. В 2019 году модели закрывали задачу длиной в секунды. К 2025-му заговорили про дни. Если экстраполировать тренд, к 2030-му модель сможет закрыть задачу, на которую у человека уходит месяц работы.

Важная оговорка: это горизонт для инженерных и смежных задач, то есть для тех, которые можно проверить автоматически. В гуманитарных и физических областях тренд слабее, но направление то же.

OpenAI в сентябре 2025 года выпустила бенчмарк GDPval (Generalized Deep Validation; бенчмарк OpenAI для оценки реальных рабочих задач) — попытку измерить, как модели справляются не с абстрактной задачей из олимпиады, а с реальной работой, за которую платят зарплату. Бенчмарк покрывает 44 профессии из 9 секторов экономики: от разработчика и юриста до медсестры и инженера-механика. Каждая задача — конкретный артефакт, который профессионал должен сделать за день-два: юридический меморандум, чертёж, диагностический отчёт. В первой волне GPT-5.2 Thinking выигрывает или делит победу против живого специалиста в 70,9% случаев, но не по «зрелищности», а по качеству артефакта. В прошлом году этот же бенчмарк был бы проигран. В позапрошлом — модели не справились бы с половиной задач даже близко. Важный нюанс: «выигрыш» здесь — это когда эксперт не отличает работу модели от работы человека. Это не значит, что модель лучше. Это значит, что граница сравнения сместилась: человек больше не «по умолчанию» лучше.

КАК МАММОГРАФИЯ НАМЕТИЛА СДВИГ В РОЛИ AI

Масштаб этого сдвига виден на одном показательном примере, который мы уже разобрали выше: в связке с рентгенологом AI находит на 29% больше злокачественных опухолей и сокращает нагрузку на 44%. Это пример той самой «тихой революции», когда граница не «перепрыгнула» через рентгенолога, а сдвинулась так, что спор «AI или человек» потерял смысл. Вопрос теперь — кто с AI работает лучше, а не кто из них двоих лучше.

В июле 2024 года DeepMind (лаборатория ИИ Google) показала AlphaProof: систему, которая решила четыре из шести задач Международной математической олимпиады на уровне серебряной медали. Это был сигнал — модель может рассуждать в формальной математике, а не только «выглядеть умной» в диалоге. В январе 2026 та же команда показала AlphaGeometry-2, решающую геометрические задачи олимпиадного уровня за минуты. В ноябре 2025 в Nature вышел разбор системы: AlphaProof обучился с подкреплением на формальных доказательствах, перебирая свои попытки и награждая удачные. За восемнадцать месяцев система прошла путь от «сложно, но перспективно» до «серебро международной олимпиады». Если в 2023-м я бы сказал читателю, что у AI на олимпиаде по математике нет шансов, это была бы правда. В 2024-м — полуправда. В 2026-м — откровенная ложь.

МАРКЕРЫ СДВИГА ГРАНИЦЫ В ВАШЕЙ ПРОФЕССИИ

1: AI-native конкурент продаёт тот же продукт в три-пять раз дешевле. Это значит, что цена «человеческого» сервиса обвалится через один-два года у тех, кто не перешёл на связку.

2: Джуниор-позиции сокращаются быстрее, чем сеньор-позиции. Это значит, что AI забирает «вход» в профессию. По данным ADP Research / Стэнфорд, в профессиях, наиболее затронутых AI, занятость работников 22–25 лет снизилась на 6%, а работников 30+ выросла на 6–13%.

3: Профильный вуз меняет программу: добавляются курсы по работе с AI, убираются курсы по ручным навыкам.

4: На профильных конференциях обсуждение сместилось с «заменит ли AI» на «как перестроить процесс».

5: В трекере задач, CRM или почте появился встроенный AI-ассистент, который сам предлагает следующий шаг.

ТРАЕКТОРИЯ ГРАНИЦЫ НА БЛИЖАЙШИЕ ДВА-ТРИ ГОДА

Полная автоматизация клиентской поддержки уровня первой линии (L1 — первичное обращение клиента). McKinsey, Gartner и Forrester единодушны: к 2029 году 80% и более обращений в поддержку крупных компаний будут закрываться AI без перевода на человека. Это уже не вопрос технологии, а вопрос внедрения.

Юридические и проверки соответствия требованиям в регулируемых отраслях. Банки, страховые, фарма: AI будет закрывать 70% и более первичного скрининга соответствия требованиям. Юристы в этих отраслях сместятся в зону сложных казусов и переговоров.

Первичный медицинский скрининг и телемедицина. В странах с дефицитом врачей AI-скрининг уже заменяет первичный осмотр в 30% и более случаев. Тренд усилится.

КОГДА AI ОШИБАЕТСЯ, НО ЭТО ДОПУСТИМО

В разделе 3 мы зафиксировали, что граница сдвигается, и для читателя важно не отстать. Но в практике ежедневной работы вопрос стоит жёстче: «вот эту задачу отдавать AI или нет» — и ответ зависит не от скорости сдвига, а от цены ошибки. Этот раздел отвечает именно на этот вопрос.

Слабый аргумент, который часто звучит в рабочих дискуссиях: «AI ошибается, значит, его нельзя использовать». Это слабое возражение, потому что в задачах, где AI заменяет человека, человек тоже ошибался — и часто чаще. Юрист по патентам промахивается в 15% случаев, когда ищет прецеденты. Оператор поддержки ошибается в 11% обращений. Радиолог пропускает 5–15% паттернов на маммографии в зависимости от усталости. AI в этих же задачах ошибается в 3–10% случаев — стабильно, без усталости, без эмоций. Математика сходится в пользу AI, если цена ошибки не катастрофическая.

Этот кейс не одинок. Ровно тот же вывод даёт прогноз Gartner на 2029 год по автоматизации клиентской поддержки (мы разбирали его в разделе про сдвиг границы): 80% и более обращений в поддержку крупных компаний будут закрываться AI без перевода на человека. Те же 88% организаций из отчёта McKinsey, что мы цитировали выше, распределяются по функциям так: 56% приходится на клиентскую поддержку. Это не лень руководителей. Это простая математика: AI ошибается, но средний оператор поддержки тоже ошибается. Исследования Microsoft Research по контакт-центрам показывают: средний процент ошибок при обработке типовых запросов у живого оператора в конце смены — от 8% до 12%. У AI-ассистента — от 2% до 5%.

И это без учёта того, что живой оператор устаёт к концу смены, отвечает клиентам раздражённо и через две недели увольняется. AI не устаёт, не обижается, не уходит — и за счёт этого выдерживает длинную смену стабильно. Когда цена ошибки низкая, типовой вопрос по статусу заказа, AI-ошибка дешевле человеческой, и не потому что AI «лучше», а потому что усталый человек хуже, чем среднестатистическая машина.

Дело Mata v. Avianca, разобранное ниже в этой книге, — там же и штраф. Здесь мы используем его как пример другого края шкалы: цена AI-ошибки в тысячи раз выше цены человеческой ошибки, потому что у человеческой ошибки другой вес.

КРИТЕРИЙ «ТРЁХ R»: ГДЕ ДОПУСТИМА ОШИБКА AI

Критерий «трёх R» я использую на консультациях по внедрению AI в поддержку — он работает в командах, выдерживает проверку практикой.

1: Repetition — задача повторяется много раз с низкой вариативностью (статус заказа, перевод типового договора, классификация входящего письма).

2: Risk — цена ошибки низкая (клиент получит «не тот» ответ, но это не убьёт его и не разорит компанию).

3: Reversibility — ошибку можно быстро отменить (отправить заново, перезвонить, повторить операцию).

Если все три «да» — отдавайте задачу AI, не думайте. Если хотя бы одно «нет» — человек нужен в контуре.

Юридический кейс с выдуманными прецедентами (разбирается ниже в этой книге) провалил фильтр по риску и обратимости: цена ошибки высокая, и хотя отозвать поданный иск формально можно, репутационные и юридические последствия отзыва стоят дороже, чем экономия на AI. Оператор Klarna проходил все три формально, но компания недооценила reputational risk, который проявился позже, когда клиенты стали жаловаться на качество обслуживания в сложных случаях.

СВОДНАЯ ТАБЛИЦА ДОПУСТИМЫХ AI-ОШИБОК

В этой таблице — восемь типовых офисных задач с указанием типа ошибки у AI, цены ошибки и того, кто в итоге дешевле. Логика простая: в первых пяти строках AI дешевле, в последних трёх — человек. Граница проходит там, где появляется цена штрафа, жизни или репутации, и эту границу не сдвигает ни одна новая версия модели.

В верхней половине AI-ошибка стоит минуты работы и легко откатывается. В нижней половине цена ошибки измеряется в штрафах, судебных санкциях и жизнях, и AI в этих строках остаётся только в режиме помощника под контролем человека.

ЭФФЕКТИВНАЯ КОМАНДА ИЗ ЧЕЛОВЕКА И AI

Врач с AI-ассистентом ставит диагноз точнее, чем врач без ассистента, и точнее, чем AI сам по себе. Юрист с AI-инструментом для проверки контрактов закрывает в три-четыре раза больше сделок в квартал, чем юрист без инструмента, и при этом не пропускает критичных рисков, которые AI бы пропустил без юридического контекста. Дизайнер с генератором референсов перебирает пятьдесят концепций за час вместо пяти за день и отбирает из них одну, опираясь на свой вкус, который AI не воспроизводит. Это не фантазии — это уже работающие модели, и их число растёт каждый квартал.

«Человек плюс AI» — третий путь, который упускается в споре «AI заменит человека или нет». У человека и AI разные сильные стороны. AI сильнее в обработке большого корпуса, человек сильнее в интерпретации результата в конкретном контексте. AI сильнее в скорости, человек — в оценке последствий. Связка побеждает, когда человек не отдаёт AI всю задачу, а разделяет её: AI делает то, что у него получается лучше, человек делает то, что у него получается лучше, и интерфейс между ними — это редактура и принятие решения.

ТАНДЕМ ЧЕЛОВЕКА И AI: МАММОГРАФИЯ, ЮРИСПРУДЕНЦИЯ, ДИЗАЙН

В октябре 2019 года команда NYU Langone опубликовала в Nature исследование на девяти миллионах маммограмм: AI-модель и группа рентгенологов работали по отдельности и в связке. AI находит паттерны, которые врач не видит. Врач находит паттерны, которые AI не видит. В связке точность выше, чем у каждого по отдельности. Это не «AI помогает врачу», это «AI и врач видят разное». Команда Providence назвала это «второй парой глаз, которая не устаёт» — не заменой пары глаз, а парой глаз. Связка — это не про «AI делает, человек проверяет», это про то, что оба видят то, что другой пропускает. Именно поэтому профессия рентгенолога не вымерла, а изменилась: рентгенолог стал арбитром между двумя системами восприятия. Полевые данные по Швеции (MASAI, 105 934 женщины) уже разбирались в разделе 3 — там же подробно о росте находок на 29% и сокращении нагрузки на рентгенолога на 44%.

В августе 2025 года Thomson Reuters выпустил CoCounsel Legal и «финальную» версию Westlaw. AI-ассистент в платформе ищет прецеденты по естественному языку (находит релевантные за секунды, не за часы), готовит черновик юридического меморандума, делает claims explorer. Но финальный продукт — иск, договор, заключение — подписывает юрист. Платформа не заменяет юриста, а сокращает research-фазу с трёх-четырёх часов до двадцати-тридцати минут. Юрист получает не «готовый ответ», а «первый проход», который он критически правит. Это и есть centaur-модель: человек ставит вопрос, AI делает черновой обзор, человек верифицирует прецеденты, добавляет контекст, формулирует позицию. Без AI юрист потратит день на research. Без юриста AI выдаст работу уровня стажёра без понимания контекста. С обоими — работу уровня сеньор-юриста за то же время.

Figma в апреле 2025 года опубликовала отчёт «AI in Design»: 88% опрошенных дизайнеров используют AI-инструменты, но только 27% готовы отдать им финальный продукт без правок. Основной паттерн — AI как генератор вариантов, человек как арбитр. Дизайнер формулирует задачу («нужна плашка в корпоративных цветах для трёх аудиторий»), AI выдаёт тридцать-пятьдесят вариантов за минуту, дизайнер выбирает два-три, дорабатывает, и только потом пускает в продакшн. Nielsen Norman Group в мае 2025 зафиксировали: AI-инструменты дизайна «всё ещё не там», где их обещали, но они полезны на конкретной фазе — research, поиск референсов, проверка альтернатив. Дизайнер, который работает с AI как с помощником, делает за день работу недели. Дизайнер, который ждёт, что AI сделает макет «и так сойдёт», получает стоковую картинку, которую отличит любой клиент. Разница между «дизайнер с AI» и «дизайнер без AI» измеряется не часами, а тем, насколько продукт выглядит своим.

ШАХМАТНЫЙ КЕНТАВР КАСПАРОВА: УРОК 1998 ГОДА

В 1997 году Гарри Каспаров (Garry Kasparov) проиграл матч Deep Blue. Год спустя он организовал первый в истории «Advanced Chess» (его ещё называют centaur-chess, или «шахматы с усилением», — формат, где у каждого игрока есть компьютер). В 2005 году Pal Computer Frontier провела турнир: разрешены любые программы, человек решает, какие ходы принимать. Результат, который вошёл в учебники: centaur-пары обыгрывали и Deep Blue, и любого гроссмейстера в одиночку. Каспаров сформулировал вывод, который мы повторяем тридцать лет спустя: «Слабый игрок с сильным компьютером проиграет сильному игроку со слабым компьютером, и наоборот. Сильный игрок с сильным компьютером побеждает всех. Умение работать с машиной — это навык, а не побочный эффект». Эта формула применима к юристу с Westlaw, рентгенологу с AI, дизайнеру с Figma AI. Машина делает то, что у неё получается лучше всего: перебор, поиск, генерация вариантов. Человек делает то, что у него получается лучше всего: оценка контекста, интуиция, финальное решение. Связка побеждает.

МОДЕЛЬ «ЧЕЛОВЕК ПЛЮС AI» В РАЗРЕЗЕ ПРОФЕССИЙ

В таблице ниже — восемь профессий, по которым есть рабочая статистика связки. Колонки фиксированы: что берёт на себя AI, что остаётся человеку, и какая метрика показывает выигрыш связки. Если ваша профессия в списке, у вас есть ориентир; если нет — переносите логику разделения ролей, а не конкретные числа.

Вывод по таблице: во всех восьми профессиях связка выигрывает и у человека в одиночку, и у AI в одиночку. AI не заменяет человека и не остаётся просто «помощником» — AI берёт на себя слой работы, который человек делал медленно, а человек берёт на себя слой, который AI делает ненадёжно.

ЛОВУШКА «AI ВСЁ СДЕЛАЛ, Я ТОЛЬКО ПОДПИСАЛ»: ПРИЗНАКИ

1: Вы не можете объяснить коллеге, почему в документе именно эти формулировки, а не другие.

2: Вы не помните, какие источники AI использовал, и не можете их перечислить.

3: Вы бы не смогли за тридцать минут повторить тот же результат с нуля без AI.

4: Вы не уверены, что AI проверил ключевые риски, которые вы бы проверили руками.

5: Подписывая документ, вы не можете сформулировать, в чём именно ваш вклад, кроме «финального глаза».

Если хотя бы три из пяти — вы в ловушке. AI стал соавтором, а вы стали подписантом. Это путь к Moffatt v. Air Canada в любой профессии: AI-чат публично пообещал клиенту несуществующее условие, компания не проверила выход AI-чата, отвечает компания. Та же механика работает и в любой офисной функции: AI ошибся, человек не проверил, отвечает человек.

Защита — в самом процессе. Ротация задач, в которых AI нет: 20% рабочего времени — задачи без AI. Явная верификация: в каждом процессе — обязательный шаг «проверить AI-вывод» с именем ответственного. Объяснение AI-вывода: если AI выдал рекомендацию, человек обязан объяснить её коллегам и руководителю, не ссылкой на AI, а своими словами с аргументом — например: «AI выдал X, и вот почему я с этим согласен или не согласен». McKinsey в «Superagency» формулирует это как принцип «build the skill before you augment the skill» (сначала освой навык сам, потом усиливай его инструментом). Иначе через два года у вас в команде будут люди, которые умеют нажимать кнопку, но не умеют думать.

РЕЗЮМЕ

AI превосходит среднего специалиста на рутине там, где есть правильный ответ и проверяемая структура. За пределами этой зоны связка с AI даёт результат хуже, чем человек один. AI заменяет задачи, не профессии: в каждой профессии он закрывает часть задач и создаёт новые.

Шесть фундаментальных ограничений AI — отсутствие тела, биографии, долгосрочной памяти, совести, сигнала «я не знаю» и здравого смысла в физическом мире — это свойства архитектуры, не баги. Они не исчезнут с новой версией модели.

AI-ошибка дешевле человеческой в задачах, проходящих фильтр «трёх R»: повторяемость, низкий риск, обратимость. В задачах с неявным контекстом, высокой ценой ошибки и необратимыми последствиями — дороже. Третий путь между «AI заменит» и «AI не заменит» — связка, в которой человек и AI видят разное и в сумме дают результат, недостижимый по отдельности.

Прежде чем отдать задачу AI, проверьте её по трём критериям: повторяемость, цена ошибки, обратимость. Все три «да» — отдавайте AI. Хотя бы одно «нет» — человек остаётся в контуре. В матрице ответственности AI не бывает ответственным, только информируемым: утверждает всегда человек.

Сдвигайтесь вверх по пирамиде абстракции каждый квартал: от исполнителя к валидатору AI-вывода, от валидатора к архитектору процесса, от архитектора — к тому, кто задаёт AI вопросы, которые раньше никто не задавал. Сначала освойте навык сами, потом усиливайте его инструментом.

Завтра утром вы открываете таблицу сравнения моделей — ChatGPT, Claude, Gemini, GigaChat, YandexGPT — и видите красивые числа: один лучше на 4,2 процентного пункта по MMLU, другой обходит всех на HumanEval, третий дешевле на порядок. Вы выбираете «топ-1 по рейтингу», ставите на свою задачу — сортировку входящих писем или подготовку черновика договора — и через неделю обнаруживаете, что на вашем типе писем эта модель работает хуже, чем модель с более низкой позицией в рейтинге. Следующая глава разбирает, почему так происходит и как собрать собственную проверку под вашу задачу, прежде чем отдавать ей реальный рабочий процесс. Не вместо бенчмарков, а поверх них — как фильтр, который отсекает то, что рейтинги не измеряют.

Глава 4. Бенчмарки и сравнение моделей

Менеджер по закупкам открывает Artificial Analysis и видит строчку «Claude Opus 4.7 — 61, GPT-5.5 — 58». Звонит в ИТ-отдел: «Какую ставим? У которой цифра выше — на ту и подписываемся». Через полгода та же команда обнаруживает, что модель с «низкой» цифрой закрывает их рабочие задачи лучше, чем «лидер рейтинга». Подписка на топовую модель оказывается чистой переплатой. История знакомая — и она повторяется во многих компаниях, которые покупают AI, не проверив, как модель справляется именно с её задачами.

Из неё вытекают два следствия. Первое: бенчмарк оценивает одну способность модели — и только её. MMLU на 95% не гарантирует, что модель напишет хорошее коммерческое предложение. HumanEval на 80% не означает, что она починит ваш рабочий код. Второе: цифра в бенчмарке объективна, а вот выбор этой цифры — чей-то. Когда вендор измеряет «интеллект» через multiple choice по 57 академическим предметам, он за вас решает, что считать важным. Для офисного внедрения это не та метрика.

Бенчмарки полезны как стартовая точка для отбора. Опасны — как финальное решение. Вся глава сводится к одной фразе: бенчмарк — это рентгеновский снимок одной способности, а не медицинская карта. По одному снимку лечение не назначают.

ТИПОЛОГИЯ БЕНЧМАРКОВ ДЛЯ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ

Massive Multitask Language Understanding, MMLU, появился в 2020 году как попытка измерить «широту знаний» модели. Внутри — 57 предметов: от элементарной математики и американской истории до права, медицины и компьютерных наук. Формат — multiple choice (закрытый вопрос с выбором из нескольких вариантов), четыре варианта ответа, как в американских SAT (Scholastic Assessment Test — стандартизированный тест для поступления в вуз) или GRE (Graduate Record Examinations — экзамен для поступающих в магистратуру и аспирантуру). В оригинальной версии — около 16 000 вопросов, собранных в основном из открытых экзаменационных материалов. На сайте Stanford CRFM (Stanford Center for Research on Foundation Models — Стэнфордский центр исследований фундаментальных моделей, 2020) про MMLU сказано прямо: «multiple-choice question answering test that covers 57 tasks including elementary mathematics, US history, computer science, law, and more» — в переводе: «тест с выбором ответа, охватывающий 57 задач, от элементарной математики и истории США до компьютерных наук, права и других».

MMLU не творческий тест. Это распознавание правильного варианта из четырёх. Чтобы получить высокий балл, модель должна в среднем хорошо угадывать правильный ответ. Ближе к тесту на эрудицию, чем к проверке способности решать рабочую задачу. MMLU стал де-факто стандартом «общего интеллекта» — и одновременно самым обманчивым тестом для не-исследователя. Высокий балл ещё не говорит, что модель справится с вашей задачей.

HumanEval, выпущенный OpenAI в 2021 году, — это 164 коротких задачи на Python. Каждая задача даёт сигнатуру функции, docstring с описанием поведения и набор скрытых юнит-тестов, а метрика pass@k означает, что модель генерирует k решений, и задача засчитывается, если хотя бы одно прошло все тесты. На странице IBM Think по HumanEval сказано, что HumanEval измеряет функциональную корректность через метрику pass@k — это проверка «код запускается и даёт правильный вывод», а не «код красиво написан» или «код поддерживается в долгую». У HumanEval есть структурная проблема, важная для офисного работника: задачи короткие, каждая умещается в одну функцию, контекст минимальный, и это тест на «синтаксическую и логическую мелочь», а не на способность модели разобраться в вашей кодовой базе из 200 000 строк.

В 2024–2025 годах отрасль сместилась к SWE-bench Verified — там задача уже настоящая: реальный GitHub-баг в реальном репозитории. Princeton выпустил SWE-bench в 2023-м: 2 294 задачи из реальных GitHub-issues в популярных Python-репозиториях (Django, Flask, pytest, scikit-learn и др.). Модель получает кодовую базу и issue, должна сгенерировать патч, который закроет issue и пройдёт существующие тесты. В 2024 году OpenAI и Princeton выпустили «Verified» — отфильтрованную человеком подвыборку из 500 задач. Из исходного набора убрали всё, что модель не может корректно оценить; на сайте SWE-bench: «Verified is a human-filtered subset of 500 instances» — в переводе: «проверенная человеком подвыборка из 500 задач».

SWE-bench Verified — золотой стандарт для оценки кодинга. Задача близка к реальной работе инженера: открыть issue, понять контекст, починить. И для офисного читателя здесь критическая деталь: SWE-bench Verified измеряет способность модели работать с существующим кодом в реальной кодовой базе. Это совсем другой навык, чем «написать функцию с нуля по docstring». Если ваша компания внедряет AI-ассистента для существующего кода, SWE-bench Verified предскажет результат лучше, чем HumanEval.

GSM8K — это 8 500 школьных математических задач, собранных OpenAI в 2021 году. Задачи требуют пошагового рассуждения (chain of thought): модель должна сначала расписать ход решения, а потом дать числовой ответ. На странице датасета на Hugging Face описание: GSM8K (Grade School Math 8K) — это 8,5 тысячи разнообразных по формулировкам школьных математических задач. К 2024–2025 годам лучшие модели набрали на GSM8K больше 95%.

Scale AI в 2024-м выпустила параллельный бенчмарк GSM1K — тысячу новых задач, написанных людьми без помощи LLM. Цель: исключить контаминацию, то есть попадание задач или их близких аналогов в обучающие данные модели.

На GSM1K модели стабильно просели на 8–13 процентных пунктов. Практический вывод неприятный. Если вы видите в маркетинге модели «99% на GSM8K», это скорее характеристика того, насколько хорошо модель «выучила» конкретный набор задач, чем её реальной способности решать похожие, но новые. Контаминация — системная болезнь всех публичных бенчмарков.

Stanford CRFM в 2022 году выпустил HELM (Holistic Evaluation of Language Models) — не один бенчмарк, а фреймворк, где вместо одной цифры считаются 7 метрик (точность, accuracy; калибровка, calibration; устойчивость, robustness; справедливость, fairness; предвзятость, bias; токсичность, toxicity; эффективность, efficiency) на 42 сценариях. Лидер проекта Перси Лян (Percy Liang) с командой из примерно 50 человек прогнали через HELM 30 заметных моделей. На сайте HELM этот проект назван живым бенчмарком для прозрачности языковых моделей — постоянно обновляемой публичной инфраструктурой.

HELM важен другим. Он показывает другую философию оценки. Вместо вопроса «какая модель первая по среднему баллу» — «у какой модели лучше баланс по всем важным для внедрения метрикам». Для офисного внедрения это ближе к реальности: вас волнует не только точность, но и насколько предсказуемо модель ошибается, насколько она устойчива к провокационным запросам и сколько это стоит.

Четыре бенчмарка, которые чаще всего встречаются в маркетинге моделей, сведены в таблицу ниже — с годом выпуска и слабостью каждого.

Слабость всех четырёх — узкая специализация. Каждый измеряет одну способность. Для офисной задачи нужно смотреть на свой набор, а не на топ рейтинга.

БЕНЧМАРКИ ПРОТИВ ОФИСНОЙ РЕАЛЬНОСТИ

Ниже — шесть типовых офисных задач и какой бенчмарк (если он вообще есть) ближе к каждой.

1: Суммаризировать длинный документ — человеческая оценка на своём наборе и косвенно RULER (бенчмарк для оценки работы с длинным контекстом), потому что суммаризация — это качество, а не задача с правильным ответом, и MMLU с GSM8K её не измеряют.

2: Ответить на письмо клиента в нужном тоне — Chatbot Arena Elo и свой оценочный набор, потому что тон — это человеческая оценка, не multiple choice, и HumanEval с MMLU на стиль не смотрят.

3: Сделать простой SQL-запрос по описанию — HumanEval как прокси и свой оценочный набор, потому что задача близка к «написать функцию», а GSM8K и MMLU не помогут.

4: Посчитать скидку по таблице — GSM8K как прокси и проверка на своих задачах, потому что пошаговая арифметика — это GSM8K, но без проверки на своих числах доверять нельзя.

5: Перевести документ с английского — свой оценочный набор с экспертом-переводчиком, потому что качество перевода — отдельный навык, и все перечисленные бенчмарки англоцентричны и text-only.

6: Разобрать входящий PDF и вытащить сущности — MMLU как прокси на понимание текста и свой оценочный набор, потому что нужна комбинация OCR (распознавания текста с картинки) и рассуждения, и ни один из четырёх не покрывает это напрямую.

Эти шесть пунктов показывают суть: для большинства офисных задач ни один публичный бенчмарк не даёт прямого ответа. Свой набор закрывает разрыв. Только он.

ДОВЕРИЕ К БЕНЧМАРКУ: УСЛОВИЯ И ОГОВОРКИ

Бенчмарк предсказывает ваш результат, если одновременно выполнены четыре условия:

1: Задачи в бенчмарке похожи на ваш случай по структуре — формат, длина контекста, тип ответа — и метрика считает то, что вам важно. Не «доля правильных ответов в тестах с выбором ответа» (MCQ, multiple choice question), а «процент задач, где результат пригоден для отправки клиенту».

2: Тестовый набор чист от контаминации.

3: Бенчмарк ещё не насыщен (разница между лидерами статистически значима, а не «91% против 92%») и регулярно обновляется. Иначе модели учат его наизусть.

4: Метрика измеряет то, что связано с вашей задачей, а не постороннюю способность.

Хотя бы одно условие не выполнено — бенчмарк показывает красивую цифру без всякого отношения к вашему офису.

Четыре признака «мёртвого» бенчмарка.

1: Топ-5 моделей выдают результаты в диапазоне 1–2 процентных пункта — разница не различима за пределами шума.

2: Бенчмарк не обновлялся 2+ года — за это время его вопросы попали в обучающие данные всех крупных моделей.

3: Метрика измеряет то, что не связано с реальной задачей (например, тест с выбором ответа по праву для ассистента, который должен переписываться с клиентом).

4: Публичные результаты расходятся с числами, которые вендор заявляет сам, на 5+ пунктов в одну или другую сторону.

Если вы видите хотя бы два признака из четырёх, бенчмарку доверять нельзя. Ориентиром становится свой оценочный набор.

Что показывает Chatbot Arena, а что — нет. Chatbot Arena (от LMSYS, Lab for Machine Learning and Systems at UC Berkeley — лаборатория Беркли) — самый цитируемый лидерборд по «человеческому рейтингу», где пользователи в слепом сравнении голосуют за ответ А или Б, а рейтинг считается через систему Эло по сумме миллионов диалогов.

Показывает Arena общую «человеческую» привлекательность ответа — тон, структуру, полноту. Не показывает точность в задачах с единственным правильным ответом (арифметика, код, юридические ссылки), устойчивость к граничным случаям (edge case, нестандартным входным данным, на которых модели часто ломаются), устойчивость к попыткам взлома через запрос (jailbreak) и стабильность на длинном контексте.

В 2025 году опубликована работа, показывающая, что рейтинг можно сместить целенаправленным голосованием. Это последний аргумент в пользу собственного оценочного набора: чужие цифры можно исказить, свои — сложнее.

Классы задач, которые не покрывает ни один популярный бенчмарк.

1: Работа с таблицами и числами из вашей корпоративной базы (нужен RAG — поиск ответов модели по вашей базе документов — и свой оценочный набор).

2: Генерация длинных связных документов на 10+ страниц (бенчмарки смотрят на короткие ответы).

3: Следование вашему внутреннему тону голоса бренда и шаблонам (бенчмарки не знают ваш стиль).

4: Соблюдение ваших нормативных ограничений — юридических, отраслевых, внутренних.

5: Многошаговые agent-сценарии, где модель должна планировать, вызывать инструменты и откатываться.

Прежде чем доверять бенчмарку, проверьте семь вещей.

1: Дата сбора датасета и дата обучения модели — пересекаются ли (если да, контаминация почти гарантирована).

2: Тип оценки: multiple choice, генерация, человеческий Эло, LLM-as-a-Judge — разные шкалы нельзя сравнивать напрямую.

3: Размер выборки: 164 задачи (HumanEval) — это статистически хрупко, 8 500 (GSM8K) — плотнее.

4: Метод подсчёта: pass@1, pass@k, accuracy, F1, Brier — не путать.

5: Self-reported против независимого замера: разница в 5+ пунктов — красный флаг.

6: Способ подачи запроса: ввод без примеров, с примерами в самом запросе, с просьбой рассуждать по шагам, с системным запросом или без — меняет результат радикально.

7: Стоимость прогона: на дорогих моделях один прогон может стоить сотни долларов.

Модель, которая отлично сдала MMLU, HumanEval и GSM8K, доказала только одно: она умеет решать задачи этого типа «в вакууме» — короткие, с чётким форматом и эталонным ответом. Это ничего не говорит о том, как она поведёт себя в реальном офисе — с грязными данными, неполным контекстом, прерванным разговором, нечёткой постановкой задачи. Если нанять по результатам единого госэкзамена, можно получить отличника, который не умеет вести переговоры. Высокий балл на бенчмарке — пропуск в следующий тур отбора. Не гарантия работы.

Насыщенный бенчмарк — линейка с делением только до 90 сантиметров. Когда 99% моделей набирают больше 90% на GSM8K, разница между «отличной» и «средней» моделью становится невидимой, как рост человека выше 190 см на линейке, где последнее деление — 90. Линейка не врёт, но она больше не различает. MMLU, HumanEval и GSM8K к 2026 году превратились в инструмент «отсева слабых моделей», а не ранжирования сильных. Для сравнения топ-моделей нужны более длинные линейки — SWE-bench Verified, GPQA Diamond, Humanity’s Last Exam.

СЛЕПЫЕ ЗОНЫ БЕНЧМАРКОВ И ЦЕННОСТЬ СОБСТВЕННЫХ МЕТРИК

Бенчмарки измеряют то, что легко автоматизировать: наличие правильного ответа, скорость работы, объём памяти. Не измеряют то, что в офисной работе критично: тон, стиль, уместность, этические границы, устойчивость к необычному запросу.

Эмили Бендер (Emily M. Bender) с соавторами в работе 2021 года «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» поставила вопрос жёстко: риски LLM смягчаются, если заранее заложить бюджет на курирование и документацию и не создавать датасеты больше, чем можно качественно поддерживать. Бенчмарки измеряют, насколько хорошо модель имитирует «правильные ответы» в выборке, на которой она обучалась. Это не то же самое, что понимание. Stochastic parrots — термин из этой работы, ставший символом критического взгляда на метрики LLM.

Четыре области, которые остаются за пределами стандартных метрик.

1: Креативность. Способность сгенерировать неожиданный, но релевантный ответ не измеряется ни одним публичным бенчмарком. Модель может набрать 95% на MMLU и выдавать пресные тексты — при обучении её оптимизировали на правдоподобие, а не на оригинальность.

2: Этика. Стремление отказаться от этически сомнительного (по мнению создателей модели) запроса — неизмеримая метрика. Универсального теста на «хорошее поведение» нет. Есть только наборы сценариев, которые вендор сам выбирает.

3: Актуальность знаний. Бенчмарк фиксирует знания на момент сбора датасета. Если модель обучена на данных до 2023 года, она не ответит на вопрос о событиях 2024-го. Ни один бенчмарк этого не зафиксирует, пока вендор не выпустит обновлённую версию.

4: Устойчивость к инъекции промптов. Способность модели не поддаться на манипуляцию в тексте запроса — отдельный класс проверок. Результаты сильно зависят от того, какие именно инъекции проверялись.

Цифра в бенчмарке — статичная. Ваша задача меняется каждый квартал, и разрыв между цифрой и реальностью растёт. Бенчмарк не отличает «модель облажалась в безвредном месте» от «модель облажалась в критичном для бизнеса месте». Оба раза это минус один процент к accuracy.

Я рекомендую компаниям собрать свой оценочный набор из 50–100 реальных задач — тех, которые они решают каждый день. Шаблонные письма, отчёты, первичный анализ контрагентов, классификация входящих запросов. На этом наборе прогоняются 3–5 отобранных моделей, и сравнивается не абстрактная «точность», а процент задач, где результат пригоден для отправки клиенту или руководителю. День-два работы одного человека экономят месяцы разочарований и десятки тысяч рублей на ненужной подписке.

Что измерять в AI-решении, чтобы понимать, работает ли оно. Три класса метрик:

1: Метрики конвейера — скорость, стоимость, процент ошибок инфраструктуры (модель не отвечает, таймаут, сбой). Это метрики работы системы как таковой, без оценки качества ответа.

2: Метрики качества ответа — точность на своём оценочном наборе, процент пригодных для отправки, экспертная оценка по 5-балльной шкале. Это метрики того, насколько результат применим в реальной работе.

3: Метрики влияния на процесс — время выполнения задачи до и после AI, NPS (индекс лояльности клиентов, Net Promoter Score), процент переделанных результатов. Это метрики того, улучшает ли AI реальный результат, а не только оценку.

Без измерений внедрение AI превращается в веру. Менеджер объявляет «мы внедряем AI», но не определяет, как он узнает, что внедрение работает. Через несколько месяцев нет данных — только ощущение, что «что-то работает». Через полгода компания платит за AI-сервис десятки тысяч долларов в месяц и не может ответить на вопрос «а что мы за это получили». Через год проект закрывают или масштабируют. Оба решения одинаково безответственны.

Кейс Klarna — учебник по провалу измерений. Разбор был в предыдущей главе, здесь зафиксируем только то, что относится к теме главы: компания оптимизировала то, что легко измерить, и не измеряла то, что важно для бизнеса. По материалу Fortune (2024), бот был «ограниченным» — не плохим, просто ограниченным метриками.

Кейс Shopify — другой урок. По материалу Slator о мемо генерального директора (CEO) Shopify Тобиаса Лютке (Tobias Lütke) от апреля 2025: «An internal memo published by Shopify CEO Tobias Lütke mandates AI use throughout the company; the app has already sped up translation 100x» — в переводе: «внутреннее мемо CEO Shopify Тобиаса Лютке предписывает использовать AI во всей компании; приложение уже ускорило перевод в 100 раз». Shopify измерила эффект: переводы ускорились в 100 раз — конкретная метрика. Мемо «сначала докажи, что AI не может» — управленческое решение, основанное на данных, а не декларация. Бенчмарки таких данных не дают. Но и не мешают их собирать.

СВОДНАЯ ТАБЛИЦА МОДЕЛЕЙ: ИНСТРУКЦИЯ ПО ЧТЕНИЮ

Сводная таблица моделей — это попытка уместить десятки параметров в один экран. Искушение выбрать модель по одной цифре («Intelligence Index» — сводный индекс «интеллекта» от Artificial Analysis) сильно. Именно на нём держится маркетинг лидербордов. Под одной цифрой скрывается десяток разных метрик, и у каждой модели свой профиль: одна лучше в рассуждении, другая — в коде, третья — в диалоге на естественном языке, четвёртая — в работе с длинным контекстом. Универсального победителя нет. Кто говорит обратное — продаёт.

При чтении порядок такой.

1: Первая колонка — не «MMLU», а «цена и контекст», потому что если модель не влезает в ваш бюджет или в ваш документ, дальше можно не смотреть.

2: Вторая — задача: что вы реально будете делать (код, рассуждение, перевод).

3: Третья — точность на релевантном бенчмарке.

4: Четвёртая — бенчмарк на нужном языке (русский отдельно от английского).

5: Пятая — скорость и формат API (программного интерфейса, через который ваше приложение отправляет запросы модели).

Принцип простой. Смотрите не на «общую оценку», а на параметр под ваш аппетит, задачу и бюджет.

Очередной миф: «OpenAI / Claude / Gemini лучше всех остальных». Зависит от задачи и языка. Для русского, для агентских задач, для маленьких моделей на локальной машине — лидер другой, и миф поддерживается маркетингом западных лабораторий и игнорированием китайских и российских альтернатив.

OpenAI и Anthropic конкурируют в зоне топовых рассуждающих моделей (reasoning-моделей, моделей с пошаговым рассуждением) с длинным контекстом. Google делает ставку на мультимодальность (текст, картинки, видео, аудио в одной модели). DeepSeek, Qwen — китайские open-weight альтернативы (модели с открытыми весами — можно скачать и запустить у себя), активно догоняющие западные аналоги по бенчмаркам при цене в 5–10 раз ниже. Mistral — европейский open-source (с открытым исходным кодом) с акцентом на развёртывание на своих серверах (on-premise — на своей инфраструктуре) и защиту данных (privacy — приватность). Это не чёрно-белое «хорошие против плохих», а разные ниши с разной экономикой.

Короткий срез лидеров на 1 мая 2026 — в таблице ниже. Среди open-weight в 2026 году отдельная лига: DeepSeek V4 Preview (архитектура MoE — смесь экспертов: 1,6 триллиона параметров всего, 49 миллиардов активны на каждом запросе) и Llama 4 Scout с заявленным контекстом 10M токенов, Qwen 3.5 Medium (35B-A3B) — GPT-5-mini-класс за долю стоимости. Разрыв между «топом» и «средним» в абсолютных цифрах меньше, чем кажется: на Artificial Analysis Intelligence Index даже «лучшая модель мира» набирает 61, а не 100, и разница между первым и пятым местом — это 3–5 процентных пунктов. «Топ-1» в этой реальности — переходящий кубок: в каждой номинации свой обладатель.

Какая модель лучше для русскоязычных задач в 2026 году? Прямого ответа нет, и любой, кто его даёт, — продаёт. Сравнивать нужно на своём оценочном наборе. Это единственный честный способ.

Топ-1 в рейтинге — победитель марафона, не лучший бегун для вашего забега. Если победитель марафона бежит 42 км за 2:10, это не значит, что он выиграет спринт на 100 метров у вашего офисного курьера. Модель, топовая на SWE-bench Verified (сложный код), может быть средней в маркетинговых текстах. Модель, лидирующая в HumanEval (короткий код), может проигрывать в многошаговом агенте.

КИРИЛЛИЦА И ТОКЕНИЗАЦИЯ: СТРАТЕГИИ ПРОТИВ ПЕРЕПЛАТЫ

Токенизация разобрана в первой главе. Здесь — про экономику кириллицы в конкретных моделях 2026 года, про стратегии против переплаты и про то, как читать русскоязычные бенчмарки. Эта часть опирается на те же термины: токен (смысловой фрагмент слова, на которые модель «режет» текст перед обработкой), словарь модели (набор всех токенов, которые она знает), BPE (алгоритм разбиения слов на части, Byte Pair Encoding), и предполагает, что они понятны.

Русский язык работает в LLM иначе по трём причинам.

1: Другая токенизация: английский текст токенизируется по 4 символа на токен в среднем (BPE-словарь), русский — по 2,5 символа, и это значит, что русский текст обходится в 1,5–2 раза дороже, а в контекстное окно помещается меньше.

2: Качество корпуса: большая часть обучающих данных — английский, китайский, испанский, и русскоязычный корпус меньше, и качество его ниже (больше шума, меньше размеченных данных).

3: Отсутствие специализированного предобучения: большинство моделей обучаются на универсальном корпусе без отдельного этапа «русский язык», и только несколько моделей выделяются — YandexGPT 5.1 Pro, GigaChat 2 Max, Alice AI LLM, Qwen3, DeepSeek.

«Налог на кириллицу» — это бухгалтерия, не метафора. Когда пользователь отправляет в модель английский текст, токенизатор GPT-4o (o200k_base, словарь около 200 000) режет его в среднем на 1,3 токена на слово, а когда тот же пользователь шлёт русский — токенов становится примерно 2,5–3,3 на слово.

Слово «налогоплательщик» в GPT-4 уезжает на 4–5 токенов, в Qwen3 — на 1–2. На маленьком письме разница незаметна. На 50-страничном договоре — десятки тысяч лишних токенов. Один и тот же русскоязычный документ через OpenAI API стоит в 1,5–3 раза дороже, чем его английский перевод. Плюс в контекстное окно GPT-4o 128k на русском помещается примерно 12 000 слов вместо 26 000 на английском — почти в два раза меньше содержания за те же деньги.

Ключевой вывод из этой таблицы: проблема — в словарном запасе модели, не в «русском как таковом». Где кириллических токенов больше 4 000 (GPT-4o), русский стоит в 1,3–1,5 раза дороже английского; где 435 (GPT-4) — в 2,5–3 раза. Расширение словаря — техническая задача, и некоторые провайдеры её решают сознательно. Qwen3 (235B-A22B — MoE) и DeepSeek V3/R1 тренируются на больших многоязычных корпусах, где русский занимает заметную долю, и их словари изначально включают тысячи кириллических токенов, что даёт лучший баланс цена/качество для русского при работе через API или локально. Российские системы (YandexGPT 5.1 Pro, GigaChat 2 Max, Alice AI LLM) оптимизированы под русский «по определению» — обучающий корпус собран преимущественно из русскоязычных источников, тестирование ведётся на MERA и RussianSuperGLUE, плюс они «знают» ГК РФ, НК РФ, ФЗ-152, ГОСТы и региональную специфику.

Три рабочих стратегии для тех, кто устал платить «налог на кириллицу».

1: Сменить модель: для чисто русскоязычных задач взять YandexGPT 5.1 Pro или GigaChat 2 Max, у которых кириллица в словаре изначально. По данным Яндекса, YandexGPT 5.1 Pro превосходит предыдущее поколение в 58% случаев. Яндекс также заявляет превосходство над GPT-4.1 в 56% случаев, но независимого подтверждения этого заявления нет — это маркетинговая цифра, а не измеренная.

2: Взять модель с открытым кодом с большим кириллическим словарём: Qwen3 (235B-A22B) или DeepSeek R1; обе модели можно запустить локально или через API. Стоимость токена в 5–10 раз ниже, чем у западных конкурентов.

3: Дообучить tokenizer: взять открытую модель с крепкой архитектурой и заменить ей словарь на расширенный кириллический. Это сложно, дорого и подходит только для команд, у которых есть свои серверы и data-инженер.

Самая частая ошибка — попытка «просто перевести на английский» перед отправкой в западную модель. Это работает для технических текстов, но не работает для юридических: формулировки на русском — часть юридической силы документа. Перевод договора — это другой договор, а не тот же.

Что меряет и чего не меряет ruMMLU. ruMMLU — это переведённый на русский MMLU, тест на «общую эрудицию» из 57 предметов: от философии и права до клинической медицины. Создатели ruMMLU честно предупреждают, что результаты на русском и английском напрямую несравнимы: тест переводили через GPT-3.5, и в переводе потерялась часть нюансов. Это и есть «налог на кириллицу» на уровне бенчмарка: даже тест, по которому судят о русскоязычных моделях, сделан через западный переводчик. MERA закрывает часть этих дыр: 21 задача, среди которых ruMMLU, ruEthics, SimpleAr (арифметика на русском), CheGeKa (вопросы из «Что? Где? Когда?»), работа с длинным контекстом, код и падежная морфология. GigaChat 2 Max в марте 2025-го на MERA обходит иностранных конкурентов. YandexGPT с Alice AI LLM держатся в лидерах SLAVA-бенчмарка. Всё это доказывает не то, что российские модели «умнее», а то, что для русскоязычной работы у них другая точка отсчёта. И другая тренировочная программа.

РОССИЙСКИЕ МОДЕЛИ НА КАРТЕ РЫНКА

КОММЕРЧЕСКИЕ СЕМЕЙСТВА МОДЕЛЕЙ

GigaChat — семейство моделей Сбера (LLM, большая языковая модель), вышедшее в публичный доступ в 2023 году. К 2026-му оно доросло до линейки GigaChat 2 (Lite, Pro, Max) и нового флагмана GigaChat Ultra. Lite — быстрые ответы на простые вопросы, черновики писем, саммари, чат-боты. Pro — баланс скорости и качества, маркетинговые тексты, инструкции, рерайт. Max — тяжёлые задачи: аналитика, работа с большими документами (контекст 128 000 токенов, это примерно 200 страниц A4), глубокая работа с данными. GigaChat Ultra (по сообщению Сбера от марта 2026) — отдельный класс. Это первый релиз Сбера с режимом рассуждения (Ultra Thinking), где модель показывает цепочку рассуждений, а потом даёт ответ.

По внутренним тестам Сбера на 32 управленческих сценариях (методология не опубликована) режим рассуждения ухудшил результат на 3,3% — с 3,26 до 3,15 балла. Для точных данных и расчётов длинная цепочка рассуждений только мешает. На задачах со множеством факторов (стейкхолдер-анализ, подготовка к переговорам) режим помогает. На «посчитай 4,3% от 17 миллионов» — вредит. Важная деталь: режим рассуждения — не серебряная пуля.

YandexGPT и Alice AI — это разные семейства моделей, и в 2026 году Яндекс их разделяет осознанно. YandexGPT — рабочая лошадка для API, для встраивания в бизнес-процессы, для интеграции в Yandex Cloud AI Studio. Alice AI LLM — ядро для диалоговых и ассистентских сценариев, в первую очередь для Алисы. YandexGPT 5.1 Pro (август 2025): контекст 128 000 токенов (рост с 32 000 в предыдущем поколении), инференс в 2,5 раза быстрее YandexGPT 4 Pro, режим chain-of-reasoning, второе место в SLAVA-бенчмарке после Alice AI LLM. YandexGPT Lite — облегчённые модели для быстрых ответов, чат-ботов, bulk-операций. Alice AI LLM — лидер SLAVA с фокусом на разговорных ассистентах. С июля 2025 года «Чат с Алисой» в режиме Pro и рассуждения бесплатен для пользователя — это меняет экономику для b2c-сценариев.

Kandinsky — отдельная ветка моделей Сбера для генерации изображений и видео, не часть GigaChat, но встроенная в его интерфейс. Актуальная линейка — Kandinsky 5.0 (ноябрь 2025), три модели: Image Lite (универсальная, HD-картинки), Video Pro (10-секундные видео в разных форматах), Video Lite (2 миллиарда параметров, оптимизирован под скорость), все с открытыми весами. Что Kandinsky умеет по делу: генерация иллюстраций для презентаций и соцсетей, доработка изображений (inpainting — дорисовка части картинки по маске), генерация видео до 10 секунд по текстовому описанию или по стартовому кадру. Разрешение — от SD (720×576) до HD (1280×720). По независимым тестам, Kandinsky 5.0 Lite по качеству превосходит предыдущее поколение, но по детализации и фотореализму уступает Midjourney v6 и DALL-E 3. Это рабочий инструмент для офисных задач, а не конкурент топовым западным генераторам. Исторически Kandinsky — одна из первых публичных мультимодальных моделей на кириллице: с 2022 года поддерживает русскоязычные промпты на уровне, где западные генераторы требовали английского. Для офиса это и есть преимущество.