Kitabı oxu: «Не верь нейросети на слово: Как проверять ответы ИИ и не попадаться на ошибки»

Вступление

Помощник, которому хочется верить

Представьте, что у вас появился помощник, который почти никогда не устает. Он может за несколько секунд объяснить незнакомый термин, составить план поездки, переписать письмо, придумать идею, разобрать документ и помочь начать работу в области, о которой вы вчера почти ничего не знали.

Он отвечает спокойно и грамотно. Не раздражается, если вы переспросили. Не просит назначить встречу через неделю. Может объяснить одну и ту же мысль пятью способами — пока вы наконец не поймёте.

Очень быстро возникает естественное ощущение: перед вами почти универсальный эксперт.

Именно здесь начинается главная ошибка новичка.

Нейросеть — не электронная энциклопедия, в которой лежит готовая карточка с правильным ответом. И не поисковик в привычном смысле, который прежде всего показывает страницы, где ответ можно проверить. Генеративная модель создаёт ответ. Иногда на основе собственных параметров, иногда с помощью подключённого поиска или загруженных документов, но итоговый текст всё равно формируется моделью.

Это различие кажется техническим, пока не приходится платить за ошибку.

В 2025 году на туристическом сайте Tasmania Tours появилась статья о горячих источниках в Тасмании. Среди настоящих мест были описаны Weldborough Hot Springs — привлекательная лесная локация с минеральной водой и красивыми изображениями. Люди стали туда ехать. Одна группа из 24 путешественников специально сделала крюк. На месте выяснилось, что горячих источников там нет. [6]

История почти смешная: лишняя дорога, потраченное время, испорченный кусок отпуска. Но тот же механизм выглядит иначе, если ответ касается лекарства, судебного документа или крупного перевода денег.

В 2024 году был опубликован клинический случай пациента, который использовал ChatGPT как часть самостоятельной оценки тревожных симптомов и примерно на сутки отложил обращение за неотложной помощью. В больнице рабочим диагнозом стала транзиторная ишемическая атака. [7] В 2025 году врачи описали другой случай: мужчина около трёх месяцев заменял поваренную соль бромидом натрия после разговора с ChatGPT об альтернативах хлориду натрия и оказался в больнице с бромизмом. [8]

Во всех этих историях важен один переход: текст на экране превратился в основание для действия.

Поэтому эта книга не написана против нейросетей. Напротив: генеративный ИИ — один из самых полезных новых инструментов для работы с текстом, идеями и информацией. Но пользоваться им безопаснее и эффективнее, когда вы понимаете, чем он является — и чем не является.

Хорошо сформулированный ответ и правильный ответ — не одно и то же.

NIST называет уверенно сформулированное ошибочное или ложное содержание генеративных систем конфабуляцией; в повседневной речи чаще употребляют слово «галлюцинация». NIST подчёркивает, что такие ошибки естественно связаны с тем, как генеративные модели строят статистически правдоподобные продолжения. [1]

В 2025 году исследователи OpenAI предложили ещё одну важную деталь: галлюцинации поддерживаются не только самим предобучением, но и системой оценки, в которой модели часто выгоднее угадать, чем признать «я не знаю». [26] Это не единственное объяснение; научные обзоры рассматривают причины по всему жизненному циклу модели — от данных и обучения до генерации ответа, контекста запроса и подключения внешних источников. [27]

Первая задача этой книги — убрать магию. После первых глав у вас должно сложиться простое представление: нейросеть не хранит внутри идеальную энциклопедию мира и не является просто улучшенным Google или Яндексом. Это другой тип инструмента.

Вторая задача — научиться использовать этот инструмент без двух крайностей. Не верить ему на слово. Но и не превращаться в человека, который боится каждого ответа ИИ.

Главный вопрос перед важным действием: «Откуда я знаю, что это правда?»