Как проверить ответ ИИ за минуту

Момент, когда ответ становится вашим

Четверг, конец дня. Вы загрузили в чат восемь присланных предложений и попросили свести их в сравнение с итогом и коротким выводом. Ответ приходит готовой таблицей: колонки ровные, цены проставлены, внизу вывод — выгоднее всего четвёртый вариант, экономия против текущего поставщика заметная. Вы копируете это в письмо и отправляете руководителю.

С этой секунды текст перестал быть ответом модели. Это ваше письмо, ваша рекомендация и ваша подпись. Если завтра выяснится, что в одной строке цена указана без доставки, а «текущий поставщик», с которым идёт сравнение, взялся из ниоткуда, объясняться будет не модель.

Раньше вы перечитывали написанное собой, теперь — написанное за вас. Изменилось одно: скорость появления текста выросла, скорость чтения — нет. А текст выглядит готовым, и поэтому его не перечитывают.

Дальше — не аудит, а фильтр на минуту: он отсекает то, за что стыднее всего.

Единственный вопрос перед проверкой

Что произойдёт, если это окажется неверным? Ответ определяет и глубину проверки, и её порядок. Три уровня.

Черновик для себя. Вы ищете формулировку, собираете идеи, разбираетесь в незнакомой теме. Ошибка стоит вашего времени и больше ничего. Проверять по чеклисту нечего — достаточно не пересылать этот текст дальше, пока он не переработан.

Уходит внутрь. Коллега возьмёт это в свою работу, руководитель прочитает и запомнит цифру. Ошибка стоит чужого времени и вашей репутации в команде. Это первый уровень, где чеклист проходят целиком.

Уходит наружу или ложится в решение. Клиент, партнёр, документ, договор, приказ, платёж. Ошибка стоит денег или отношений, а откатить её нельзя — письмо уже прочитано, платёж уже прошёл. Здесь минуты мало, но начинать всё равно нужно с этих же четырёх пунктов.

Соразмерность мер контексту применения и возможным последствиям — основа рамки управления рисками ИИ американского института стандартов NIST. Практический смысл: проверять всё одинаково тщательно — значит не проверять ничего, на это не хватит дня.

Четыре пункта

1. Источник указан

Возьмите каждое содержательное утверждение и спросите: откуда это? Ответов ровно три — из приложенного вами материала, из общих сведений модели, или ниоткуда.

Утверждение из приложенного материала проверяется поиском по тексту: копируете фрагмент, ищете в исходном файле, видите результат. Либо есть, либо нет.

Утверждение из общих сведений — то, что модель «знает вообще». Оно может быть верным, но оно не про ваш документ и не про вашу компанию. Беда даже не в ошибочности, а в том, что оно стоит рядом с утверждениями из вашего файла и внешне от них не отличается.

Утверждение ниоткуда — то, что не нашлось и не проверяется. Его нужно либо убрать, либо заменить на честное «данных нет».

2. Числа пересчитаны

Числа — то, что читатель запомнит и процитирует. И то, что легче всего испортить незаметно.

Что смотреть: сходится ли сумма со слагаемыми; те ли единицы (тысячи и миллионы, штуки и упаковки, с налогом и без); те ли периоды сравниваются. Отдельно — проценты: 100 плюс 15% — это 115, а 115 минус 15% — это 97,75, а не 100. Прибавленный процент вычитанием того же процента не отменяется.

Пересчёт — это буквально пересчёт: не «выглядит правдоподобно», а калькулятор или ячейка с формулой. Если чисел много, проверьте два — итог и самое крупное слагаемое. Не сошёлся итог — дальше разбираете все строки.

3. Персональные данные убраны

Здесь два разных действия, и второе бесполезно без первого.

До отправки в чат. Посмотрите, что вы собираетесь загрузить. Фамилии, должности, телефоны, адреса, паспортные и банковские реквизиты, номера договоров, суммы по конкретным контрагентам — всё это можно заменить на роли и метки: «сотрудник А», «поставщик Б», «договор №1». Смысл задачи от этого не меняется, а данные не покидают вашу папку.

После получения ответа. Проверьте, не всплыли ли в ответе те данные, которых там быть не должно, — модель охотно переносит их из вашего же запроса в итоговый текст, который вы потом перешлёте третьим лицам.

Асимметрия: убрать данные из ответа легко, вернуть их из чужого сервиса — нельзя. Второе действие не отменяет первое, оно только не даёт данным уйти дальше, третьим лицам.

4. Ответ можно показать руководителю

Последний пункт — не про факты, а про форму. Прочитайте текст глазами человека, который его получит, и проверьте три вещи.

Категоричность. «Всегда», «гарантированно», «во всех случаях», «этого достаточно» — так модель пишет по умолчанию, независимо от того, на чём утверждение держится. Каждое такое слово либо подкрепляется источником, либо смягчается.

Обязательства. Не пообещали ли вы от лица компании сроки, скидки, условия или доработки, которых никто не согласовывал. В деловом письме такая фраза выглядит естественно — потому и проскакивает.

Ваш голос. Сможете ли вы объяснить любую строчку, если спросят прямо на встрече? Строчка, про которую вы не скажете, откуда она, — не ваша. Уберите, даже если она красивая.

Что проверять первым при разной цене ошибки

Порядок важнее полноты: минута кончается раньше, чем чеклист. Правило простое — сначала то, что нельзя откатить.

• Внутри команды — пункты 1 и 2. Тон коллега простит, неверную цифру утащит в свою таблицу.
• Наружу, клиенту или партнёру — сначала 3 и 4, затем 1 и 2. Утёкшие данные и обещание от лица компании не отзываются письмом вдогонку.
• В документ или в решение о деньгах — пункт 2 первым, и не по разметке модели, а руками, в отдельном файле. Дальше 1, 4, 3.
• Личный черновик — ничего. Не тратьте минуту, потратьте её на текст.

Место пункта 3 в очереди зависит не от цены ошибки, а от того, куда уходит текст.

Как уложиться в минуту

Шестьдесят секунд делятся неравномерно: по двадцать на первые два пункта вашей очереди, по десять на оставшиеся. Проверка обрывается на первой находке: если ответ уже идёт на переделку, остальные секунды тратить не на что.

Три приёма, которые экономят время.

Поиск по тексту вместо чтения. Вы не перечитываете документ, а ищете в нём фрагмент из ответа. Это секунды.

Проверка на выборке. Если утверждений двадцать, проверьте три: самое важное, самое конкретное и самое удобное для проверки. Нашли ошибку в выборке — дальше поштучно не разбираете, ответ идёт на переделку целиком.

Разметка вместо суждения. Просить модель найти свои ошибки — плохая идея (об этом ниже). Просить разложить собственный ответ на части — нормальная: это механическая работа с текстом, а не оценка истинности.

Готовый промпт: разметка вместо самопроверки

Промпт ниже не спрашивает «всё ли верно». Он требует разложить ответ по полкам, чтобы вам было что проверять поиском по тексту.

Что делать с результатом. «Из исходника» — проверяете поиском по тексту выборочно. «Из общих знаний» — решаете, уместны ли они в вашем письме, и чаще всего убираете. «Вывод» — читаете внимательнее всего: здесь ответ уходит дальше исходника. Числа с пометкой «источника нет» и любые данные из третьего списка — вычёркиваете сразу.

Приём близок к Chain-of-Verification из работы с тем же названием: сначала черновик, затем отдельные проверочные вопросы к нему, затем ответы на них — по возможности независимо от черновика. Разница в том, что финальное суждение остаётся за вами.

Где это ломается

Самопроверка — не проверка. Просьба «проверь свой ответ и исправь ошибки» без нового источника работает плохо. В работе «Large Language Models Cannot Self-Correct Reasoning Yet» показано, что при рассуждениях модели с трудом исправляют себя без внешней обратной связи, а иногда результат после самокоррекции становится хуже. Поэтому в промпте выше нет ни одного вопроса об истинности — только разложить и перечислить.

Разметка тоже может быть выдуманной. Метка «из исходника» с приложенной цитатой — не доказательство того, что цитата в исходнике есть. Разметка сокращает вашу работу, но не заменяет поиск по тексту. Если вы ни разу не открыли исходный файл, вы не проверили ничего.

Соответствие источнику — не истина. Все четыре пункта проверяют, что ответ не разошёлся с материалом, который вы приложили. Если ошибка была в самом материале — устаревший прайс, неверная выгрузка, чужой черновик, — чеклист её пропустит и придаст ей вид проверенного факта.

Минуты не хватает. Расчёты в несколько шагов, юридические формулировки, объёмные таблицы, сканы и фотографии документов. В скане ответ точен по распознанному тексту, а не по бумаге, и подмена цифры пройдёт все четыре пункта. Числа со скана сверяют глазами с оригиналом.

Проверять нечего. Идеи, формулировки, черновик письма, план встречи — сверять не с чем, первые три пункта вырождаются. Остаётся четвёртый: показали бы вы это руководителю в таком виде.

Чеклист превращается в ритуал. Если вы применяете его месяц и ни разу ничего не вернули на переделку, вы не проверяете, а ставите галочки. Живая проверка регулярно что-то отсеивает; счётом отсеянного она и подтверждается.

Что сделать сегодня

Пятнадцать минут, одно действие.

Найдите последний ответ ИИ, который вы уже отправили кому-то на этой неделе. Откройте исходные материалы, по которым он делался. Прогоните по четырём пунктам и запишите два числа: сколько утверждений вы не смогли найти в исходнике и сколько чисел не сошлись при пересчёте.

Ноль и ноль — повторите замер на следующем ответе. Любая другая пара — ваша цена отказа от минуты проверки, измеренная на ваших задачах, а не взятая из статьи.