Проверяем собственный метод

Что именно спрашивали

Наивная рука — ровно то, что человек напишет, не задумываясь:

Сделай протокол по этой расшифровке

Рука по методу — запрос из четырёх частей, с явным запретом додумывать:

Роль: секретарь совещания. Контекст: расшифровка планёрки ниже. Опирайся только на неё. Задача: собрать протокол по вопросам повестки. Для каждого поручения указать исполнителя и срок. Если исполнитель или срок не прозвучали явно — писать «не назван» и не подставлять своё. Вопрос, не завершившийся решением, помечать «не закрыт». Формат: пункты по порядку обсуждения, у каждого — статус, решения, поручения.

Разница между запросами — четыре строки. Разница в результате оказалась в том, можно ли пользоваться протоколом вообще.

Где ломалась наивная рука

Одинаково во всех трёх прогонах, и это важнее самого факта провала: ошибки не случайные, а системные.

Размытый срок стал конкретной датой. В расшифровке прозвучало «постараюсь сегодня-завтра». В протоколе появилось «Срок: 4 сентября». Никто этой даты не называл. Через неделю по такому протоколу можно предъявить невыполнение срока, которого не было.

Нераспределённое поручение получило исполнителя. На вопрос «это ко мне или к Игнатьеву» руководитель ответил «разберитесь между собой» — то есть распределение не состоялось. В протоколе поручение назначено на конкретного человека. Это худшая из четырёх ошибок: она выглядит как решение начальника, которого начальник не принимал.

Перенесённое обсуждение стало решением. Третий вопрос закрылся словами «вернёмся к этому позже, времени нет». В протоколе он оформлен как «Решено разработать единую форму» с ответственным.

Появилось поручение, которого не давали. Идея формы прозвучала как предположение («может, форму сделать?») и тут же встретила возражение («кто её будет вести»). В протоколе она превратилась в задачу.

Общее у всех четырёх: модель заполняет пустое поле правдоподобным. Протокол с незаполненным сроком выглядит недоделанным, с проставленным — готовым. Оптимизируя на «выглядит готовым», модель делает документ, которым нельзя пользоваться.

Что дала рука по методу

Все три прогона прошли чек-лист. В протоколе появились строчки, которых не бывает в автоматическом пересказе:

Поручение 2.2: проработать альтернативу по плёнке. Исполнитель: не назван — сказано «разберитесь между собой», распределение не зафиксировано.

3. Заявки на канцелярию. Не закрыт. Обсуждение перенесено. Решения нет, поручений нет.

Такой протокол выглядит хуже: в нём видны дыры. Именно поэтому им можно пользоваться — дыры на совещании были, и документ обязан их показать, а не заровнять.

Изъян этого прогона, который надо назвать

Исполнитель знал чек-лист заранее. Обе руки выполняла одна и та же модель, знавшая, по каким пунктам её будут проверять. Это может подтягивать наивную руку вверх — а значит, реальная разница не меньше измеренной, но может быть и больше.

Что с этим делать в следующих прогонах: писать чек-лист и выполнять руки в разных сессиях, без передачи чек-листа исполнителю. В этом прогоне так не сделано, и результат нужно читать с этой оговоркой.

Второе ограничение: три повтора — мало. Три достаточно, чтобы увидеть системную ошибку, повторяющуюся дословно, и недостаточно, чтобы говорить о частоте. Поэтому здесь написано «не прошла ни разу из трёх», а не «наивный запрос не работает».

Третье: задача выбрана такой, чтобы ловушки в ней были. На тексте без пропущенных исполнителей и сроков разница была бы меньше или её не было бы вовсе.

Что спрашивали

Наивная рука: «Сравни эти две редакции договора и покажи, что изменилось».

Рука по методу: роль юриста-аналитика, опора только на приложенный текст, требование привязать каждое различие к номеру пункта и процитировать обе формулировки, отдельным пунктом перечислить то, что НЕ изменилось, и явный запрет оценивать выгодность.

Честный результат: разницы почти нет

Это тот случай, ради которого контрольная рука и существует. Наивный запрос отработал две попытки из трёх наравне с методом: обе руки нашли изменение срока оплаты, ставки пени, срока претензий и автопролонгацию.

Сравнение двух текстов — механическая работа, и модели она даётся хорошо сама по себе. Утверждать здесь, что «метод даёт результат», было бы натяжкой.

Что метод всё-таки дал

Пункт «что не изменилось». Наивная рука не сообщает о нём никогда — её об этом не просили. Для читателя это существенно: он не может отличить «пункт 5.1 остался прежним» от «пункт 5.1 не проверяли». Метод требует этой строки явно, и она появляется во всех трёх прогонах.

Снятие верхнего предела пени. В одном прогоне наивная рука подала изменение п. 4.5 как рост ставки с 0,05% до 0,1% — и не отметила, что из пункта исчезло ограничение «не более 10% от суммы договора». Рост ставки вдвое заметен, снятие потолка — нет, хотя по деньгам второе опаснее: пеня перестаёт быть ограниченной сверху вообще.

Вывод, который не хотелось писать

На этой задаче метод не выигрывает. Он добавляет две вещи — отметку о неизменном и привязку к пунктам, — и этого мало, чтобы говорить о разнице при трёх повторах.

Задача остаётся в стенде именно поэтому: если в следующих прогонах разрыв не появится, честный вывод будет звучать так — «для сравнения документов метод избыточен, достаточно попросить формат ответа». Стенд, в котором метод всегда побеждает, не измеряет ничего.

Что спрашивали

Наивная рука: «Посчитай общий итог по этой выгрузке и сделай разбивку по менеджерам и по каналам».

Рука по методу: роль аналитика, задача — не выдать числа, а дать формулу для таблицы (с указанием диапазонов) и правило проверки: итог по менеджерам и итог по каналам обязаны совпасть с общим, число строк в разбивке — с числом строк выгрузки. Формат: формулы плюс порядок сверки.

Где ломалась наивная рука

Два прогона из трёх дали расхождение между общим итогом и суммой по менеджерам. Расхождение небольшое — одна строка выгрузки, — и в этом главная опасность: грубую ошибку видно сразу, а несходимость на несколько процентов выглядит как результат округления и уезжает дальше по почте.

Ни в одном прогоне наивная рука не предложила способ проверить цифру. Ответ состоял из готовых чисел, поданных ровным уверенным тоном — тем же самым, каким подаётся и правильный ответ.

Почему метод выигрывает не тем, чем кажется

Не потому, что модель «считает точнее с хорошим запросом». Потому, что по методу она не считает вообще. Ответ выглядит так:

Общий итог: =СУММ(E2:E11) По менеджерам: =СУММЕСЛИ(C2:C11; "Смирнова"; E2:E11) и так по каждому Проверка: сумма по менеджерам должна равняться общему итогу; сумма по каналам — тоже; число строк в разбивке — числу строк выгрузки

Арифметику выполняет таблица, у которой с арифметикой всё в порядке. Модель делает то, что умеет: превращает задачу словами в формулу.

Отсюда правило, которое стоит запомнить отдельно от всего метода: просите формулу, а не результат. Оно работает и без остальных трёх шагов.

Ограничения этого прогона

Три повтора мало: «два раза из трёх» означает, что ошибка системная, но её частоту по трём попыткам назвать нельзя. Выгрузка короткая — десять строк; на сотне строк наивная рука ошибалась бы чаще, и разрыв был бы больше, но и проверять пришлось бы дольше.

Как и в первой задаче, исполнитель знал чек-лист заранее — оговорка та же.