Что перестало быть правдой

Заработал стенд. Каждая задача выполняется двумя руками — обычным запросом и запросом по методу — на одной модели, три прогона на руку, по чек-листу, написанному до прогона. Синтетика лежит в репозитории открыто.

Результаты первого прогона.

Протокол совещания: обычный запрос не прошёл чек-лист ни разу из трёх, метод прошёл все три. Ошибки обычного запроса одинаковые от прогона к прогону — модель заполняет пропуски правдоподобным: размытое «сегодня-завтра» превращается в конкретную дату, нераспределённое поручение получает исполнителя, перенесённое обсуждение оформляется как решение.

Сводка по выгрузке: один прогон из трёх против трёх из трёх. Метод выигрывает не потому, что модель «считает точнее», а потому что по методу она не считает вовсе — отдаёт формулу для таблицы, а складывает сама таблица.

Сравнение двух редакций договора: два прогона из трёх против трёх из трёх. Разница на грани различимости, и при трёх повторах она ничего не доказывает. Сравнение текстов — как раз то, что модели даётся хорошо и без всякого метода. Если в следующих прогонах разрыв не появится, честный вывод будет такой: для сравнения документов метод избыточен, достаточно попросить формат ответа.

Изъян, который надо назвать. Обе руки выполняла одна модель, знавшая чек-лист заранее. Это может подтягивать наивную руку вверх — значит, реальная разница не меньше измеренной, но может быть и больше. В следующем прогоне чек-лист и выполнение разводятся по разным сессиям.

Проверка того, что каталог не устаревает молча, была написана месяц назад и всё это время не срабатывала. Просрочка засчитывалась, только если у карточки заполнены разобранные тарифы или режимы — а заполнены они у двух карточек и у одной. Остальные двадцать три не могли протухнуть никогда: их утверждения жили под свежей датой без всякого шанса на перепроверку.

Дефект нашёлся не сам: он всплыл при разборе сайта как продукта, когда понадобилось честно ответить, чем этот ресурс отличается от каталогов, живущих на партнёрских ссылках. Ответ «у нас есть срок годности» оказался неверным.

Что сделано. Просрочка теперь считается по факту утверждения, а не по форме, в которой оно записано. Добавлена группа «доступ»: барьеры сети, регистрации и оплаты меняются быстрее цен и без предупреждения, а срока годности у них не было вообще. Просроченное поле перестаёт печататься фактом и заменяется строкой о том, что срок проверки истёк.

Что это меняет для читателя. Цифра на карточке теперь либо свежая, либо её нет. Устаревшая цена под свежей датой вреднее отсутствующей: ей верят.

Библиотека промптов открыта целиком

Тридцать восемь промптов из шестидесяти стояли за воротами. Ворота были поставлены на самом копируемом активе, который здесь есть: любой закрытый промпт воспроизводится за десять минут тем, кто прочитал открытые. При этом уникальное — границы применимости и места, где промпт ломается, — отдавалось даром.

Плюс к этому продажи закрыты фичефлагом до вычитки оферты юристом, то есть купить доступ к закрытой части всё равно было нельзя. Ворота не защищали ничего и мешали единственному, ради чего библиотека существует.

Снят приём заявок по адресу, о котором никто не знал

На странице /dvoyniki работала форма заявки, а ссылок на неё не было ни одной. Обращения могли приходить туда, где их никто не ждёт. Адрес переведён на постоянный редирект.

Убрано обещание, которого не было

В служебной части страниц Telegram назывался основным каналом проекта, при этом ссылки на канал нет нигде на сайте. Формулировка исправлена: обещать канал, которого читатель не может найти, хуже, чем не обещать ничего.