Протокол замера
Про ИИ много рассказывают и почти ничего не измеряют. «Ускорили работу в три раза» — это не результат, а впечатление: непонятно, что именно измеряли, сколько раз, и сколько времени ушло на то, чтобы этот эффект получить.
Протокол описывает, как замерить эффект так, чтобы числу можно было верить — и чтобы читатель мог повторить замер у себя. Стандарт открытый: пользуйтесь, ссылка на нас не обязательна.
Одиннадцать обязательных полей
Замер, в котором пропущено хоть одно, публиковать нельзя — не потому что так принято, а потому что каждое из них закрывает конкретный способ обмануть себя.
| Задача | Одна конкретная операция: «разобрать входящие за неделю». Формулировка вроде «работа с почтой» слишком широка — под неё потом подбирается удобное сравнение. |
|---|---|
| Роль | Кто выполняет. Один и тот же приём даёт разный эффект у новичка и у человека, который делает это десять лет. |
| Базовая линия | Сколько занимала операция до, среднее не менее чем по пяти повторам, и кто замерял. По одному разу мерить бесполезно: разброс между итерациями обычно больше эффекта. |
| Качество до | Чеклист приёмки и доля результатов, которые пришлось переделывать. Без этого «быстрее» ничего не значит: быстрее можно сделать и хуже. |
| Что внедрили | Инструмент, цепочка запросов, точки проверки человеком. Настолько подробно, чтобы читатель мог повторить. |
| Время внедрения | Часы на подготовку контекста и настройку. Это цена, которую все забывают учесть: приём, экономящий десять минут в неделю ценой двадцати часов настройки, окупится через два года. |
| Результат | Время после, доля результатов без правок, сколько раз потребовалось вмешательство. |
| Модели | На каких проверено, отдельно доступные из России и зарубежные. Приём, который работает только там, где вы не можете зарегистрироваться, вам не поможет. |
| Что не получилось | Обязательное поле. Замер без единой неудачи — это реклама: за месяц работы что-то обязательно сломалось, и знать об этом полезнее, чем об успехе. |
| Границы применимости | Где это точно не сработает. Экономит читателю неделю на попытке применить приём там, где он не работает. |
| Кто и когда | Имя и дата — чтобы замер можно было перепроверить и чтобы было видно, не устарел ли он. |
Четыре способа обмануть себя
Замерять после, но не до
Самая частая ошибка. «Раньше это занимало полдня» — это воспоминание, а не измерение, и оно почти всегда завышено в свою пользу.
Не считать проверку
Ответ получен за минуту, но вычитывался пятнадцать. В замер входит полное время до готового к отправке результата. Время до первого ответа модели тут ничего не значит.
Мерить на удобном примере
Показательный документ подбирается сам собой. Берите подряд идущие задачи из своей недели, включая неудобные.
Забывать про стоимость внедрения
Часы на сбор контекста, шаблонов и правил — часть цены. Без них экономия выглядит бесплатной, хотя она куплена.
Как замерить у себя
- step_01 Выберите одну операцию, которая повторяется хотя бы раз в неделю
- step_02 Пять раз подряд сделайте её как обычно, с секундомером. Запишите каждое время отдельно
- step_03 Зафиксируйте, по каким признакам результат считается приемлемым
- step_04 Соберите решение и запишите, сколько часов на это ушло
- step_05 Ещё пять раз сделайте ту же операцию с решением — считая время на проверку
- step_06 Прогоните на модели, доступной из России, и запишите разницу
- step_07 Отдельно выпишите, что не получилось и где приём не сработает
Зачем это нам
Мы публикуем свои замеры по этому же протоколу — со всеми провалами и границами. Если найдёте ошибку в методике или в цифрах, напишите: hello@neirocampus.ru. Исправленный замер полезнее красивого.