Этот список проходят по конкретной версии behavior manifest перед запуском. Галочка без ссылки на тест, dashboard, policy или владельца ничего не доказывает.
Перед запуском LLM-фичи в production проверьте:
Use case
Data and context
Prompt and output
Backend integration
Quality
Agents and tools
Cost
Operations
People
Как пользоваться этим чеклистом
Чеклист нужен не для бюрократии перед релизом, а для проектирования. Первый раз пройдитесь по нему до разработки: половину пунктов дешевле закрыть на этапе дизайна. Второй раз — перед запуском. Третий — через месяц после запуска, когда уже видно, срабатывает ли alerting в реальности.
Незакрытый пункт нельзя прятать под «потом доделаем». Это осознанно принятый риск. Запишите: что может случиться, насколько вероятно, кто решил жить с этим.
Практикум
Задача 58.1: аудит боевой фичи. ⭑⭑
Возьмите свою рабочую LLM-фичу (или результат задач 24.1–24.2, доведённый до «почти прода»). Пройдите весь чеклист честно, без «ну почти есть».
Критерии приёмки:
Подсказки:
- Самые частые провалы аудита: «Quality» (golden dataset есть у единиц) и «Cost» (лимиты «где-то в биллинге провайдера»). Начните с них.