Триаж тикетов поддержки
Классификация, контракт, evals, промпт, routing.
Классификатор с контрактом, golden dataset, регрессионными evals, вычищенным промптом, каскадным роутингом и деградацией.
Задачи книги нарочно без ответов. Критерии приёмки говорят, когда задача сдана. Код пишете вы. Два стержня собирают главы в один репозиторий, который можно показать.
Константин Потапов
Классификация, контракт, evals, промпт, routing.
Классификатор с контрактом, golden dataset, регрессионными evals, вычищенным промптом, каскадным роутингом и деградацией.
Архитектура, пайплайн, бюджет, эксплуатация.
Production-каркас с реестром промптов, логом вызовов, Celery-пайплайном, бюджетами с enforcement и хаос-тестами.
⭑ вечер, ⭑⭑ день-два, ⭑⭑⭑ мини-проект. Это оценка труда, не титул. Зрелость фичи живёт на странице «Уровень».
вечер
Вы можете за 15 минут объяснить коллеге, почему «оно отвечает» не равно «оно работает», с примерами из своих прогонов.
Чувство «чего не хватает до прода»
Трезвость: где LLM не нужна
Интуиция про токены и стоимость
Понимание вероятностной природы
Калибровка ожиданий от словесных защит
Прививка от парсинга регулярками
Проектирование контрактов
день или два
Сквозной проект работает end-to-end, и по логам видно: что случилось с запросом, сколько он стоил, какая версия prompt его обработала.
Первый полный цикл: контракт + валидация + fallback
Граница «модель интерпретирует, код решает»
Правильная абстракция, error mapping
Наблюдаемость с первого дня
Промпт-инжиниринг по данным, а не по страху
Prompt как код: версии, ревью, diff
Распознавание всех типовых ошибок разом
Самодиагностика до инцидента
Схема из нужд downstream, а не фантазий
Structured output на граничных случаях
Провайдерные режимы structured output
Проектирование пайплайнов
Очереди, приоритеты, rate limits
RAG-хранилище с ACL
Архитектура, слои, llm_call_log
Celery, идемпотентность, статусы
Fallback-цепочки
Интеграция в монолит
Агентный loop своими руками
Ограничения вместо заклинаний
Evals как CI
Зачем нужна разбивка по тегам
Экономика до запуска
Token budget в коде, а не в Google Doc
Model routing, калибровка confidence
«Дешёвая из достаточных» на измерениях
Production readiness как практика
несколько дней, мини-проект
Система переживает хаос-тесты, а смена промпта и модели проходит через evals. Вы можете провести аудит 58.1 чужой фичи, не заглядывая в книгу.
Полная схема обороны structured output
Измеримое сравнение архитектур
Конечный автомат, retry шага, idempotency
Эксплуатация RAG в реальности
Timeouts, лимитер, retry, circuit breaker под нагрузкой
Human-in-the-loop, защита от дублей
Миграция моделей по данным, а не ощущениям
Калибровка экономической модели
Пожарные учения для бюджетов
Учебный репозиторий не обязателен. Напишите про одну фичу, которая уже стоит денег.
Написать про разбор