Книга «AI/LLM-интеграции»

Войти по поломке

• На демо работало, в проде нет
• Свободный текст ломает backend
• Нет следа вызова
• Счёт вырос без расчёта

Часть 1. База без самообмана

Часть закладывает ментальную модель, без которой остальная книга превращается в набор рецептов: что такое LLM-интеграция как система, где модель уместна, как думать о токенах и почему «оно отвечает» не значит «оно работает».

1. Глава 1Что такое LLM-интеграция на самом деле
2. Глава 2Где LLM уместна, а где вы просто усложняете систему
3. Глава 3Ментальная модель токенов, контекста и вероятностного ответа
4. Глава 4Первый API-вызов: OpenAI, Anthropic и совместимые провайдеры
5. Глава 5Prompt как интерфейс, а не заклинание
6. Глава 6Ошибки новичков: «оно вроде отвечает» — не значит «оно работает»

Часть 2. Контракты и structured output

Свободный текст убивает backend. Эта часть переводит ответ модели в схему, валидацию, repair loop и API-слой, который переживает почти правильный JSON.

1. Глава 7Почему свободный текст убивает backend-интеграции
2. Глава 8JSON Schema, Pydantic и строгие контракты ответа
3. Глава 9Structured output: режимы, ограничения, ретраи, repair loop
4. Конспект · Глава 10Tool/function calling: когда модель выбирает действие
5. Глава 11Валидация, нормализация, отказоустойчивость
6. Глава 12Проектирование API-слоя вокруг модели

Часть 3. LLM-пайплайны

Один большой промпт не пайплайн. Часть разбирает шаги, очереди Celery и Redis, идемпотентность и роли router/evaluator без театра.

1. Глава 13Pipeline вместо одного большого промпта
2. Глава 14Классификация, извлечение, преобразование, генерация, проверка
3. Глава 15Асинхронные пайплайны через Celery и Redis
4. Глава 16Idempotency, retries, deduplication и сохранение промежуточных состояний
5. Глава 17Router, evaluator, critic, judge: когда эти роли нужны, а когда это театр

Часть 4. Контекст, RAG и данные

Контекст дефицитен. Часть снимает магию с retrieval, chunking, pgvector и прав доступа, чтобы не построить дорогую поисковую помойку.

1. Конспект · Глава 18Контекст как дефицитный ресурс
2. Конспект · Глава 19Retrieval-Augmented Generation без магии
3. Конспект · Глава 20Chunking, embeddings, hybrid search, reranking
4. Глава 21PostgreSQL, pgvector и хранение артефактов LLM-вызовов
5. Конспект · Глава 22Документы, права доступа и multi-tenant безопасность
6. Конспект · Глава 23Как не построить дорогую поисковую помойку

Часть 5. Интеграция в backend

Как выглядит LLM-сервис на FastAPI, где полезна абстракция провайдера, как переживать лимиты и как не отдавать PII. Django вынесен отдельной картой переноса.

1. Глава 24Архитектура LLM-сервиса на FastAPI
2. Конспект · Глава 25Провайдеры: OpenAI, Anthropic, Gemini, локальные модели и gateways
3. Конспект · Глава 26Абстракция модели: где полезна, где вредна
4. Глава 27Rate limits, timeouts, circuit breakers
5. Глава 28Observability агента: логи, traces, метрики и версии
6. Конспект · Глава 29Secrets, PII, compliance и юридически неприятная реальность
7. Глава 30Отдельная глава: LLM-интеграция в Django-проекте

Часть 6. Агентные системы

Агент это цикл observe-decide-act-verify с правами и blast radius, а не сотрудник в чате. Часть отделяет рабочий loop от multi-agent theatre.

1. Глава 31Что такое агент без маркетингового дыма
2. Конспект · Глава 32Loop: observe → decide → act → verify
3. Глава 33Durable state, memory, compaction и checkpoint/resume
4. Конспект · Глава 34Single-agent workflows против multi-agent theatre
5. Конспект · Глава 35Human-in-the-loop и контроль опасных действий
6. Глава 36Sandbox, permissions, audit log и blast radius

Часть 7. Качество, evals, безопасность

Ручная проверка промпта ловушка. Нужны golden set, регрессия, калибровка судьи, ограничение ущерба от галлюцинаций и защита от injection.

1. Конспект · Глава 37Почему ручное тестирование промптов является ловушкой
2. Глава 38Evals: golden datasets, regression tests, adversarial cases
3. Конспект · Глава 39LLM-as-judge: польза, риски, калибровка
4. Конспект · Глава 40Hallucination management: не «убрать», а ограничить ущерб
5. Конспект · Глава 41Prompt injection, data exfiltration, tool abuse
6. Конспект · Глава 42Версионирование промптов, моделей и данных

Часть 8. Стоимость, производительность и экономика

Стоимость считают до запуска. Бюджет живёт в коде. Маленькая модель идёт первой. Unit economics AI-фичи не строится на самообмане.

1. Глава 43Как считать стоимость токенов до запуска
2. Глава 44Token budget как архитектурное ограничение
3. Глава 45Model routing: маленькая модель сначала, большая: только когда надо
4. Конспект · Глава 46Caching, batching, streaming, distillation, fine-tuning
5. Конспект · Глава 47Unit economics AI-фичи без самообмана

Часть 9. Практические кейсы

Поддержка, извлечение документов, copilot в админке, back-office агент, контентный pipeline и путь от игрушечного прототипа к сервису.

1. Конспект · Глава 48AI-помощник поддержки
2. Конспект · Глава 49Извлечение данных из документов
3. Конспект · Глава 50Copilot внутри админки
4. Конспект · Глава 51Агент для back-office операций
5. Конспект · Глава 52Контентный pipeline с проверкой фактов
6. Конспект · Глава 53Миграция от игрушечного прототипа к production-сервису

Часть 10. Карта эксперта

Зрелость это не число агентов. Система оставляет след, ограничивает ущерб и проходит проверку на собственном workload. Финальный checklist нужен до инцидента.

1. Конспект · Глава 54Архитектурные паттерны зрелых LLM-систем
2. Конспект · Глава 55Антипаттерны: где команды сжигают деньги и доверие
3. Конспект · Глава 56Как выбирать модели и провайдеров без религиозной войны
4. Конспект · Глава 57Что должен уметь сильный LLM/backend engineer
5. Глава 58Production readiness checklist