На каком уровне эта фича

Идея

0 из 5 подтверждено

«У нас уже GPT в продукте»Вызов к провайдеру воспроизводится не только на машине автора фичи.гл. 4
«Оно отвечает»Ответ модели кто-то сравнил с тем, что ждал потребитель этого ответа.гл. 6
«Промпт подобран»Текст промпта лежит в репозитории, а не в переписке и не в голове.гл. 1
«Стоит копейки»Кто-то посчитал токены одного запроса и одного ответа на реальных данных.гл. 3
«С ключами всё нормально»Ключа нет ни в репозитории, ни в коде, который уезжает в браузер.гл. 4

Протокол

0 из 6 подтверждено

«Обернули в FastAPI»У входа и выхода есть схема, и она проверяется до того, как ответ уйдёт дальше.гл. 8
«Ответ мы разбираем»Невалидный ответ не роняет процесс и не доезжает до потребителя сырым текстом.гл. 11
«Ретраи стоят»Retry ограничен, timeout выставлен, 429 обработан отдельно от 500.гл. 27
«Логи пишем»По одному вызову видно версию промпта, стоимость и чем он кончился.гл. 28
«Тяжёлое ушло в фон»Задача переживает перезапуск воркера и не создаёт второй платный вызов.гл. 15
«Ошибку показываем»Пользователь получает понятный отказ, а не трассировку провайдера.гл. 12

Тест

0 из 6 подтверждено

«Мы сделали агента»Есть список задач, где модель сознательно не используется, и он не пустой.гл. 2
«Модель сама разберётся»Тарифы, правила и права лежат в коде и в источнике истины, а не в промпте.гл. 5
«Даём ей весь контекст»У каждого источника контекста есть лимит и человек, который за него отвечает.гл. 18
«Взяли модель посильнее»Для этого шага измерено, справляется ли модель дешевле.гл. 45
«Разбили на агентов»Каждый шаг пайплайна объясняется без слова «агент» и без слова «магия».гл. 13
«Это дешевле, чем нанимать»Для оставшихся вызовов названа цена ошибки и тот, кто её оплачивает.гл. 47

Прод

0 из 7 подтверждено

«У нас есть evals»Golden set гоняется до релиза и ловит регрессию без участия автора промпта.гл. 38
«Промпт версионируется»По версии можно поднять, что увидел пользователь и какие данные вошли в вызов.гл. 58
«Модель поменяем за час»Смена модели проходит через eval, а не через ощущение дежурного.гл. 38
«Бюджет под контролем»Лимит останавливает вызовы в коде. Не в отчёте и не в чате.гл. 44
«PII мы не отдаём»Redaction проверена на реальных обращениях, а не на трёх придуманных примерах.гл. 29
«Агент ограничен»У агента названы права и радиус ущерба, который он способен нанести.гл. 32
«Injection нам не страшен»Ущерб от injection ограничен кодом, а не вежливой строкой в промпте.гл. 41

Идея

0 из 5 подтверждено

«У нас уже GPT в продукте»Вызов к провайдеру воспроизводится не только на машине автора фичи.гл. 4
«Оно отвечает»Ответ модели кто-то сравнил с тем, что ждал потребитель этого ответа.гл. 6
«Промпт подобран»Текст промпта лежит в репозитории, а не в переписке и не в голове.гл. 1
«Стоит копейки»Кто-то посчитал токены одного запроса и одного ответа на реальных данных.гл. 3
«С ключами всё нормально»Ключа нет ни в репозитории, ни в коде, который уезжает в браузер.гл. 4

Протокол

0 из 6 подтверждено

«Обернули в FastAPI»У входа и выхода есть схема, и она проверяется до того, как ответ уйдёт дальше.гл. 8
«Ответ мы разбираем»Невалидный ответ не роняет процесс и не доезжает до потребителя сырым текстом.гл. 11
«Ретраи стоят»Retry ограничен, timeout выставлен, 429 обработан отдельно от 500.гл. 27
«Логи пишем»По одному вызову видно версию промпта, стоимость и чем он кончился.гл. 28
«Тяжёлое ушло в фон»Задача переживает перезапуск воркера и не создаёт второй платный вызов.гл. 15
«Ошибку показываем»Пользователь получает понятный отказ, а не трассировку провайдера.гл. 12

Тест

0 из 6 подтверждено

«Мы сделали агента»Есть список задач, где модель сознательно не используется, и он не пустой.гл. 2
«Модель сама разберётся»Тарифы, правила и права лежат в коде и в источнике истины, а не в промпте.гл. 5
«Даём ей весь контекст»У каждого источника контекста есть лимит и человек, который за него отвечает.гл. 18
«Взяли модель посильнее»Для этого шага измерено, справляется ли модель дешевле.гл. 45
«Разбили на агентов»Каждый шаг пайплайна объясняется без слова «агент» и без слова «магия».гл. 13
«Это дешевле, чем нанимать»Для оставшихся вызовов названа цена ошибки и тот, кто её оплачивает.гл. 47

Прод

0 из 7 подтверждено

«У нас есть evals»Golden set гоняется до релиза и ловит регрессию без участия автора промпта.гл. 38
«Промпт версионируется»По версии можно поднять, что увидел пользователь и какие данные вошли в вызов.гл. 58
«Модель поменяем за час»Смена модели проходит через eval, а не через ощущение дежурного.гл. 38
«Бюджет под контролем»Лимит останавливает вызовы в коде. Не в отчёте и не в чате.гл. 44
«PII мы не отдаём»Redaction проверена на реальных обращениях, а не на трёх придуманных примерах.гл. 29
«Агент ограничен»У агента названы права и радиус ущерба, который он способен нанести.гл. 32
«Injection нам не страшен»Ущерб от injection ограничен кодом, а не вежливой строкой в промпте.гл. 41

На каком уровне эта фича

Идея

Протокол

Тест

Прод

Если разрыв дорогой,
напишите про эту фичу

На каком уровне эта фича

Идея

Протокол

Тест

Прод

Если разрыв дорогой,
напишите про эту фичу

На каком уровне эта фича

Если разрыв дорогой,напишите про эту фичу

На каком уровне эта фича

Если разрыв дорогой,напишите про эту фичу

Если разрыв дорогой,
напишите про эту фичу

Если разрыв дорогой,
напишите про эту фичу