ускорение fast-path: ~31 мс вместо ~2575 мс
Когда AI нельзя выпускать вслепую
AI-функция,
которая не подводит
в проде
Если LLM-фича должна помогать продукту, а не создавать новые риски, ей недостаточно хорошего prompt. Нужны маршрутизация, tools, память, проверка поведения и контроль стоимости — с моделью только там, где действительно нужен reasoning.
- Routing ×80 Быстрый и одинаковый ответ известный триггер выполняется до модели
- Agents Агенты с понятной зоной ответственности узкий набор tools, function calling
- Memory 24 → 15 Память без устаревших и дублирующихся фактов working TTL ↔ long-term recall, дедупликация
- Evals 2454 Проверка целого сценария до релиза диалог · routing · tool call · запись в БД
- Prompts −22% Стоимость без потери критичных правил стабильный prefix, сжатие после проверки правил
Слой системы
Метрика из production
Все станции — из кейса Jarwis
Карта рисков
У LLM-фичи ломается не только ответ модели
Ниже — контуры, которые закрывают разные классы отказов: от неверного маршрута и устаревшей истории до цены каждого input-токена.
- Запрос не уходит в универсальный prompt Coordinator определяет путь запроса; специализированные агенты получают узкую зону ответственности.
- Нужное действие не остаётся на усмотрение модели Function calling к domain-сервисам: чтение и структурированная запись вместо свободного текста в ответе.
- История не подменяет актуальный контекст Working memory хранит контекст с TTL. Long-term отвечает за recall, нормализацию и дедупликацию фактов.
- Критичный ответ не зависит от случайности модели Известные триггеры выполняются до модели: ~31 мс вместо ~2575 мс и ноль LLM-вызовов на известном пути.
- Регрессия ловится до пользователя Проверяется не «хороший ответ», а цепочка: диалог → routing → tool call → запись в БД. Сценарии строятся из реальных ошибок.
- Стоимость и latency — видимая часть решения Cache-first prompts и разделение static/dynamic частей сохраняют prefix cache и снижают стоимость input-токенов.
Контуры надёжности
Как снижаю главные риски AI-фичи
-
01
Сначала риск для продукта, потом модель. Галлюцинация tool call, устаревшая история или деградация cache формируют архитектуру, а не становятся сюрпризом после релиза.
-
02
Детерминированно там, где цена ошибки высока. Код до модели даёт быстрый, одинаковый и проверяемый результат там, где он нужен пользователю.
-
03
Стоимость и задержка видны до масштабирования. Latency, стоимость input-токенов и качество сценариев — метрики первого класса, а не догадки «на глаз».
-
04
Пользовательский сценарий — тестируемый контракт. Сценарий, воспроизводящий реальную ошибку, ценнее unit-теста на отдельную функцию.
Не демо: кейс с ценой, скоростью и качеством
Jarwis — production AI-ассистент в Telegram. В кейсе разобраны четыре риска, инженерные решения и их последствия: latency, стоимость, качество и границы каждого компромисса.
cache hit — около −22% input cost
автоматических теста в 277 suites · 2 бага до релиза
Telegram · текст · голос · PDF
TypeScript / Node.js
PostgreSQL + pgvector
Multi-provider LLM API
Инженерная база
AI не становится надёжнее без инженерной базы
Angular 8 → 21, четыре приложения и shared UI-библиотека сформировали привычки, которые нужны AI-системе: контракты, проверяемость и эксплуатация.
Frontend-основаниеСледующий шаг
Хотите понять, где LLM действительно принесёт пользу?
Проектная / частичная занятость, удалённо. Резюме — по запросу.