LLM-роутер для разработчиков
Relay
Под капотом Relay работает собственный LLM-шлюз на Go. Он принимает запросы от Claude Code, Codex и других клиентов, выбирает маршрут к модели, передаёт потоковый ответ и учитывает расход. Витрина, документация и кабинет работают вокруг этого шлюза.
- Для кого
- Разработчики и команды, подключающие модели к агентам и приложениям
- Стек
- Go, Next.js, PostgreSQL, Valkey, River
Свой шлюз, три формата API
Relay поддерживает OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Через него можно подключить редактор, агента или своё приложение. Шлюз проверяет ключ, выбирает допустимый маршрут к провайдеру и передаёт ответ в формате клиента. В каталоге есть модели для текста, изображений и видео.
Маршруты, лимиты и списания
Для модели можно использовать основной и резервный маршруты. До запроса Relay проверяет баланс и лимиты ключа, затем резервирует средства. После ответа учитывает расход по данным провайдера. У клиента общий баланс, при этом лимиты и статистику можно вести отдельно по ключам.
Что работает вокруг шлюза
Шлюз, API кабинета и фоновые задачи работают как отдельные роли одного Go-сервиса. PostgreSQL хранит денежные операции, Valkey используется для кэша и лимитов частоты, River запускает синхронизацию каталога и сверку платежей. На Next.js работают публичная витрина, документация, кабинет и админка.