Как я подключил 350+ AI-моделей через один API и перестал переписывать интеграции

Привет! Меня зовут Никита, я backend-разработчик, пишу на Go и PHP. Делаю свой продукт — AI-gateway, через который прошло 2M+ запросов к LLM за последние месяцы. В этой статье расскажу, зачем я его написал, покажу архитектуру и код, и честно объясню, где набил шишки.

Проблема, которую решаю: вы интегрировали OpenAI, потом понадобился Claude, потом заказчик хочет YandexGPT «потому что российское», а DeepSeek дешевле всех — и вот у вас четыре SDK, четыре формата ответов, четыре системы биллинга и ни одного нормального fallback'а.

Зоопарк LLM в 2026

Если вы уже в теме — смело пролистайте до «Проблема: каждый провайдер — свой мир»

Ещё в 2023 мир LLM был простым: GPT-4 для сложного, GPT-3.5 для дешёвого, done. Сегодня:

Таблица актуальна на апрель 2026

Плюс open-source модели на HuggingFace (500K+ моделей) и локальный запуск через Ollama (тема для отдельной статьи).

Три тренда, важных для архитектуры:

• Мультимодальность. GPT-5, Gemini, Claude умеют vision и image generation. API должен прозрачно передавать image_url в messages.
• Reasoning. OpenAI o3, DeepSeek R1 — модели с цепочкой рассуждений. В 3-5 раз медленнее, но точнее для математики. Gateway должен знать их особенности.
• Параметры LLM. Кроме temperature есть top_p, frequency_penalty, stop, response_format. Не все провайдеры поддерживают все.

Почему OpenAI API стал стандартом

Формат оказался настолько удачным, что его скопировали почти все: messages (массив {role, content}), model (строка), stream (boolean). Это стало lingua franca мира LLM. Любой существующий код работает без изменений — меняется только base_url.

Проблема: каждый провайдер — свой мир

Пять провайдеров — пять интеграций, пять обработчиков ошибок, пять форматов стриминга.

Решение: OpenAI-совместимый gateway на Go

Назвал его НейроГейт. Идея простая: один API, один формат, один ключ.

С точки зрения вашего кода — вы работаете с OpenAI SDK:

import openai

client = openai.OpenAI(
    api_key="ng-proj-ваш-ключ",
    base_url="https://api.neuralgate.ru/v1"
)

# Работает одинаково для любой модели
response = client.chat.completions.create(
    model="claude-sonnet-4-20250514",
    messages=[{"role": "user", "content": "Привет!"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end="")

Go-версия — аналогично:

cfg := openai.DefaultConfig("ng-proj-ваш-ключ")
cfg.BaseURL = "https://api.neuralgate.ru/v1"
client := openai.NewClientWithConfig(cfg)

stream, err := client.CreateChatCompletionStream(ctx, openai.ChatCompletionRequest{
    Model:    "yandexgpt-pro",
    Messages: []openai.ChatCompletionMessage{{Role: "user", Content: "Привет!"}},
})

Меняется одна строка — BaseURL. Всё остальное — ваш существующий код.

Стек

• Go — gateway на :443, прямой TLS без Nginx, HTTP/2 native
• PostgreSQL — организации, API-ключи, usage logs, модели, биллинг
• Redis (Sentinel) — rate limiting (sliding window), кэш токенов
• Prometheus + Grafana — метрики, алерты

Почему без Nginx? Nginx добавляет latency на каждом SSE-чанке. Для 500 параллельных стримов по 10-60 секунд — ощутимо. Go'шный crypto/tls справляется.

Архитектура роутинга

Auth

Ключ формата ng-proj-{32 hex}. Зарегистрирован как GitHub secret scanning prefix — если ваш ключ утечёт в публичный репо, GitHub автоматически уведомит нас.

Rate Limiting

Sliding window на Redis через ZRANGEBYSCORE + ZADD. RPM и TPM per key. Redis down — in-memory fallback:

func (rl *RateLimiter) Allow(ctx context.Context, key string, limit int, window time.Duration) bool {
    allowed, err := rl.redisAllow(ctx, key, limit, window)
    if err != nil {
        // Redis down — лучше пропустить лишний запрос, чем заблокировать всех
        rl.metrics.RedisFailover.Inc()
        return rl.memoryAllow(key, limit, window)
    }
    return allowed
}

Translate

Каждый провайдер имеет свой Translator:

type Translator interface {
    TranslateRequest(ctx context.Context, req *ChatCompletionRequest) (*http.Request, error)
    TranslateResponse(resp *http.Response) (*ChatCompletionResponse, error)
    TranslateStream(ctx context.Context, resp *http.Response) (<-chan ChatCompletionChunk, <-chan error)
}

YandexGPT: маппит model: "yandexgpt-pro" → modelUri: "gpt://folder-id/yandexgpt/latest", добавляет IAM-токен. GigaChat: OAuth2 с auto-refresh (TTL 30 мин).

SSE Streaming: где живут баги