OpenAI: GPT-3.5 Turbo 16k openai/gpt-3.5-turbo-16k

Модель OpenAI: GPT-3.5 Turbo 16k от OpenAI (семейство gpt-3) доступна через единый OpenAI-совместимый API НейроГейт — без VPN, с оплатой в рублях, единым ключом для всех 353+ моделей платформы.
Создатель ChatGPT и GPT-серии. Самая известная AI-компания в мире.

👁 Зрение 🧠 Рассуждение 🎨 Генерация изображений 🎙 Аудио-вход 🔊 Синтез речи 🆓 Бесплатно

16K

контекст, токенов

300 ₽

за 1 млн входных токенов

400 ₽

за 1 млн выходных токенов

возможностей

2021-09

база знаний до

Что такое OpenAI: GPT-3.5 Turbo 16k

Задачи с длинным контекстом, где важна скорость и экономичность, а не максимальное качество рассуждений.

GPT-3.5 Turbo 16k — расширенная версия популярной модели GPT-3.5 Turbo от OpenAI с увеличенным контекстным окном до 16 385 токенов. По сравнению с базовым GPT-3.5 Turbo это примерно в четыре раза больше, что позволяет обрабатывать около 20 страниц текста в рамках одного запроса. Модель ориентирована на задачи, где стандартного контекста не хватает, но переходить на более тяжёлые и дорогие модели семейства GPT-4 нецелесообразно.

GPT-3.5 Turbo 16k сохраняет характеристики базовой модели — высокую скорость генерации и относительно низкую стоимость — добавляя возможность работы с длинными документами, многоходовыми диалогами и объёмными контекстами. Это делает её практичным вариантом для сценариев, где нужен баланс между длиной ввода и операционными расходами. Следует учитывать, что обработка расширенного контекста стоит дороже базовой версии.

Когда брать эту модель

✓ Анализ и суммаризация длинных документов: договоров, отчётов, технической документации
✓ Многоходовые чат-боты с длинной историей диалога
✓ Обработка и классификация больших фрагментов кода или логов
✓ RAG-пайплайны, где в контекст передаётся несколько крупных чанков
✓ Автоматизация задач с умеренными требованиями к качеству, но большим объёмом входных данных

Пример работы

Реальный сценарий, на котором модель проявляет себя:

Вот полный текст договора на 15 страниц. Выдели все пункты, связанные с ответственностью сторон, и кратко изложи риски для заказчика.

Использование OpenAI: GPT-3.5 Turbo 16k через НейроГейт

OpenAI-совместимый эндпоинт https://api.neuralgate.ru/v1 — замени base_url в любом SDK и используй модель по её id.

# Chat completion
curl https://api.neuralgate.ru/v1/chat/completions \
  -H "Authorization: Bearer $NEURALGATE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-3.5-turbo-16k",
    "messages": [{"role":"user","content":"Привет!"}]
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-...your-neuralgate-key...",
    base_url="https://api.neuralgate.ru/v1",
)
response = client.chat.completions.create(
    model="openai/gpt-3.5-turbo-16k",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.NEURALGATE_API_KEY,
  baseURL: "https://api.neuralgate.ru/v1",
});
const resp = await client.chat.completions.create({
  model: "openai/gpt-3.5-turbo-16k",
  messages: [{ role: "user", content: "Привет!" }],
});
console.log(resp.choices[0].message.content);