Meta: Llama 3.2 3B Instruct meta-llama/llama-3.2-3b-instruct

Модель Meta: Llama 3.2 3B Instruct от Meta Llama (семейство llama-3) доступна через единый OpenAI-совместимый API НейроГейт — без VPN, с оплатой в рублях, единым ключом для всех 353+ моделей платформы.
Открытые модели Meta — основа большинства open-source проектов.

👁 Зрение 🧠 Рассуждение 🎨 Генерация изображений 🎙 Аудио-вход 🔊 Синтез речи 🆓 Бесплатно

80K

контекст, токенов

5.1 ₽

за 1 млн входных токенов

34 ₽

за 1 млн выходных токенов

возможностей

2023-12

база знаний до

Что такое Meta: Llama 3.2 3B Instruct

Быстрый и экономичный open-source инференс для диалоговых и текстовых задач средней сложности с большим контекстом.

Meta Llama 3.2 3B Instruct — компактная open-source языковая модель от Meta с 3 миллиардами параметров, входящая в семейство Llama 3. Модель оптимизирована для задач диалоговой генерации, рассуждений и суммаризации текста, поддерживает многоязычный ввод и работает с контекстным окном до 80 000 токенов — весомый показатель для модели такого размера.

Благодаря компактной архитектуре Llama 3.2 3B хорошо подходит для сценариев, где важны скорость отклика и низкая стоимость инференса: чат-боты, лёгкие агентные пайплайны, встраиваемые ассистенты. При этом модель сохраняет достаточный уровень качества для большинства повседневных NLP-задач. Открытые веса позволяют разворачивать её на собственной инфраструктуре без зависимости от внешних API.

Модель является open-source и распространяется под лицензией Meta Llama 3, что делает её привлекательной для команд, которым важен контроль над данными и возможность тонкой настройки под конкретную предметную область.

Когда брать эту модель

✓ Чат-боты и диалоговые ассистенты с ограниченным бюджетом на инференс
✓ Суммаризация документов и новостных лент
✓ Классификация и маршрутизация входящих запросов в агентных системах
✓ Прототипирование и эксперименты, где нужна быстрая итерация
✓ Развёртывание на собственном железе или в закрытом контуре

Пример работы

Реальный сценарий, на котором модель проявляет себя:

Прочитай следующий фрагмент технической документации и составь краткое резюме на 3-4 предложения, выделив ключевые требования к системе.

Использование Meta: Llama 3.2 3B Instruct через НейроГейт

OpenAI-совместимый эндпоинт https://api.neuralgate.ru/v1 — замени base_url в любом SDK и используй модель по её id.

# Chat completion
curl https://api.neuralgate.ru/v1/chat/completions \
  -H "Authorization: Bearer $NEURALGATE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/llama-3.2-3b-instruct",
    "messages": [{"role":"user","content":"Привет!"}]
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-...your-neuralgate-key...",
    base_url="https://api.neuralgate.ru/v1",
)
response = client.chat.completions.create(
    model="meta-llama/llama-3.2-3b-instruct",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.NEURALGATE_API_KEY,
  baseURL: "https://api.neuralgate.ru/v1",
});
const resp = await client.chat.completions.create({
  model: "meta-llama/llama-3.2-3b-instruct",
  messages: [{ role: "user", content: "Привет!" }],
});
console.log(resp.choices[0].message.content);