Qwen3-30B-A3B: выбор версии, локальный запуск и память

Для обычного локального помощника начните с Qwen3-30B-A3B-Instruct-2507. Если вам нужны оба режима — с рассуждениями и без них — в одной модели, выбирайте оригинальный Qwen/Qwen3-30B-A3B. Для сложных задач с развернутыми рассуждениями есть отдельный Thinking-2507, для программирования и работы с инструментами — Qwen3-Coder-30B-A3B-Instruct.

Это разные варианты весов, а не четыре названия одной загрузки. У всех рассматриваемых 30B-моделей около 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке токена. Но режим ответа, контекстное окно и шаблон диалога нужно сверять для конкретного варианта. Ниже — выбор по задаче, короткий запуск через Ollama и способ понять, что действительно загружено в память.

Какую версию Qwen3-30B-A3B выбрать

Таблица описывает возможности, заявленные в карточках точных моделей. «Исходное окно» здесь означает поддерживаемую моделью длину без дополнительного расширения, а не память, которую ваша программа уже выделила.

Оригинал остается полезным выбором: можно использовать одну модель и менять режим для разных запросов. Он также подходит для воспроизведения прежней конфигурации. В шаблоне Hugging Face параметр enable_thinking=False отключает рассуждения, а при enable_thinking=True инструкции /think и /no_think позволяют мягко переключать режим в диалоге. Это управление именно оригинальным шаблоном, а не универсальные команды для всех сборок.

У версий 2507 разделение жестче. Маркер означает июль 2025 года. Instruct не нужно дополнительно переводить в режим без рассуждений, и он не перестает решать логические задачи из-за отсутствия <think>. Thinking нельзя превратить в Instruct добавлением /no_think. Его шаблон заранее вставляет открывающий <think>, поэтому в сгенерированной части иногда виден только закрывающий </think> — такое поведение описано в карточке Thinking-2507.

Для кода разумно начать с Coder, особенно если приложение передает модели несколько файлов или описания инструментов. Но сформированный вызов функции еще не выполняет ее: приложение должно распознать формат вызова, проверить аргументы и выполнить разрешенное действие. Правки в проекте нужно проверять обычными тестами и просмотром изменений; имя Coder не гарантирует правильность программы.

Локальный запуск Instruct-2507 через Ollama

Для этого пути нужны установленная Ollama, работающая локальная служба и достаточно памяти для модели. Указанный ниже файл Q4_K_M в каталоге занимает около 19 ГБ; при запуске потребуется дополнительная память. Команды приведены как инструкция по документации: мы не загружали веса и не измеряли скорость этой конфигурации.

Используйте полное обозначение варианта:

ollama pull qwen3:30b-a3b-instruct-2507-q4_K_M
ollama show qwen3:30b-a3b-instruct-2507-q4_K_M
ollama show --modelfile qwen3:30b-a3b-instruct-2507-q4_K_M
ollama run qwen3:30b-a3b-instruct-2507-q4_K_M

После входа в интерактивный диалог задайте короткое окно для первого запроса:

/set parameter num_ctx 8192

Это настройка на 8 192 токена для начального использования, а не попытка задействовать все 256K. Затем отправьте свой вопрос. Для выхода из диалога используйте /bye.

Выбор полного тега нужен по конкретной причине: на момент проверки каталога 7 октября 2026 года этот тег Instruct-2507 явно указывал вариант и квантизацию. Короткие qwen3:30b-a3b и qwen3:30b имели другой идентификатор пакета. А семейный qwen3 по умолчанию указывал на 8B, а не на 30B. Для Coder опубликован отдельный тег qwen3-coder:30b.

Даже длинный тег может измениться. Если хотите повторить конфигурацию позже, сохраните идентификатор локальной модели из ollama list, сведения show, шаблон и параметры из --modelfile, а также версию Ollama. Одного текста qwen3:30b в заметках недостаточно.

Пример запроса с проверяемым результатом

Для начала подойдет небольшая задача по счету, где можно проверить и извлечение данных, и соблюдение инструкции:

Проверь счет: три кабеля по 240 руб., два переходника по 350 руб.,
доставка 120 руб., скидка на весь заказ 100 руб.
Ответь тремя строками: стоимость товаров; сумма к оплате;
каких данных не хватает для определения суммы НДС.
Не придумывай ставку НДС и не добавляй товары.

Контрольная арифметика: 3 × 240 + 2 × 350 = 1 420 руб. за товары; 1 420 + 120 − 100 = 1 440 руб. к оплате. Это наш расчет по условиям примера, а не ответ, полученный от модели. Ставка НДС и порядок его включения в цены не заданы, поэтому определять конкретную сумму НДС нельзя.

Такой запрос позволяет сразу заметить практические ошибки: модель пропустила доставку, применила скидку дважды, придумала налог или не соблюла три строки. Он не измеряет общее качество Qwen. Если ваша задача — анализ договоров или исправление кода, следующая проверка должна использовать небольшой обезличенный фрагмент именно этого материала.

Тот же запрос через локальный API

Если удобнее получать один JSON-ответ, используйте /api/chat. Пример предназначен для уже работающей Ollama на локальном адресе; он не требует облачного ключа:

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:30b-a3b-instruct-2507-q4_K_M",
  "messages": [{
    "role": "user",
    "content": "Проверь счет: три кабеля по 240 руб., два переходника по 350 руб., доставка 120 руб., скидка 100 руб. Ответь тремя строками: стоимость товаров; сумма к оплате; каких данных не хватает для определения суммы НДС. Не придумывай ставку НДС."
  }],
  "stream": false,
  "options": {
    "num_ctx": 8192,
    "num_predict": 384,
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20
  }
}'

stream: false возвращает ответ целиком; основной текст находится в message.content. num_predict ограничивает длину генерации, а num_ctx задает окно. Короткий лимит вывода выбран для этого счета, а не как универсальная рекомендация для длинного Thinking-ответа. Форма параметров приведена по документации и исходному коду Ollama; настройки выборки Instruct — по его карточке.

Как проверить модель, режим и выделенный контекст

После загрузки проверьте три разные вещи: данные пакета, управление режимом и фактическое распределение памяти.

Данные пакета. ollama show помогает проверить архитектуру, число параметров, квантизацию и заявленное окно. Более подробные метаданные можно получить без генерации ответа:

curl http://localhost:11434/api/show -d '{
  "model": "qwen3:30b-a3b-instruct-2507-q4_K_M"
}'

Сопоставьте model_info, шаблон и параметры с выбранным вариантом. В проверенных пакетах Ollama 30B указано окно 262 144 токена, но это характеристика пакета. Она не меняет исходные 32 768 токенов в карточке оригинальной модели и сама по себе не доказывает, что короткий тег содержит именно оригинальные веса.

Режим ответа. В текущей документации Ollama о рассуждениях описаны поля thinking.values и thinking.default в /api/show. Если модель допускает переключение, в запросах /api/chat или /api/generate используется поле think, например "think": false. Это отдельный параметр Ollama; enable_thinking относится к шаблону Hugging Face. Отсутствие метаданных не доказывает отсутствие внутренних рассуждений. А скрытие их отображения не означает отключения генерации.

Для фиксированного Instruct-2507 из примера переключатель не нужен. Для оригинального гибридного варианта проверяйте поддержку think в своей сборке, прежде чем переносить настройки. При включенном режиме Ollama может возвращать рассуждения отдельно в message.thinking, а итоговый текст — в message.content.

Выделенное окно и размещение модели. Пока модель остается загруженной, откройте второй терминал:

ollama ps

Смотрите колонку CONTEXT — она показывает выделенную длину, а PROCESSOR — размещение на GPU и CPU. Если вы задали 8 192 токена, а видите другое значение, проверьте параметры запроса, активную модель и версию программы, прежде чем рассчитывать доступный объем текста.

У документации есть расхождение: текущая страница контекста в репозитории Ollama описывает значения по видеопамяти — 4K ниже 24 ГиБ, 32K в диапазоне 24–48 ГиБ и 256K начиная с 48 ГиБ. FAQ при этом все еще указывает общий размер 4 096. Поэтому в примере окно задано явно, а фактическая длина проверяется через ps.

Сколько памяти нужно: веса и KV-кэш считаются отдельно

A3B не означает, что в память помещается только 3-миллиардная модель. Разреженная архитектура MoE уменьшает объем вычислений на токен: из 128 экспертов активны 8. Но для работы модели по-прежнему нужны ее полные веса. Параметры и архитектура приведены в официальной карточке Qwen3-30B-A3B.

Идеальная упаковка 30,5 млрд параметров по 4 бита дала бы 30,5 × 10⁹ × 4 ÷ 8 = 15,25 × 10⁹ байт: 15,25 ГБ, или примерно 14,20 ГиБ. Здесь нет коэффициентов квантизации, частей с другой точностью и служебных данных. Реальный пакет Q4_K_M в Ollama занимает около 19 ГБ. Ни расчет, ни размер файла не равны пиковому расходу оперативной или видеопамяти.

Вторая крупная составляющая — KV-кэш, сохраненные ключи и значения внимания для контекста. Для конфигурации Coder с 48 слоями, 4 KV-головами и размерностью головы 128 расчет при F16 составляет:

2 (K и V) × 48 × 4 × 128 × 2 байта = 98 304 байта на токен

Из конфигурации Coder получаются такие объемы только полезных данных KV-кэша одной последовательности:

Это условная арифметика, не измерение конкретного запуска. К ней добавляются веса, активации и служебные расходы; программа может резервировать кэш иначе. Квантизация весов Q4_K_M не означает, что KV-кэш тоже четырехбитный. Другой тип кэша изменит расчет, а параллельные запросы добавят свои последовательности.

Практический порядок такой: сначала загрузите выбранную квантизацию с коротким окном, посмотрите PROCESSOR и расход памяти, затем увеличивайте num_ctx под реальные материалы. Если часть весов уходит в оперативную память, модель может работать на меньшем GPU, но задержку уже нужно измерять в этой конфигурации. При нехватке памяти сначала сократите окно и число одновременных запросов; одной замены названия Instruct на Coder недостаточно.

Когда нужны 256K или миллион токенов

Для кратких вопросов максимальное окно не требуется. Оно становится полезным, когда в запросе действительно есть длинные документы, несколько файлов или большая история диалога. При этом ввод и вывод делят общий бюджет: если вы выделили 8 192 токена, все это место нельзя занять входным документом и затем ожидать длинный ответ. Учитывайте системные инструкции, историю, результаты инструментов и резерв генерации; точная длина определяется токенизатором, а не числом символов.

У Instruct-2507 и Thinking-2507 исходное окно 262 144 токена. В карточках Instruct и Thinking также описан отдельный путь до миллиона с DCA, MInference и специальной конфигурацией. Для этого пути авторы указывают примерно 240 ГБ общей памяти GPU. Это требование конкретного сверхдлинного режима, а не цена входа в обычный локальный 30B-чат. У Coder расширение до миллиона описано через YaRN; оно тоже требует подходящей реализации, а не только значения num_ctx.

Если вам нужно переключение режимов и достаточно коротких материалов, оригинал остается разумным вариантом. Если нужен длинный контекст без отдельного блока рассуждений, Instruct-2507 дает более подходящую исходную спецификацию. Thinking-2507 стоит выбирать, когда подробные рассуждения нужны самой задаче и для них остается место в бюджете. Увеличение окна само по себе не гарантирует, что модель правильно использует каждую часть документа.

Qwen3.8-27B — отдельный выбор, а не новое имя 30B

Не заменяйте идентификатор модели по сходству цифр. Qwen3.6-35B-A3B — отдельная MoE-модель с обработкой изображений. Qwen3.8-27B — отдельная плотная модель для текста и изображений с другой архитектурой внимания. Ни одна не является псевдонимом Qwen3-30B-A3B-Instruct-2507.

Если вам нужны изображения, это достаточная причина рассматривать другую модель. Если задача текстовая и текущая 30B-конфигурация уже подходит, одно более новое название не доказывает выигрыша в качестве, памяти или скорости. Для отдельного вопроса о размещении 27B на RTX 5090 или двух GPU есть руководство по видеопамяти Qwen3.8-27B.

Частые вопросы

Где находится официальная карточка Qwen3-30B-A3B?

Оригинальная карточка — Qwen/Qwen3-30B-A3B на Hugging Face. Она описывает гибридный режим, 30,5 млрд общих и 3,3 млрд активных параметров, исходный контекст 32 768 токенов. Для вариантов 2507 и Coder открывайте их отдельные карточки: характеристики оригинала нельзя автоматически переносить на них.

Можно ли отключить рассуждения у Thinking-2507?

Эта версия поддерживает только режим с рассуждениями, согласно ее карточке. Для фиксированного обычного ответа выбирайте Instruct-2507; для переключения в одной модели — оригинальный гибридный Qwen3-30B-A3B с поддерживающим его шаблоном и программой запуска.

Хватит ли 16 ГБ видеопамяти для Qwen3-30B-A3B?

По одному значению видеопамяти это определить нельзя. Проверенный пакет Instruct Q4_K_M занимает около 19 ГБ еще до KV-кэша и прочих расходов. Рассчитывать на полное размещение этой конфигурации в 16 ГБ GPU без проверки не стоит. Размещение части модели в оперативной памяти — другой режим с собственными требованиями и задержкой. Проверяйте размещение через ollama ps и расход памяти при нужном окне.

Почему Ollama показывает 256K, а запрос использует гораздо меньше?

Заявленное окно пакета и выделенное окно различаются. options.num_ctx в API или /set parameter num_ctx в диалоге задают длину для запуска, а колонка CONTEXT в ollama ps показывает фактическое выделение. Кроме того, в это окно должны поместиться и входные материалы, и генерация ответа.

Достаточно ли выполнить ollama run qwen3?

Для выбора именно 30B — нет: при проверке каталога Ollama 7 октября 2026 года семейный тег по умолчанию указывал на 8B. Выбирайте нужный полный тег, затем проверяйте сведения о загруженной модели. Для приведенной инструкции используется qwen3:30b-a3b-instruct-2507-q4_K_M.