MiniMax-01

MiniMax-01 — семейство мощных языковых моделей от компании MiniMax, включающее MiniMax-Text-01 (чисто текстовая) и MiniMax-VL-01 (мультимодальная «текст+изображение»). Обе модели доступны через Hugging Face (требуется trust_remote_code=True) и демонстрируют конкурентоспособные результаты на академических бенчмарках, особенно в задачах, требующих длинного контекста (до 4 млн токенов на инференсе).

Архитектура

MiniMax-Text-01

• Общее число параметров: 456B, активируется 45.9B на токен.
• 80 слоёв, гибридное внимание: после каждых 7 слоёв Lightning Attention стоит один слой Softmax Attention.
• Mixture-of-Experts (MoE): 32 эксперта, top-2 routing, скрытая размерность эксперта 9216.
• Positional Encoding: RoPE с частотой 10 000 000, применяется к половине размерности головы.
• Vocab size: 200 064, скрытая размерность 6144.

MiniMax-VL-01

• Базируется на MiniMax-Text-01, добавляет Vision Transformer (ViT) на 303M параметров (24 слоя, patch size 14, hidden size 1024).
• Использует двухслойный MLP-проектор для адаптации изображений.
• Динамическое разрешение: входные изображения масштабируются по сетке от 336×336 до 2016×2016, разбиваются на неперекрывающиеся патчи и кодируются вместе с миниатюрой 336×336.

Быстрый старт

Установите необходимые библиотеки:

pip install transformers accelerate bitsandbytes torch

Для production рекомендуется vLLM (документация). vLLM обеспечивает высокую пропускную способность и эффективное управление памятью.

Пример: MiniMax-Text-01 (генерация текста)

from transformers import AutoModelForCausalLM, AutoTokenizer, QuantoConfig, GenerationConfig

# Загрузка конфигурации
hf_config = AutoConfig.from_pretrained("MiniMaxAI/MiniMax-Text-01", trust_remote_code=True)

# Квантование int8 (рекомендуется)
quantization_config = QuantoConfig(
    weights="int8",
    modules_to_not_convert=["lm_head", "embed_tokens"] +
        [f"model.layers.{i}.coefficient" for i in range(hf_config.num_hidden_layers)] +
        [f"model.layers.{i}.block_sparse_moe.gate" for i in range(hf_config.num_hidden_layers)]
)

# Распределение слоёв по 8 GPU (пример)
world_size = 8
layers_per_device = hf_config.num_hidden_layers // world_size
device_map = {
    'model.embed_tokens': 'cuda:0',
    'model.norm': f'cuda:{world_size-1}',
    'lm_head': f'cuda:{world_size-1}'
}
for i in range(world_size):
    for j in range(layers_per_device):
        device_map[f'model.layers.{i*layers_per_device+j}'] = f'cuda:{i}'

# Токенизация
tokenizer = AutoTokenizer.from_pretrained("MiniMaxAI/MiniMax-Text-01")
prompt = "Hello!"
messages = [
    {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant created by MiniMax based on MiniMax-Text-01 model."}]},
    {"role": "user", "content": [{"type": "text", "text": prompt}]}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer(text, return_tensors="pt").to("cuda")

# Загрузка модели в bfloat16 с квантованием
model = AutoModelForCausalLM.from_pretrained(
    "MiniMaxAI/MiniMax-Text-01",
    torch_dtype="bfloat16",
    device_map=device_map,
    quantization_config=quantization_config,
    trust_remote_code=True,
    offload_buffers=True
)

# Генерация
gen_config = GenerationConfig(max_new_tokens=20, eos_token_id=200020, use_cache=True)
output_ids = model.generate(**model_inputs, generation_config=gen_config)
response = tokenizer.decode(output_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokens=True)
print(response)

Пример: MiniMax-VL-01 (ответ по изображению)

from transformers import AutoModelForCausalLM, AutoProcessor, QuantoConfig
from PIL import Image

hf_config = AutoConfig.from_pretrained("MiniMaxAI/MiniMax-VL-01", trust_remote_code=True)

# Квантование int8
quantization_config = QuantoConfig(
    weights="int8",
    modules_to_not_convert=["vision_tower", "image_newline", "multi_modal_projector", "lm_head", "embed_tokens"] +
        [f"model.layers.{i}.coefficient" for i in range(hf_config.text_config.num_hidden_layers)] +
        [f"model.layers.{i}.block_sparse_moe.gate" for i in range(hf_config.text_config.num_hidden_layers)]
)

# Распределение: vision часть на GPU 0, текстовая — по всем 8 GPU (схема аналогична Text-01)
# ... (device_map строится как в примере для текста, но с ключами 'language_model.model...' и vision_tower)
# См. полный пример в репозитории: https://github.com/MiniMax-AI/MiniMax-MCP

processor = AutoProcessor.from_pretrained("MiniMaxAI/MiniMax-VL-01", trust_remote_code=True)
raw_image = Image.open("figures/image.jpg")
messages = [
    {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant created by MiniMax based on MiniMax-VL-01 model."}]},
    {"role": "user", "content": [{"type": "image", "image": "placeholder"}, {"type": "text", "text": "Describe this image."}]}
]
prompt = processor.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(images=[raw_image], text=prompt, return_tensors='pt').to('cuda').to(torch.bfloat16)

model = AutoModelForCausalLM.from_pretrained(
    "MiniMaxAI/MiniMax-VL-01",
    torch_dtype="bfloat16",
    device_map=device_map,
    quantization_config=quantization_config,
    trust_remote_code=True,
    offload_buffers=True
)

output_ids = model.generate(**inputs, max_new_tokens=100, eos_token_id=200020)
response = processor.tokenizer.batch_decode(output_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]
print(response)

Важно: для работы модели требуется минимум 8 GPU с достаточным объёмом памяти (например, A100 80GB). Квантование int8 существенно снижает потребление VRAM.

Конфигурация и развёртывание

• Для production-сервиса используйте vLLM — он оптимизирует throughput и memory management.
• При распределении модели по нескольким GPU обязательно задавайте device_map вручную, чтобы избежать автоматического размазывания.
• Параметры modules_to_not_convert в QuantoConfig должны быть указаны полностью, как в примере, чтобы сохранить точность на критических слоях (gate, coefficient, vision часть).
• Поддерживается динамическое разрешение для изображений: модель сама выбирает оптимальный размер из предустановленной сетки.

Результаты бенчмарков

MiniMax-Text-01 и MiniMax-VL-01 показывают высокие результаты в сравнении с GPT-4o, Claude 3.5 Sonnet и Gemini 1.5 Pro:

• MMLU (Text-01): 88.5 (0-shot CoT) — на уровне DeepSeek-V3 и Llama 3.1 405B.
• LongBench v2 (Text-01): 56.5 overall – лучший среди сравнимых моделей, особенно на длинных контекстах.
• Needle In A Haystack (4M токенов): Text-01 сохраняет точность >90% даже на 1M токенов, единственная модель, которая не проседала до 512k.
• Видео-бенчмарки (VL-01): ChartQA 91.7, DocVQA 96.4, OCRBench 865 – лидирующие позиции.

Подробные таблицы доступны в оригинальной статье (arXiv: 2501.08313).

Ссылки

• Официальный сайт MiniMax
• Статья на arXiv
• Репозиторий на GitHub
• Hugging Face: модели MiniMax
• Лицензия на модель
• Лицензия на код