Jamba 1.5 Large

Jamba 1.5 Large — флагманская языковая модель израильской компании AI21 Labs, выпущенная в августе 2024 года. Её главная особенность — революционная гибридная архитектура, объединяющая традиционные слои трансформера с блоками Mamba (State Space Model, SSM). Эта комбинация решает одну из фундаментальных проблем больших языковых моделей: квадратичный рост потребления памяти при увеличении длины контекста.

Благодаря SSM-компоненте Jamba 1.5 Large обрабатывает 256K токенов контекста при существенно меньшем объёме KV-кэша по сравнению с чистыми трансформерами той же мощности. На практике это означает, что модель может одновременно анализировать несколько сотен страниц документов, удерживая все детали в «памяти» без деградации качества на дальних фрагментах. Это особенно ценно для RAG-систем, юридического анализа и работы с большими кодовыми базами.

Модель содержит 94 миллиарда параметров и использует архитектуру MoE (Mixture of Experts), так что реально активируется меньшее число параметров при каждом токене. Это обеспечивает высокую скорость инференса при сохранении качества большой модели. По данным AI21 Labs, Jamba 1.5 Large превосходит Llama 3.1 70B и Mistral Large 2 на задачах длинного контекста, особенно на бенчмарках RULER и LongBench.

Практическое применение Jamba 1.5 Large сосредоточено в корпоративном сегменте. AI21 Labs позиционирует модель прежде всего для задач, где длина контекста критична: анализ контрактов и юридических документов, суммаризация обширных баз знаний, работа с крупными финансовыми отчётами. Компания предлагает корпоративным клиентам возможность fine-tuning под специфические задачи через партнёрское соглашение.

Доступ к Jamba 1.5 Large осуществляется через платформу AI21 Studio и Azure AI, что обеспечивает корпоративный уровень SLA и соответствие требованиям безопасности данных. Модель также доступна через Amazon Bedrock, что делает её привлекательной для компаний, уже использующих инфраструктуру AWS. API совместим со стандартом OpenAI Chat Completions.