Claude Haiku 4.5 vs Gemma 4 — сравнение бенчмарков
Claude Haiku 4.5 превосходит Gemma 4 по следованию инструкциям и безопасности, хотя Gemma 4 выигрывает за счёт возможности локального развёртывания.
Бенчмарки
* Бенчмарки — стандартизированные тесты для оценки качества ИИ-моделей. Чем выше балл, тем лучше модель справляется с задачей.
Claude Haiku 4.5 и Gemma 4 — лёгкие модели разного происхождения. Haiku 4.5 — проприетарная API-модель Anthropic, Gemma 4 — открытая модель Google с публичными весами. Gemma 4 можно развернуть локально, что важно для задач с требованиями к приватности данных.
По качеству Claude Haiku 4.5 опережает Gemma 4: MMLU 82 vs 75, HumanEval 74 vs 67, Arena Elo 1210 vs 1155. Haiku лучше следует инструкциям и генерирует более безопасный контент. Gemma 4 привлекает разработчиков открытостью и возможностью тонкой настройки на собственных данных.
Быстрая и экономичная модель Anthropic. 200K контекст, до 64K выход. Extended thinking, computer use, context awareness. Производительность уровня Claude Sonnet 4 в 3 раза дешевле. Скорость в 4-5 раз выше Sonnet 4.5.
Тарифы, обзор, бенчмарки →
Семейство открытых мультимодальных моделей Google. 4 варианта от 2.3B до 31B. Текст, изображения, аудио, видео. 31B Dense — #3 в Arena AI. Apache 2.0, 140+ языков, function calling.
Тарифы, обзор, бенчмарки →