Haiku y Gemma 4 empatan en resumen en japonés, pero solo uno tiene rango de variación registrado
Según registros de Lucky AI Lab con la misma versión de evaluación (2026-07-31-judge-n3), claude:haiku y gemma4:26b-a4b-it-qat obtienen una puntuación representativa de 68,0 en resumen en japonés. Solo Haiku tiene rango de variación registrado ([48,0, 78,0]), mientras que el de Gemma 4 no consta, por lo que el empate no permite concluir que ambos modelos sean equivalentes en estabilidad. El artículo recomienda medir la variación de Gemma 4 y comprobar el rendimiento con prompts propios antes de sustituir un modelo en la nube por uno local.
Fuentes
- #LLMタグクラウドAPIとローカルLLMを同点で比較する際、未記録の変動幅が招く選定リスク