Ternary Bonsai 2 (2B, 4B y 9B) ya está disponible en Hugging Face
Se han publicado los modelos Ternary Bonsai 2 de 2B, 4B y 9B parámetros en la colección prism-ml de Hugging Face. El modelo de 2B puede ejecutarse completo en el navegador gracias a kernels WebGPU personalizados, según el título del post. El autor afirma que alcanza hasta 500 tokens por segundo en un M4 Max, y el enlace incluye una demo WebGPU.
Qué significa
Quien tenga un navegador compatible con WebGPU puede probar el modelo de 2B en local desde la demo, sin enviar datos a un servidor externo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA