SonicBoom v0.0.3 pide benchmarks en GPUs NVIDIA para contrastar sus cifras frente a llama.cpp
Útil para
HardenedLinux publica SonicBoom v0.0.3, un runtime de inferencia de código abierto (GPLv3) sin Python, con biblioteca compartida, ABI en C y Guile Scheme como lenguaje principal. Según sus cifras en una RTX 3050 de 8 GB, la decodificación supera a llama.cpp en 1,18× (Gemma 4 E4B Q3_K_M) y 1,12× (Qwen2.5-0.5B Q4_K_M), mientras que el prefill llega a 1,00× y 1,09×. El proyecto reconoce que Qwen con profundidad 512 queda en 0,98× y pide a usuarios con GPU NVIDIA que ejecuten un comando y publiquen sus resultados en la issue #2 del repositorio.
Qué significa
Quien ejecuta modelos en local con llama.cpp tiene una alternativa sin Python con ventajas de rendimiento modestas según sus propias medidas, aún sin verificar fuera de una única GPU. Su relevancia dependerá de que la comunidad confirme esas cifras en otras generaciones de NVIDIA.
Cómo te afecta
- Programadores
SonicBoom, runtime sin Python bajo GPLv3, dice llegar a 1,18× la decodificación de llama.cpp en una RTX 3050 de 8 GB, cifras aún sin confirmar. Con GPU NVIDIA, ejecuta su comando y publica tus resultados en la issue #2.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA