Martes 20 de octubre de 2026 ·
Motor de código abierto para el NPU RK3588 de Rockchip: Qwen3.5-4B a unos 10 tokens por segundo, casi el doble que el SDK oficial
Útil para
El proyecto open_rknpu2_lm_infer es un motor de inferencia de modelos de lenguaje en local para el NPU RK3588, escrito en Rust y C++ y sin librerías propietarias de inferencia. Ejecuta Qwen3.5-4B con entrada de imagen y decodificación especulativa MTP opcional. En las pruebas de su autor, tras 512 tokens genera 10,61 tokens por segundo frente a 5,54 con RKLLM 1.3.1, el SDK de Rockchip.
Qué significa
Las placas con RK3588 podrán generar texto con modelos de lenguaje locales casi al doble de velocidad que con el SDK oficial, y el código es abierto para revisarlo y modificarlo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->