Sábado 24 de octubre de 2026 ·

Un desarrollador actualiza su variante de ik_llama.cpp y logra unos 45 tokens por segundo en una RTX 2060 de 6 GB

Relevancia 36 de 100

Útil para Programadores 85%

IceFog72 publica una nueva versión de su variante de ik_llama.cpp, un programa para ejecutar modelos de lenguaje, con optimizaciones para modelos MoE. En una RTX 2060 de 6 GB genera unos 45-48 tokens por segundo con prompts cortos y unos 37 con 28K de contexto, y el procesado inicial va de 430 a 700 tokens por segundo. No pretende fusionarlo en el proyecto principal, porque ha recibido poca retroalimentación y el código necesita limpieza.

Qué significa

Muestra que modelos de lenguaje grandes pueden funcionar de forma razonable en tarjetas gráficas de consumo de 6 GB, lo que amplía el acceso a la IA local sin hardware profesional.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 24 de octubre de 2026 ->