Miércoles 21 de octubre de 2026 ·

Specter acelera 1,5 veces la inferencia de modelos MoE en una GPU con memoria limitada

Relevancia 36 de 100

Útil para Programadores 80%

Specter es un sistema de inferencia para modelos de mezcla de expertos (MoE) que combina la decodificación especulativa con la descarga de expertos a la memoria del host, usando un modelo borrador cuantizado que se ejecuta en el propio dispositivo. Según los autores, logra una mejora media de 1,50 veces (hasta 1,88 veces) en el tiempo por token de salida frente al sistema más avanzado, en inferencia con una sola petición. El código está disponible en GitHub y el artículo se publicó en arXiv con el identificador 2511.14102.

Qué significa

Hace más práctico ejecutar modelos MoE con memoria limitada en hardware convencional, al reducir el tiempo por token según sus autores.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 21 de octubre de 2026 ->