Martes 20 de octubre de 2026 ·

Laplace 3B de i14: modelo de atención lineal entrenado y servido en AWS Trainium2 con PyTorch nativo

Relevancia 53 de 100

i14 entrenó y sirvió Laplace 3B, un modelo de atención lineal cuyo estado recurrente ocupa 29,5 MB por secuencia sin importar la longitud del contexto, a diferencia de la caché KV que crece con cada token. Con AWS usó el soporte nativo de PyTorch (TorchNeuron Native) para ejecutarlo en Trainium2. En una instancia trn2.48xlarge entrenó a unos 120.000 tokens por segundo y sirvió 11.544 tokens de salida por segundo con 1.280 secuencias simultáneas.

Qué significa

Para quien despliega asistentes o agentes con historiales largos, un modelo cuyo estado no crece con el contexto reduce el coste de servirlo y permite atender muchas más sesiones a la vez.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del martes 20 de octubre de 2026 ->