Neuralwatt, nube de GPU: la caché decide tu gasto en IA
Neuralwatt analizó un mes de tráfico y concluyó que una petición con la caché fría consume el doble de energía que una idéntica con la caché caliente. La diferencia depende del programa cliente (el harness o agente) que llama al modelo, no del modelo ni del hardware. Un turno típico de un agente de código envía más de 100.000 tokens, y la caché solo funciona si el prefijo del prompt no cambia. El análisis lo firma Chad Gibson, CEO de Neuralwatt.
Qué significa
Si un agente modifica el contenido ya enviado en cada turno, pierde la caché y paga más en tokens, latencia y energía. Un fundador que usa un agente de código debería revisar cómo lo construye.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- El Ecosistema StartupLeer la noticia completa en El Ecosistema Startup