Featherless AI reduce la factura de tokens de 150.000 a menos de 10.000 dólares al mes
Eugene Cheah, director ejecutivo de Featherless AI, explica que cinco desarrolladores que gastaban 150.000 dólares al mes en 116.000 millones de tokens bajaron a menos de 10.000 dólares usando un solo nodo. Un cliente de la compañía sirve dos billones de tokens al día a unos 0,30 dólares por millón, en 512 GPU AMD MI325 con un modelo de mezcla de expertos de 4,8 billones de parámetros. Según Cheah, entre el 30 % y el 40 % de los equipos que contactan usan una única clave API compartida, lo que impide saber cuánto gasta cada área.
Qué significa
Para empresas que gastan más de 10.000 dólares al mes en inferencia, separar las claves API por tipo de carga de trabajo y medir antes de optimizar puede reducir costes; según Cheah, las recomendaciones solo aplican por encima de ese gasto.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai