Razonamiento adaptativo para LLM: activar pasos de pensamiento extra cuando el modelo duda
Útil para
Un usuario de Reddit presenta un experimento que hace adaptativo el razonamiento de los modelos de lenguaje. Mide la entropía de cada palabra y, cuando el modelo duda, una puerta basada en lógica JEV decide si lanzar bloques de pensamiento adicionales, que se organizan en un árbol de conversaciones paralelas. El código es de código abierto y está pensado sobre todo para modelos locales, cuyo rendimiento está limitado por la velocidad de la RAM.
Qué significa
El modelo dedicaría más razonamiento solo a los pasos en los que duda, en lugar de a toda la respuesta. Esto podría aprovechar mejor los recursos de los equipos que ejecutan modelos en local.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA