AnythingLLM 1.19.0 integra un LLM local en su versión Docker, sin necesidad de Ollama ni LM Studio
Útil para
AnythingLLM 1.19.0 añade a su contenedor Docker un motor de inferencia local basado en Lemonade, el servidor de código abierto de AMD, y llama.cpp. Se activa con ENABLE_BUILT_IN_LLM=true y usa la GPU si se le pasa al contenedor: CUDA para NVIDIA, Vulkan para AMD e Intel, o CPU. Funciona en hosts amd64 y arm64, y permite descargar modelos de su tabla o cualquier GGUF de Hugging Face.
Qué significa
Quien ejecuta AnythingLLM en Docker ya no necesita instalar aparte un servidor de inferencia para tener modelos locales. El motor integrado sirve para el LLM del sistema, de espacios de trabajo y agentes, y para el selector de modelos del chat.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub Mintplex-Labs/anything-llmLeer la noticia completa en GitHub Mintplex-Labs/anything-llm