Miércoles 4 de noviembre de 2026 ·
Anthropic explica qué robots usa para rastrear la web y cómo los dueños de sitios pueden bloquearlos
Útil para
La documentación de Anthropic detalla tres robots: uno recopila datos del web público para desarrollar modelos, otro busca en la web y un tercero recupera contenido a petición de los usuarios. La empresa afirma que respeta las señales «do not crawl» de robots.txt, limita la velocidad de rastreo respetando Crawl-delay y no elude tecnologías anticircunvención. Los dueños de sitios pueden permitir o limitar cada robot según sus preferencias.
Qué significa
Los dueños de webs pueden decidir por separado qué robot de Anthropic accede a su contenido, distinguiendo entre el entrenamiento de modelos, la búsqueda y la consulta puntual de los usuarios.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Claude Help Center — Recent articlesLeer la noticia completa en Claude Help Center — Recent articles
También ese día
Todas las noticias de IA del miércoles 4 de noviembre de 2026 ->