Cómo detecto alucinaciones de LLM en código con un pipeline de comprobaciones en CI
Útil para
Un desarrollador aprobó un pull request hecho con IA que llamaba a FrameAllocator::TryReclaimTail(), una función que no existía en el motor. La llamada estaba dentro de una macro de profiler que en PC se expandía en nada, así que las pruebas pasaron. El fallo apareció dos días después, en la build nocturna de consola, al enlazar.
Qué significa
El código inventado puede parecer propio del proyecto, compilar en una plataforma y fallar en otra. Así, un error de este tipo puede pasar la revisión humana y aparecer solo en builds de otras plataformas.
Cómo te afecta
- Programadores
Tu CI debe compilar en todas las plataformas objetivo en cada PR, no solo en la tuya, porque aquí la llamada inventada pasó los tests en PC y falló al enlazar en consola. Al revisar código generado con IA, busca símbolos que no existen en el motor: el compilador local no los detecta si están dentro de una macro que se expande en nada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr IA (RU)Leer la noticia completa en Habr IA (RU)