Leer solo las filas cambiadas del destino AUTO CDC de Databricks y aplicarles funciones de IA
Las funciones de IA de Databricks, como ai_query() o ai_analyze_sentiment(), llaman a un modelo por cada fila y su coste crece con el número de filas. El autor propone leer el Change Data Feed de una tabla silver creada con AUTO CDC (antes APPLY CHANGES) para aplicar la IA solo a las filas que cambian, dentro de Lakeflow Spark Declarative Pipelines. Desde DLT 2024.33 (agosto de 2024) esa lectura es posible con Databricks Runtime 15.2 o superior, y puede hacerse con table_changes() en SQL o con la opción readChangeFeed en streaming.
Qué significa
Si un flujo de Databricks llama a un modelo de IA por cada fila, leer solo los cambios evita pagar por filas que no se han modificado y no hace falta reprocesar toda la tabla.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita