miércoles, 9 de octubre de 2019

¿Como consumir datos de una base de datos en NiFi?

Una vez que tengamos configurado un Servicio de Control, tenemos varios procesadores que nos permiten correr consultas contra una base de datos. Un caso típico es tener una consulta, y luego, solo consumir los registros que hayan cambiado o que sean nuevos. Para este caso, tenemos que tener en cuenta que debe existir un campo que nos ayude a discriminar esa lectura incremental, ya sea un timestamp, id o cualquier otro que permita hacer un ejercicio incremental de la información. Este procesador es el QueryDatabaseTable. Miremos un ejemplo:

 

Una vez configurado, su salida va a ser un registro AVRO con todos los rows dentro. Para hacer un tratamiento de los AVRO, hay muchos procesadores, uno muy usado, es el SplitAVRO, que nos permite tener un AVRO que contenga solo un Row, y por lo general, luego lo podemos convertir a JSON para trabajarlo en un formato de intercambio basado en Texto.


No hay comentarios.:

Publicar un comentario