¿Cómo crear un CSV de prueba y usarlo con NiFi?

Muchas veces requerimos hacer pruebas rápidas, y por lo tanto, generar datos lo más reales posibles para tener una prueba lo más real posible. Esto lo podemos lograr con Python gracias al paquete Faker. Pero aún asi, nos falta generar un archivo CSV. Existe un proyecto en Github que une ambos mundos y nos permite generar un CSV con datos de prueba muy reales a partir del paquete Faker.

¿Cómo lo realizamos?

En alguno de los nodos de NiFi ejecutamos en una terminal los siguientes comandos para instalar Python3.6, crear un directorio en uno de los nodos de CFM (Cloudera Flow Management), el Apache NiFi de Cloudera, para luego generar el bash que vamos a utilizar desde NiFi para generar CSV en automático.

Ahora, desde NiFi, vamos a crear un flujo que llame a nuestro script, en este caso, /opt/csvgen/csvgen.sh

Lo primero que vamos a requerir es un procesador de tipo ExecuteProcess. La idea es que su salida simplemente lo envie a un puerto de salida para futuro procesamiento.

Ahora, en el procesor, necesitamos establecer la llamada en Command a /opt/csvgen/csvgen.sh, y en el directorio de trabajo (working directory) en el directorio del script en /opt/csvgen

 

 Referencias

1. https://github.com/pereorga/csvfaker
2. https://pypi.org/project/Faker/