Pentaho Business Intelligence
ETL, Programacion 9 Octubre 2008
En estos días estoy renegando con un proyecto que en una de sus etapas requiere procesos ETL. Me fue encomendada la grata tarea de decidir con que software debíamos hacer esto, lo primero que se me vino a la mente fue Oracle Warehouse Builder, que nunca había usado pero si escuchado y como teníamos que integrar los datos a una BD Oracle me parecía la mejor solución, antes de hacer nada con esto me dijeron que pruebe con LiveCycle (Software del cual seguramente voy a escribir más adelante) Pero después de renegar mucho y lograr poco se decidió no utilizar esta herramienta. La aparente solución (digo aparente porque todavía no se implemento) vino de la mano de uno de los productos de Pentaho, Kettle.
Pentaho es una plataforma que brinda distintas soluciones a nivel de inteligencia de negocios, y lo mejor de todo, es open source. Una de las herramientas de Pentaho es Kettle del cual voy a escribir.
Bajarlo es tan simple como hacer un clic y listo, la descarga contiene los archivos para ser ejecutado en Windows o Linux. En el caso de Windows, que es donde lo probé, solo tienes que descomprimir el paquete y ejecutar el archivo Kettle.exe y listo.
Grafico costo/tiempo donde se compara
un ETL propietario, uno desarrollado
por nosostros y uno open source
Debo confesar que tenía miedo de lo complicado que podría ser esta herramienta en su uso, me parece que es un fantasma que tienen los software open source, pero me equivoqué, tiene una interfaz realmente intuitiva, y pude desarrollar una transformación en unos minutos sin esforzarme demasiado.
Las pruebas de concepto que realice fueron más que exitosas, por ejemplo, pasar un archivo de texto plano o csv a una tabla Oracle, me lo ejecuto en 2.6 segundos insertando 11.975 registros 
. El esquedulado (activar un proceso cada tanto tiempo) funciona perfecto, podemos activar un trabajo diariamente, mensualmente o anualmente. El único problema que estoy teniendo es el de hacer un proceso que “vigile una carpeta” esto quiere decir que cuando yo inserte un archivo en una carpeta, por ejemplo un .txt, el proceso lo tome y lo transforme, pero estoy cerca de lograrlo, cuando lo hago voy a subir un tutorial. En resumen, hay muchas herramientas para ETL, sin haber probado todas, mi humilde opinión es que Kettle es una muy buena con la que podremos obtener resultados muy rápidamente.
Loading ...
![[Valid RSS]](http://www.hijodelared.com.ar/wp-content/themes/hijodelaredtheme/img/valid-rss.png "Validate my RSS feed")
01/12/2009 at 5:21 pm
01/12/2009 at 6:21 pm
Hola neyaris! lamentablemente no hay mucha información sobre el uso de Kettle pero en la página oficial puedes acceder a algunas cosas, como por ejemplo la documentación que lamentablemente se encuantra en ingles,
http://wiki.pentaho.com/display/EAI/Latest+Pentaho+Data+Integration+(aka+Kettle)+Documentation
También puedes acceder al foro en español de Pentaho el cual me ha ayudado mucho:
http://forums.pentaho.org/forumdisplay.php?f=88
Saludos,
01/27/2009 at 4:23 pm
Lograste hacer el etl de procesar un archivo txt una vez insertado en una carpeta??? Tengo casi 2años trabajando con kettle y ahorita tengo un problema similar
02/20/2009 at 9:41 pm
Hola yo tambien tengo el mismo problema.
Lo logreste solucionar??
03/12/2009 at 3:34 pm
Cuando instalas kettle hay unos pdf’s que son de gran ayuda