ETL-常用工具分享

网友投稿 675 2022-10-09 16:35:02

ETL-常用工具分享

ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。最近在弄ETL方向的研究,到时也和大家分享一下成果。

ETL实现方案有很多,可以通过编码开发方式,也可以通过成熟可视化框架。如果没有编程基础,定制化要求不高,可考虑用一些成熟产品框架。如:

KettleDataPipelineTalendInformaticaDatax

当然,我们也可以通过编码来实现,如java、python、go、scala等开发语言,再配合一些技术框架,如flink、flume、kafka、hadoop、spark等等。

这次我自己主要做技术研究为主,所以两个方向都有去研究。发现坑还是挺多的,特别是一些环境安装与部署。这次我主要安装flink和kettle的环境,发现有些安装包还是没有那么容易找到,所以分享给大家,大家有需要的话,可以拿去参考。

这次给大家分享一下相应的工具包,如下:

 

1

 

kettle spoon 8.2

 

2020082106

 

2

 

flink-1.9.1-bin-scala_2.12

 

2020082107

 

3

 

kettle spoon data-integration

 

2020082108

 

4

 

flink-1.9.1-bin-scala_2.11

 

2020082109

 

5

 

kettle pdi-ce-9.0.0.0-423

 

2020082110

只要自己有时间,都尽量写写文章,与大家交流分享。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:ubuntu-14.04-desktop-amd64镜像
下一篇:小程序小团队管理服务端代码(小程序运营团队架构)
相关文章