触点数字孪生,揭秘它的独特魅力
675
2022-10-09
ETL-常用工具分享
ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。最近在弄ETL方向的研究,到时也和大家分享一下成果。
ETL实现方案有很多,可以通过编码开发方式,也可以通过成熟可视化框架。如果没有编程基础,定制化要求不高,可考虑用一些成熟产品框架。如:
KettleDataPipelineTalendInformaticaDatax
当然,我们也可以通过编码来实现,如java、python、go、scala等开发语言,再配合一些技术框架,如flink、flume、kafka、hadoop、spark等等。
这次我自己主要做技术研究为主,所以两个方向都有去研究。发现坑还是挺多的,特别是一些环境安装与部署。这次我主要安装flink和kettle的环境,发现有些安装包还是没有那么容易找到,所以分享给大家,大家有需要的话,可以拿去参考。
这次给大家分享一下相应的工具包,如下:
1 |
kettle spoon 8.2 |
2020082106 |
2 |
flink-1.9.1-bin-scala_2.12 |
2020082107 |
3 |
kettle spoon data-integration |
2020082108 |
4 |
flink-1.9.1-bin-scala_2.11 |
2020082109 |
5 |
kettle pdi-ce-9.0.0.0-423 |
2020082110 |
只要自己有时间,都尽量写写文章,与大家交流分享。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。