使用Kettle读取Excel中的数据导入数据库
来源:网络收集 点击: 时间:2024-05-16【导读】:
最近使用Kettle提取大文件数据导入到数据库中,遇到了不少问题,有内存溢出,有数据包含小数点,有字段转化等问题,因此记录下来,备用工具/原料moreData Integration 8.3(kettle)方法/步骤1/5分步阅读
2/5
3/5
4/5
5/5
生成Kettle转换流程,这里分三步,第一步读取Excel,第二部执行JS代码用于转化字段,第三部插入数据库中。

读取Excel中需要注意几个问题:表格类型(引擎)如果文件比较大,要选择Streaming的这个,一开始没有选择这个导致崩溃了好几次,报错内存溢出(OOM)


Excel中的数字默认是Number类型,导致都有精度(.0),这里数据库中是整形,需要改成Integer


Excel中的日期是时间戳,这里需要转化为日期格式,所以第二步骤使用了JS脚本,就一句话 new Date(timeStamp) ,对于JS中声明的变量,点击获取变量自动显示在下方的字段中。

在最后一步中插入数据库即可。
版权声明:
1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。
2、本站仅提供信息发布平台,不承担相关法律责任。
3、若侵犯您的版权或隐私,请联系本站管理员删除。
4、文章链接:http://www.1haoku.cn/art_775401.html
上一篇:最困难的时候该怎样激励自己?
下一篇:守株待兔选自韩非子五蠹读什么音