订阅flume如何保证数据的完整性
来源：网络收集 点击： 时间：2024-02-24【导读】：
今天小编给大家带来的是flume如何保证数据的完整性，希望能帮助到大家！工具/原料moreflumeCP方法/步骤1/5分步阅读
2/5
3/5
4/5
5/5
注意事项
如果要构建分层的代理结构，必然牵扯到数据的网络传输和分发问题。所以第一层代理需要某种特殊的sink来进行网络发送事件，再加上相应的source来接受这些事件。
2/5Avro sink 通过Avro RPC将事件发送给运行在另一个Flume代理上的其他Avro。事实上Avro的sink和source不提供写入和读取Avro文件的能力，它们仅用于代理层是事件分发，并且为了做到这一点，它们需要通过Avro RPC来进行通信。这里要区别Avro文件，如果想将事件写入到Avro文件，则可以使用HDFS sink实现。
3/5如果第二层的agent停止运行，那么事件将被保存到第一层agent的channel中，等到第二层agent的重新启动。
4/5但是channel的存储是由限制的，如果第一层agent的channel已经填满数据时，第二层agent还没启动恢复运行，那么任何新采集的事件都会丢失。
5/5默认情况下，file channel能够恢复的事件数量不超过100万条（可以通过capacity属性来设置，实际要设置的大一些）,此外，当检查点checkpointdir的可用磁盘空间小于500M时(minimumRequiredSpace属性设置)，也将停止接收事件，造成新事件的丢失。
注意事项网络虽好，但要注意劳逸结合哦！
如果是青少年，小编在这里提示大家千万不能沉迷网络！
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、文章链接：http://www.1haoku.cn/art_143486.html
上一篇：ROM编辑教程，线刷包转卡刷包
下一篇：word换行符号怎么去掉
