我尝试实时数据流项目,并使用kafka、弹性研究、kibana、与cker堆肥和flink。

我有一个连接板块应用,把Kafka的数据整理成实时的数据库。 这些数据按年数汇总:[1、5、10、30、60、每日],并写到相应的非行表格。

我们每天处理数据时有一两个检查点故障。 数据量很低, 如10公里以下, 我们的间隔设置是2分钟。 (处理速度非常慢的原因是我们需要...)