Flink新版kafka连接器的KafkaSource与KafkaSink的使用示例

在flink处理过程中，我们往往需要关联某些维表来对当前数据进行染色，一般会采用通过jdbc关联查询或redis查询等方法，但效率一般都很差，以redis来讲，在没有进行优化的情况下一般每秒处理数据很难过万

开发的flink项目使用Streaming File Sink写入hdfs，最近接到了文件需要每五分钟分一个桶的需求，而flink默认的分桶策略无法支持这种需求，无奈之下只好自己写分桶策略。

最近在调试程序过程中遇到了需要针对某个特定key查看日志的需求，因为启动了两百多个TaskManager，而且没有权限访问yarn的日志，如果在web-ui上挨个去找怕是要找到猴年马月，所以我就翻了下flink的源码，找到了计算某个key分配至子任务编号的方法