在flink中使用broadcast(广播流)实现配置动态加载 BigData 在flink处理过程中,我们往往需要关联某些维表来对当前数据进行染色,一般会采用通过jdbc关联查询或redis查询等方法,但效率一般都很差,以redis来讲,在没有进行优化的情况下一般每秒处理数据很难过万
使用Streaming File Sink写入hdfs时自定义分桶策略 BigData 开发的flink项目使用Streaming File Sink写入hdfs,最近接到了文件需要每五分钟分一个桶的需求,而flink默认的分桶策略无法支持这种需求,无奈之下只好自己写分桶策略。
flink获取keyBy后的key分配的子任务编号 BigData 最近在调试程序过程中遇到了需要针对某个特定key查看日志的需求,因为启动了两百多个TaskManager,而且没有权限访问yarn的日志,如果在web-ui上挨个去找怕是要找到猴年马月,所以我就翻了下flink的源码,找到了计算某个key分配至子任务编号的方法
spring data jpa配置逻辑删除(软删除) Java 在实际开发中,删除操作往往通过修改状态码来实现软删除,以保留历史数据。但jpa中提供的delete方法是直接删除该记录,与需求不符,很难直接使用。如果使用状态码的话,删除需要先查询,再改状态最后调用save方法,查询也需要加上状态码,使用起来比较繁琐。