您的位置:首页 >资讯 > 图库 >

解剖屎山,寻觅黄金之第二弹

2023-05-10 08:51:10    来源:程序员客栈

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。


(资料图片)

在最开始,我的第一版实现是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

标签:

相关阅读

精彩放送

实时焦点:描写人物外貌的句子_描写美女外貌的句子

万丰股份境外贡献三成收入却称超七成产品出口 官网产能数据或“蒙眼自嗨”-热资讯

林良铭:开场不够兴奋,大连人创造了机会但没赢球很可惜

襄垣农商行乡村振兴事业部召开贷款投放推进会

世界观天下!离婚前张丹峰称自己没吃软饭:靠自己挣钱养全家!两人直播无互动

湖北宜昌:“闺女”“媳妇”为家园代言,具体是什么原因?

如何打造世界级旅游目的地?专家学者广州论道-每日观点

黑人牙膏广告2021_搜黑人牙膏广告背景音乐

“一房二卖”、明显低于市场价格等 检察机关提示房屋买卖应注意这三点

关于异地就医直接结算,这份小贴士请查收

当前通讯!四川保险业护航“五一” 暖心出行获点赞

世界热议:国际油价下跌逾1%,但多头有两大庇护,待美国CPI出炉

快报:城口县治平乡新胜村滑坡

当前时讯:民宿热了,管家登场 湖南发布实施旅游民宿管家职业能力团体标准

关关雎鸠在河之洲采用什么表现手法 关关雎鸠在河之洲用了什么手法

幽的部首_幽部首是什么-天天快讯

关于异地就医直接结算,这份小贴士请查收

易维哲:黄金暂时震荡,原油可能还有调整空间。 快报

外国网红打卡“中国画虎第一村” 探寻文化产业兴村故事

每日热门:各地举办丰富多彩的公益活动 弘扬红十字精神、传递人道关怀

讯息:何小冰:5月9日黄金站上2030切换区间,原油守低是关键

环球今亮点!外国网红打卡“中国画虎第一村” 探寻文化产业兴村故事(视频)

从育种到加工 广东台山推动麻黄鸡全产业链发展-当前动态

粉色情报来袭!小红书樱花季限定活动,携手雪佛兰&M豆&汤达人&植村秀一同粉住春天

“五一”假期后机票价格大幅回落 端午出游开始发力-环球实时

河南严禁以实验班名义“掐尖”招生

天天播报:刘铭诚:5.9国际原油期货价格走势分析,今日操作建议指导解套!

悦汝妍轻开创妇科微生态健康新领域,专注技术研发为女性健康护航

热消息:NYMEX原油短线下看71.22美元

黄金突发急跌行情!金价逼近2020美元 黄金最新日内交易分析|天天滚动

5月12日-14日,武汉欢乐谷女性半价!医护免费!

幼小双向互动 共赴科学衔接_头条焦点

一次只做一件事 世界球精选

猫咪app最新地址入口(猫咪app网页链接入口)

【环球新要闻】命令与征服攻略秘籍_命令与征服现代战争秘籍

全国95%上不了211的考生如何正确填志愿

教师的爱与责任_教师的爱

5 月 9 日德国 DAX30 指数开盘下跌 0.01%,英国富时 100 指数下跌 0.05%

最高法:加大涉农民工工资案件执行工作力度_焦点热闻

棕色内饰+Nappa皮质包裹,艾瑞泽8 2.0T运动版曝光,有豪车那味儿了

边贸活力持续涌现(经济聚焦) 环球通讯

国际金价短线或回落到2018美元

世界新资讯:检察机关:房屋买卖合同纠纷案件主要有三个特点

快看点丨李弈善:黄金2028下空,原油73.3空有望成高点

香港大学经管学院“ESG赋能与可持续发展论坛” 在深成功举办

中消协一季度受理投诉超30万件 挽回经济损失超2.4亿元_天天热文

每日看点!解禁“路边摊”?这些地方都有动作!

世界看点:2023剧场版《哆啦A梦》曝角色卡 新猫索尼亚登场

葫芦娃(605199):该股换手率大于8%(05-09)

中国科学院院士呼吁:关爱卵巢更是关爱女性一生的健康!

爱巢居家自测早诊疗,赋能首届爱巢公益月暨女性卵巢健康论坛成功举办!

正元地信:目前公司与高德地图无业务合作关系-世界百事通

井柏然倪妮什么时候分手的?井柏然刘雯是情侣吗?

锦心似玉中元娘怎么死的?锦心似玉凤卿最后谁抚养?

西班牙四月干旱及炎热程度达62年来最高

【全球新视野】5.9金市健言:天然气2.06多!纳指13200多都持有!黄金继续拉据战!

今头条!稳外贸,再加把劲(开放谈)

全球热消息:外汇界新一:我不理解,为什么担忧黄金?

方萍萍:黄金短期即将遇阻调整 全球焦点

经济衰退担忧施压油价,但市场仍不乏利多因素! 全球热门

这份美联储重量级报告鼓舞黄金多头!期金恐有逾40美元大涨空间 机构:黄金、白银、原油...

计算机的硬件和软件分别是什么 请问计算机的硬件软件分别指什么_全球短讯

领英职场宣布停服 中国团队规模也将缩减

雨芳恋歌动漫全集樱花动漫无修版_雨芳恋歌_焦点报道

天舟六号任务完成发射前全区合练 各系统做好发射前准备工作

骑士十五世报价多少_骑士十五世报价

淋漓尽致潮流文化元素缔造“甜辣潮酷”的NWO女装

每日关注!南昌市出台行政事业单位房产、土地处置工作方案

别再“吹牛”了!周鸿祎称国内大模型先模仿再谈超越 每日视点

世界新消息丨“高铁掌掴事件”,这些疑问待厘清

环球视点!午评:沪指涨0.39%收复3400点,券商板块爆发,煤炭、银行等板块上扬

凯格尔运动怎么做图解_凯格尔运动怎么做 每日精选

短讯!王杨:黄金现价2024直接空!

每日头条!悬壶金翁:5.9黄金震荡看慢涨,原油多头姗姗来迟

每日时讯!山海杨阳:黄金休整反弹走完,周二看慢跌找低点支撑!

社会“认养”唤醒“中国最美乡村”-天天速讯

今日关注:咳嗽有痰吃什么好的快_大蒜冰糖水治咳嗽吗

世界观点:【异动股】券商概念板块拉升,光大证券(601788.CN)涨10.03%

柳岩自曝曾遭遇入室抢劫:被枕头捂醒 自己非常配合他们

从智慧仓储,看到518工品节数字化潜力

天天视点!确定!谷爱凌继续为中国出战,正式发声:我比肩姚明、李娜和刘翔

环球微动态丨强者愈强 揭示2022年白酒数据背后的真相

环球动态:中国式现代化的长三角实践丨北斗西虹桥基地:积极打造具有全球影响力的产业集聚高地

4月中国中小企业发展指数有所回落 仍高于去年同期水平 焦点要闻

ST宇顺董秘回复:截至2023年4月28日,公司股东户数为一万三千余户_环球观天下

【全球时快讯】易维哲:黄金可能还有调整,原油短线开始走弱

世界黄金协会:一季度央行仍大手笔购金,但速度有所放缓!

餐饮消费“再添一把火” 中国经济“再上新台阶”

小摩称美国银行业动荡,市场寻求风险对冲致黄金需求增加!-热点聚焦

多地五月强降雨,今年防汛形势如何?|世界快播

全球新动态:榴莲批发价跌至20多元1斤,能否降到以前的9.9元?

老古点金:黄金2028空 天天速读

全球热资讯!【孤魂黄金】黄金反弹,关注2030美元收复

气缸体的作用_气缸盖的作用 焦点热议

每日消息!对标一流看变化(记者手记)

一宗因救助引发的“盗狗案”:夫妇带走无人照看的萨摩耶获刑,案件将重审

【聚看点】北外国际商学院法耀CHP直升班2022年升学情况大曝光! -->

我国力争到2035年花卉年销售额超过7000亿元-全球报资讯

第三届动境体育新空间全球设计大赛银奖作品推介《流动之韵体育场地》

探访第三次修缮后的金山岭长城

环球热议:2023对外经济贸易大学在职课程培训班能免试入学吗?

入汛以来50条河流发生超警以上洪水,主汛期南北方均有多雨区

"右转必停"!北京市104处路口增设这类标志标线

三星Galaxy S24 Ultra将继承S23 Ultra传感器 全球新要闻

26个省份用电量正增长 用电数据彰显经济活力 世界微动态

多地五月强降雨,今年防汛形势如何?-每日动态

机构视点20230509

自制蛋糕的做法是什么?自制蛋糕能保存几天?