计算机视觉网站扩容难？三步清除存储冗余

　　去年一月份那会儿，测试群从早响到晚，我蹲在机房门口抽第三根烟的时候，设计突然凑过来：“咱那计算机视觉网站，存储又爆了？”我盯着白板上“扩容”俩字被划了又改的痕迹——上回改需求还是三个月前，老板非要把模型版本全存下来，说“方便回溯”。方便个鬼，现在连新训练集都传不上去。

　　扩容难？难个屁。我原以为把旧数据全挪冷存储就完事儿，结果后端翻着监控说：“你瞅这，2018年的模型，占着SSD不放，可根本没人调过。”我凑过去看——好家伙，三十多个版本，每个都带着原始训练集，最小的也有两百多G。设计在旁边补刀：“上次客户要查2019年的检测结果，我翻了一下午，结果发现那版本早被新模型覆盖了。”

文章配图，仅供参考

　　第二天开会被骂惨了。老板拍桌子：“删了以后客户要查怎么办？”我指着监控图：“这三个月，就俩客户查过旧版本，其中一个是测试账号。”后端补刀：“而且我们保留了最后三个稳定版，真要查，半小时就能从冷存储调回来。”老板沉默了会儿，突然说：“那…先删一半试试？”

　　外卖到了没人拿，测试群还在响——有人报错说“模型加载失败”。我冲进会议室，设计正盯着屏幕乐：“这哥们用的2020年春节特供版，早被我们删了。”我骂：“你他妈不早说？”他无辜：“我以为他知道这版本早淘汰了。”后来发现，是某个老客户内部系统还绑着旧接口，非要用那个版本——最后我们花了半天给他单独搭了个旧环境，存储占用直接降了三分之一。

　　第二步更狠：给数据“打分”。我们定了三个标准：访问频率、模型准确率、关联项目数。访问低于每周一次的，扣分；准确率比最新版低5%以上的，扣分；只被一个废弃项目引用的，直接判死刑。设计边改脚本边吐槽：“这不就是数据界的‘末位淘汰’？”我笑：“可不就是？用得少的、没用的、过时的，全得滚。”

　　但真动手的时候，还是出了岔子。有个2019年的模型，访问频率低，准确率也一般，可关联着三个未归档的项目——后端不敢删，跑来问我。我翻了半天文档，发现那三个项目早停了，只是没走正式归档流程。最后我拍板：“删！出了问题我扛。”结果你猜怎么着？到现在都没人找过。

　　第三步最麻烦：建“数据坟场”。我们把淘汰的数据全挪到对象存储，设了90天自动清理——设计说这叫“数据临终关怀”，我骂他矫情。但说实话，这招挺管用。之前总有人误删数据，现在要删得先走审批，审批通过后先挪坟场，90天内还能恢复。测试群终于不响了，老板也没再因为存储爆掉骂人。

　　其实最让我后怕的，是之前太“念旧”。总想着“万一以后要用呢”，结果把存储撑爆，新数据都传不上去。现在想想，数据和产品一样，得“新陈代谢”——用得少的、没价值的，就该被淘汰。设计昨天还跟我说：“早知道这么简单，去年就不用熬夜改存储方案了。”我白他一眼：“去年你他妈还说要‘保留所有历史版本’呢。”

　　窗外天黑了，测试群又响了一声——是自动清理脚本的日志。我掐了烟，准备回去看看有没有漏网之鱼。设计在身后喊：“今晚吃啥？”我头也不回：“点外卖吧，反正存储暂时不会爆了。”

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!