消费者日志数据,十亿个数据的每月数据量,检查数据库的数据库。遇到的主要问题如下:
以消费速度,将正确的日志处理到仓库。
一批数据进入内存中的仓库,例如一千和进入库之前。
将缓存存储器数据修改为“缓存”为REDIS,使用Redis的列表结构,保存1,000件,然后将它们全部删除到仓库中。
进入REDIS的策略保持不变,并且插座一一弹出。
将常规数据放入SLS中,然后完成一项任务,就像一批存储一样
两周后,我更改了5个版本和6个版本,而我的大脑几乎不够。这是一个简单的商业记录。将来,我将符合相同的业务逻辑供参考。
