当前位置: 首页 > 后端技术 > PHP

php如何将100w级别的数据放入数据库

时间:2023-03-30 05:59:06 PHP

场景:为100w用户生成测试数据。首先是生成用户数据。向数据库中插入100w个用户数据。这里一般有两种做法:一种是:批量插入。但是这种会有问题,写程序测试的时候发现不了。因为5k的数据貌似可以批量插入。但是当数据量很大的时候,比如10w,100w,就会发现。内存不足。第二种是:分批插入(比如一次插入2k条,因为单条插入速度太慢)。一般phper在测试的时候都是使用浏览器访问方式来执行程序的。但是如果插入时间过长,浏览器收不到服务器的反馈信息,就会直接报504错误(超时),同时程序停止运行。这种情况下,可以使用CLI用脚本执行php,是一个完美的解决方案。这是CI框架的工作原理,我相信其他框架也应该可以工作。