你说的写文件是个思路。如果你只是要求某一个字段是唯一,可以把这个存在内存中,每次进行验证。然后把验证通过的数据写入文件,最后在统一从文件中读出来存入数据库。
站在用户的角度思考问题,与客户深入沟通,找到铁门关网站设计与铁门关网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:网站建设、做网站、企业官网、英文网站、手机端网站、网站推广、域名注册、网页空间、企业邮箱。业务覆盖铁门关地区。
但是又会出现个问题。如果你是10万条数据在文件里,你要是想用一个INSERT插入,那必须得先把这数据读到内存里,肯定也很慢,而且不稳定。如果你逐条读出插入,对数据库也是个消耗。不过你可以把数据拆散,比如每1000条插一次。
给你个思路
先最大化 PHP 效率充分利用 系统资源。
把 sql 拆开比如2万一个用一个 php 去跑 总共用5个 php 一起跑。
然后最大化 mysql 效率
查一下mysql 的瓶颈在哪。针对性的去优化。
查询慢 就看看索引什么的
写慢就查查 buffer 什么的。
这里强烈建议读写分离。
用不通的数据库实例去分别处理读写。
再看看磁盘 IO 性能。看看队列数据。不行就上阵列。或者单表部署单个磁盘。或者读写在不同的磁盘进行。
当然用缓存也可以。
比如把10万条都独出来存到 memcache 等内存缓存中。循环处理数据的时候读内存的数据不用查数据库。
还有终极大招。
你直接把数据库都搬内存里面。。。
Failed to create directory
CCLOG("AssetsManagerEx : can not create directory %s\n", fullPath.c_str());
unzClose(zipfile);
return false;
}
}
检查下 php.ini 文件中的限制
upload_max_filesize
post_max_size
如果超出你提交的文件大小,就改大一些
改了之后重启 apache!
检查下 php.ini 文件中的限制
upload_max_filesize
post_max_size
如果超出你提交的文件大小,就改大一些
改了之后重启 apache
名称栏目:php修改10万条数据,php处理10万级数据
文章源于:https://www.cdcxhl.com/article26/hdohcg.html
成都网站建设公司_创新互联,为您提供品牌网站建设、自适应网站、手机网站建设、全网营销推广、外贸建站、静态网站
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联