mysql数据库实现插入千万级数据的方法

MySQL如何实现循环插入千万级数据？

创新互联2013年开创至今，先为靖西等服务建站，靖西等地企业，进行企业商务咨询服务。为靖西企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

1.建表：

CREATE TABLE `mysql_genarate` (  
`id` int(11) NOT NULL AUTO_INCREMENT,  
`uuid` varchar(50) DEFAULT NULL,  
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8

2.创建一条条循环插入的存储过程

create procedure test_two1()
     begin
        declare i int default 0;       while i < 3000 do
            INSERT into mysql_genarate(uuid) VALUES(UUID());            set i = i + 1;
        end while;
    end #

使用 call test_two1(); 测试，3000条数据耗时74秒，如果是千万级数据，这个速度将无法忍受。

所以我在网上找了一下优化的方法，发现可以拼接批量插入的sql语句，速度提升很多；

3.优化后的存储过程

CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0;
set @exesql = concat("insert into mysql_genarate(uuid) values");
set @exedata = "";
set count=0;
set i=0;while count<sum do 
    set @exedata = concat(@exedata, ",(UUID())");
    set count=count+1;
    set i=i+1;    if i%1000=0
    then 
        set @exedata = SUBSTRING(@exedata, 2);
        set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);
        prepare stmt from @exesql;
        execute stmt;        DEALLOCATE prepare stmt;
        set @exedata = "";    end if;end while;if length(@exedata)>0 then 
    set @exedata = SUBSTRING(@exedata, 2);
    set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);
    prepare stmt from @exesql;
    execute stmt;    DEALLOCATE prepare stmt;end if;end;

调用 call insertPro(3000) ，耗时零点几秒，这个速度可以接受。

接着调用 call insertPro(30000000) ;测试3000万条数据插入，结果耗时1824.203s(30分钟)。个人电脑这个速度可以了。

另外，采用java多线程同时拼接sql，每10000条提交一次的方式，在8个线程同时运行的情况下，3000万条数据插入耗时336s，1亿条数据插入耗时1087s。

以上就是mysql如何实现循环插入千万级数据的详细内容，更多请关注创新互联其它相关文章！

分享名称：mysql数据库实现插入千万级数据的方法
当前地址：https://www.cdcxhl.com/article24/ggeije.html

成都网站建设公司_创新互联，为您提供定制开发、营销型网站建设、Google、面包屑导航、手机网站建设、网站导航

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联