Session重叠问题学习(三)--优化

接前文
http://blog.itpub.net/29254281/viewspace-2150229/

前文中的算法想了一天半,终于在昨天晚上得出了正确的结果.
在我的环境中,耗时90s ,还有进一步优化的空间.

首选是生成 t1 和 t2的方式.
之前使用create table 方式 导致类型不对,
因为是临时作用的表,所以可以预先创建表结构
CREATE TABLE `t1` (
  `roomid` int(11) NOT NULL DEFAULT '0',
  `userid` bigint(20) NOT NULL DEFAULT '0',
  `s` timestamp ,
  `e` timestamp,
  primary  KEY (`roomid`,`userid`,`s`,`e`),
  KEY (`roomid`,`s`,`e`)
)  ;

CREATE TABLE `t2` (
  `roomid` int(11) NOT NULL DEFAULT '0',
  `userid` bigint(20) NOT NULL DEFAULT '0',
  `s` timestamp ,
  `e` timestamp,
  primary  KEY (`roomid`,`userid`,`s`,`e`),
  KEY (`roomid`,`s`,`e`)
)  ;

前文中的第一步可以封装为一个过程
  1. DELIMITER $$  
  2.   
  3. CREATE DEFINER=`root`@`localhost` PROCEDURE `p`()  
  4. BEGIN  
  5.   
  6. insert into t1  
  7. select distinct    
  8. roomid,    
  9. userid,    
  10. if(date(s)!=date(e) and id>1,date(s+interval id-1 date(s+interval id-1 date(e) ,e,date_format(s+interval id-1 '%Y-%m-%d 23:59:59')) e    
  11. from (    
  12. SELECT DISTINCT s.roomid, s.userid, s.s, (      
  13.         SELECT MIN(e)      
  14.         FROM (SELECT DISTINCT roomid, userid, roomend AS e      
  15.             FROM u_room_log a      
  16.             WHERE NOT EXISTS (SELECT *      
  17.                 FROM u_room_log b      
  18.                 WHERE a.roomid = b.roomid      
  19.                     AND a.userid = b.userid      
  20.                     AND a.roomend >= b.roomstart      
  21.                     AND a.roomend < b.roomend)      
  22.             ) s2      
  23.         WHERE s2.e > s.s      
  24.             AND s.roomid = s2.roomid      
  25.             AND s.userid = s2.userid      
  26.         ) AS e      
  27. FROM (SELECT DISTINCT roomid, userid, roomstart AS s      
  28.     FROM u_room_log a      
  29.     WHERE NOT EXISTS (SELECT *      
  30.         FROM u_room_log b      
  31.         WHERE a.roomid = b.roomid      
  32.             AND a.userid = b.userid      
  33.             AND a.roomstart > b.roomstart      
  34.             AND a.roomstart <= b.roomend)      
  35.     ) s, (SELECT DISTINCT roomid, userid, roomend AS e      
  36.     FROM u_room_log a      
  37.     WHERE NOT EXISTS (SELECT *      
  38.         FROM u_room_log b      
  39.         WHERE a.roomid = b.roomid      
  40.             AND a.userid = b.userid      
  41.             AND a.roomend >= b.roomstart      
  42.             AND a.roomend < b.roomend)      
  43.     ) e      
  44. WHERE s.roomid = e.roomid      
  45.     AND s.userid = e.userid     
  46.     
  47. ) t1 ,    
  48. nums     
  49. where  nums.id<=datediff(e,s)+1    
  50.     
  51. ;    
  52.   
  53. END  

函数修改如下
  1. DELIMITER $$  
  2.   
  3. CREATE DEFINER=`root`@`localhost` FUNCTION `f`(pTime timestamp) RETURNS int(11)  
  4. BEGIN  
  5. declare pResult bigint;  
  6. insert into t2  
  7. select distinct v6.roomid,v6.userid,greatest(s,starttime) s,least(e,endtime) e  
  8. from (  
  9.     select roomid,as DATETIME) starttime,as DATETIME) endtime from (  
  10.          select @d as starttime,@d:=d,v3.roomid,v3.d endtime from (  
  11.                     select distinct roomid,   
  12.                     when nums.id=1 then v1s     
  13.                     when nums.id=2 then v1e     
  14.                     when nums.id=3 then v2s     
  15.                     when nums.id=4 then v2e     
  16.                     end d   from (  
  17.                         select   v1.roomid, v1.s v1s,v1.e v1e,v2.s v2s,v2.e v2e  
  18.                         from t1 v1  
  19.                         inner join t1 v2 on ((v1.s between v2.s and v2.e or v1.e between v2.s and v2.e )  and v1.roomid=v2.roomid)   
  20.                         where v2.roomid in(select distinct roomid from t1 where date(s)=pTime)  
  21.                         and v2.s>=pTime and v2.s<(pTime+interval '1' and (v2.roomid,v2.userid,v2.s,v2.e)!= (v1.roomid,v1.userid,v1.s,v1.e)   
  22.                     ) a,nums where nums.id<=4  
  23.                     order by roomid,d  
  24.         ) v3,(select @d:='') vars  
  25.     ) v4 where starttime!=''    
  26. ) v5 inner join t1 v6 on(v5.starttime between v6.s and v6.e and v5.endtime between v6.s and v6.e    and v5.roomid=v6.roomid)  
  27. ;  
  28.   
  29. select row_count() into pResult;  
  30. RETURN   pResult;  
  31. END  

原来是针对每天每个房间处理,经过优化对某天的所有房间进行处理,批量的形式更快

另外在中间过程增加了类型转换,可以更好的利用索引
 select roomid,CAST(starttime as DATETIME) starttime,CAST(endtime as DATETIME) endtime 


另外第7行 原来没有 distinct 可能导致bug
select distinct v6.roomid,v6.userid,greatest(s,starttime) s,least(e,endtime) e 

调用时执行:
truncate table t1;
truncate table t2;
call p;
select f(s) from (
select distinct date(s) s from t1
) t

两步的执行时间:
Session重叠问题学习(三)--优化

今天优化了一天,从90s优化到25s以内,已经达到了预期。
我觉得在单线程环境,基本上已经达到最优.
如果还想优化到极致,第二步的函数执行,可以通过JAVA程序多线程一起跑,只要服务器CPU核数多,优化效果应该还是很明显的。

文章题目:Session重叠问题学习(三)--优化
路径分享:https://www.cdcxhl.com/article36/ijjcsg.html

成都网站建设公司_创新互联,为您提供微信公众号微信小程序用户体验面包屑导航定制开发云服务器

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

外贸网站制作