欢迎光临
我们一直在努力

把not in 改成not exists后的优化

 

把not in 改成not exists后的优化


近期,OA数据库里面存在一条慢SQL,其执行时间为3分16秒。这条慢SQL语句每个月可能会运行几次,但其运行后,总会导致数据库CPU利用率飙升。然后我就对这个慢SQL语句进行了改写测试,改写后的运行时间降为13s(虽然还是很慢,但已经速度提升了18倍)。



具体分析过程如下:

通过慢日志捕捉到的慢SQL及其运行时间:

1 select id,start_member_id,start_date,modify_member_id,modify_date from formmain_0141 where id not in (select content_data_id from ctp_content_all where content_template_id=’6890363387462501722′ and content_data_id is not null  ) limit 20000, 10000\G

Empty set (3 min 2.01 sec)

可见,生产中,该语句运行时间是3分2秒。

我们来看看其执行计划,为什么这么慢:

2、我改写后的索引,用的是 not exists ,内外交互式子查询:

mysql> select id,start_member_id,start_date,modify_member_id,modify_date from formmain_0141 where not exists (select 1 from ctp_content_all where content_data_id= formmain_0141.id and content_data_id is not null and content_template_id=’6890363387462501722′) limit 20000, 10000 ;
Empty set (
13.84 sec)


看到用not exists后,执行时间降到13秒,效率有显著提升。


我们再看一下优化后语句的执行计划:




把not in改写为not exists快的原因,我想用mysql 5.6的新特性ICP的原理来解释,在改写后的sql语句中,MySQL在从 ctp_content_all表中取出数据的同时,就开始判断是否可以在formmain_0141表中进行id过滤,从而大大减少了上层对SQL层的记录索引,提高数据库整体性能。

反观优化前的那条sql语句,它是把 ctp_content_all 表里面所有符合条件的记录都取出来后,再到 formmain_0141表里进行id字段过滤,所以慢。

赞(0)
【声明】:本博客不参与任何交易,也非中介,仅记录个人感兴趣的主机测评结果和优惠活动,内容均不作直接、间接、法定、约定的保证。访问本博客请务必遵守有关互联网的相关法律、规定与规则。一旦您访问本博客,即表示您已经知晓并接受了此声明通告。