• 墨玉县发展农村电商破解脱贫难题 2019-07-15
  • 晋中市通报五起违反中央八项规定精神问题 2019-07-14
  • 五月呼声报告: 陕11家单位上黑榜 官方回复房产投诉满意度低 2019-07-14
  • 高明农家乐地图出炉 教你玩出新花样清凉乐翻天 2019-07-13
  • 超出你想象  大胡子“绣郎”斩获刺绣界“奥斯卡”  2019-07-10
  • 澳媒:亚洲人别来了?悉尼再现种族歧视海报 2019-07-03
  • 为丰富百姓餐桌提供更多选择(打开对外开放新局面) 2019-07-03
  • 爬窗户干瞪眼  云南文山一小区惊现倭蜂猴 2019-07-02
  • 以古鉴今,习近平多次提及屈原 2019-07-02
  • 统一标尺严把关口 防止留置权滥用 2019-06-28
  • 四川医疗巡诊走进松潘为在乡优抚对象送健康 2019-06-25
  • 人民网驻乌克兰记者报道集 2019-06-23
  • 十九大代表杨峰:解决市民身边小事 汇集成民生大事 2019-06-23
  • 浙江舟山定海区一国企非党管理人员涉嫌受贿被查 2019-06-22
  • 中共中央组织部“12380”举报网站 2019-06-19
  • Jquery中文网 南粤风采36选7开奖公告 www.77402m.com
    Jquery中文网 >  数据库  >  mysql  >  正文 Mysql 多表联合查询效率分析及优化

    福建彩票36选7开奖结果:Mysql 多表联合查询效率分析及优化

    发布时间:2017-12-13   编辑:南粤风采36选7开奖公告 www.77402m.com
    jquery中文网为您提供Mysql 多表联合查询效率分析及优化等资源,欢迎您收藏本站,我们将为您提供最新的Mysql 多表联合查询效率分析及优化资源
    mysql大数据查询优化对于许多站长来讲都不会仔细的去分析了,对于这个问题小编最近碰到一个100W数据优化问题了,下面整理了一些mysql关联查询优化的测试及相关分析希望对各位有帮助。

    南粤风采36选7开奖公告 www.77402m.com 一,简单的关联子查询的一种优化 .

    很多时候,在mysql上实现的子查询的性能较差,这听起来实在有点难过。特别有时候,用到IN()子查询语句时,对于上了某种数量级的表来说,耗时多的难以估计。本人mysql知识所涉不深,只能慢慢摸透个中玄机了。


    假设有这样的一个exists查询语句:


    select * from table1
    where exists
        (select * from table2 where id>=30000 and table1.uuid=table2.uuid);


    table1为十万行级的表,table2为百万行级的表,本机测试结果用时2.40s。


    通过explain可以看到子查询是一个相关子查询(DEPENDENCE SUBQUERY); Mysql会首先对外表table1进行全表扫描,然后根据返回的uuid逐次执行子查询。如果外层表是一个很大的表,我们可以想象查询性能会表现得比此次测试更糟糕。


    一种简单的优化方案为使用inner join的方法来代替子查询, 查询语句则可以改为:


    select * from table1 innner join table2 using(uuid) where table2.id>=30000;


    本机测试结果用时0.68s。


    通过explain可以看到mysql使用了SIMPLE类型(子查询或union以外的查询方式); Mysql优化器会先过滤table2,然后对table1和table2做笛卡尔积得出结果集后,再通过on条件来过滤数据。

    二、多表联合查询效率分析及优化


    1. 多表连接类型
    1. 笛卡尔积(交叉连接) 在MySQL中可以为CROSS JOIN或者省略CROSS即JOIN,或者使用','  如:


    01.SELECT * FROM table1 CROSS JOIN table2  
    02.SELECT * FROM table1 JOIN table2  
    03.SELECT * FROM table1,table2 
    SELECT * FROM table1 CROSS JOIN table2
    SELECT * FROM table1 JOIN table2
    SELECT * FROM table1,table2        由于其返回的结果为被连接的两个数据表的乘积,因此当有WHERE, ON或USING条件的时候一般不建议使用,因为当数据表项目太多的时候,会非常慢。一般使用LEFT [OUTER] JOIN或者RIGHT [OUTER] JOIN

     2.   内连接INNER JOIN 在MySQL中把INNER JOIN叫做等值连接,即需要指定等值连接条件在MySQL中CROSS和INNER JOIN被划分在一起。 join_table: table_reference [INNER | CROSS] JOIN table_factor [join_condition]

    3. MySQL中的外连接,分为左外连接和右连接,即除了返回符合连接条件的结果之外,还要返回左表(左连接)或者右表(右连接)中不符合连接条件的结果,相对应的使用NULL对应。

    例子:

    user表:

    id | name
    ———
    1 | libk
    2 | zyfon
    3 | daodao

    user_action表:

    user_id | action
    —————
    1 | jump
    1 | kick
    1 | jump
    2 | run
    4 | swim

    sql:


    01.select id, name, action from user as u 
    02.left join user_action a on u.id = a.user_id 
    select id, name, action from user as u
    left join user_action a on u.id = a.user_idresult:
    id | name    | action
    ——————————–
    1  | libk         | jump           ①
    1  | libk         | kick             ②
    1  | libk         | jump           ③
    2  | zyfon      | run               ④
    3  | daodao | null              ⑤

    分析:
    注意到user_action中还有一个user_id=4, action=swim的纪录,但是没有在结果中出现,
    而user表中的id=3, name=daodao的用户在user_action中没有相应的纪录,但是却出现在了结果集中
    因为现在是left join,所有的工作以left为准.
    结果1,2,3,4都是既在左表又在右表的纪录,5是只在左表,不在右表的纪录

     

    工作原理:

    从左表读出一条,选出所有与on匹配的右表纪录(n条)进行连接,形成n条纪录(包括重复的行,如:结果1和结果3),如果右边没有与on条件匹配的表,那连接的字段都是null.然后继续读下一条。

    引申:
    我们可以用右表没有on匹配则显示null的规律, 来找出所有在左表,不在右表的纪录, 注意用来判断的那列必须声明为not null的。
    如:
    sql:


    01.select id, name, action from user as u 
    02.left join user_action a on u.id = a.user_id 
    03.where a.user_id is NULL 
    select id, name, action from user as u
    left join user_action a on u.id = a.user_id
    where a.user_id is NULL
    (注意:

            1.列值为null应该用is null 而不能用=NULL
             2.这里a.user_id 列必须声明为 NOT NULL 的.


    上面sql的result:
    id | name | action
    ————————–
    3 | daodao | NULL

    ——————————————————————————–

    一般用法:

    a. LEFT [OUTER] JOIN:

    除了返回符合连接条件的结果之外,还需要显示左表中不符合连接条件的数据列,相对应使用NULL对应


    01.SELECT column_name FROM table1 LEFT [OUTER] JOIN table2 ON table1.column=table2.column 
     SELECT column_name FROM table1 LEFT [OUTER] JOIN table2 ON table1.column=table2.column
    b. RIGHT [OUTER] JOIN:

    RIGHT与LEFT JOIN相似不同的仅仅是除了显示符合连接条件的结果之外,还需要显示右表中不符合连接条件的数据列,相应使用NULL对应


    01.SELECT column_name FROM table1 RIGHT [OUTER] JOIN table2 ON table1.column=table2.column 
     SELECT column_name FROM table1 RIGHT [OUTER] JOIN table2 ON table1.column=table2.columnTips:

    1. on a.c1 = b.c1 等同于 using(c1)
    2. INNER JOIN 和 , (逗号) 在语义上是等同的
    3. 当 MySQL 在从一个表中检索信息时,你可以提示它选择了哪一个索引。
    如果 EXPLAIN 显示 MySQL 使用了可能的索引列表中错误的索引,这个特性将是很有用的。
    通过指定 USE INDEX (key_list),你可以告诉 MySQL 使用可能的索引中最合适的一个索引在表中查找记录行。
    可选的二选一句法 IGNORE INDEX (key_list) 可被用于告诉 MySQL 不使用特定的索引。如:


    01.mysql> SELECT * FROM table1 USE INDEX (key1,key2) 
    02.-> WHERE key1=1 AND key2=2 AND key3=3; 
    03.mysql> SELECT * FROM table1 IGNORE INDEX (key3) 
    04.-> WHERE key1=1 AND key2=2 AND key3=3; 
    mysql> SELECT * FROM table1 USE INDEX (key1,key2)
    -> WHERE key1=1 AND key2=2 AND key3=3;
    mysql> SELECT * FROM table1 IGNORE INDEX (key3)
    -> WHERE key1=1 AND key2=2 AND key3=3;

    2. 表连接的约束条件
     添加显示条件WHERE, ON, USING

    1. WHERE子句

    mysql>


    01.SELECT * FROM table1,table2 WHERE table1.id=table2.id; 
    SELECT * FROM table1,table2 WHERE table1.id=table2.id;
    2. ON

    mysql>


    01.SELECT * FROM table1 LEFT JOIN table2 ON table1.id=table2.id; 
    02. 
    03.SELECT * FROM table1 LEFT JOIN table2 ON table1.id=table2.id 
    04.LEFT JOIN table3 ON table2.id=table3.id; 
    SELECT * FROM table1 LEFT JOIN table2 ON table1.id=table2.id;

    SELECT * FROM table1 LEFT JOIN table2 ON table1.id=table2.id
    LEFT JOIN table3 ON table2.id=table3.id;
    3. USING子句,如果连接的两个表连接条件的两个列具有相同的名字的话可以使用USING

     例如:

    SELECT FROM LEFT JOIN USING ()

     

    连接多于两个表的情况举例:

    mysql>


    01.SELECT artists.Artist, cds.title, genres.genre  
    02. 
    03.FROM cds  
    04. 
    05.LEFT JOIN genres N cds.genreID = genres.genreID  
    06. 
    07.LEFT JOIN artists ON cds.artistID = artists.artistID;  
    SELECT artists.Artist, cds.title, genres.genre

    FROM cds

    LEFT JOIN genres N cds.genreID = genres.genreID

    LEFT JOIN artists ON cds.artistID = artists.artistID;

     

    或者 mysql>


    01.SELECT artists.Artist, cds.title, genres.genre  
    02. 
    03.FROM cds  
    04. 
    05.LEFT JOIN genres ON cds.genreID = genres.genreID  
    06. 
    07. LEFT JOIN artists -> ON cds.artistID = artists.artistID 
    08. 
    09. WHERE (genres.genre = 'Pop');  
    SELECT artists.Artist, cds.title, genres.genre

    FROM cds

    LEFT JOIN genres ON cds.genreID = genres.genreID

     LEFT JOIN artists -> ON cds.artistID = artists.artistID

     WHERE (genres.genre = 'Pop');

    --------------------------------------------

     另外需要注意的地方 在MySQL中涉及到多表查询的时候,需要根据查询的情况,想好使用哪种连接方式效率更高。

     1. 交叉连接(笛卡尔积)或者内连接 [INNER | CROSS] JOIN

     2. 左外连接LEFT [OUTER] JOIN或者右外连接RIGHT [OUTER] JOIN 注意指定连接条件WHERE, ON,USING.

    3. MySQL如何优化LEFT JOIN和RIGHT JOIN
    在MySQL中,A LEFT JOIN B join_condition执行过程如下:

    1)·  根据表A和A依赖的所有表设置表B。

    2)·  根据LEFT JOIN条件中使用的所有表(除了B)设置表A。

    3)·   LEFT JOIN条件用于确定如何从表B搜索行。(换句话说,不使用WHERE子句中的任何条件)。

    4)·  可以对所有标准联接进行优化,只是只有从它所依赖的所有表读取的表例外。如果出现循环依赖关系,MySQL提示出现一个错误。

    5)· 进行所有标准WHERE优化。

    6)· 如果A中有一行匹配WHERE子句,但B中没有一行匹配ON条件,则生成另一个B行,其中所有列设置为NULL。

    7)· 如果使用LEFT JOIN找出在某些表中不存在的行,并且进行了下面的测试:WHERE部分的col_name IS NULL,其中col_name是一个声明为 NOT NULL的列,MySQL找到匹配LEFT JOIN条件的一个行后停止(为具体的关键字组合)搜索其它行。

    RIGHT JOIN的执行类似LEFT JOIN,只是表的角色反过来。

    联接优化器计算表应联接的顺序。LEFT JOIN和STRAIGHT_JOIN强制的表读顺序可以帮助联接优化器更快地工作,因为检查的表交换更少。请注意这说明如果执行下面类型的查询,MySQL进行全扫描b,因为LEFT JOIN强制它在d之前读?。?/p>


    01.SELECT * 
    02.FROM a,b LEFT JOIN c ON (c.key=a.key) LEFT JOIN d ON (d.key=a.key) 
    03.WHERE b.key=d.key; 
    SELECT *
    FROM a,b LEFT JOIN c ON (c.key=a.key) LEFT JOIN d ON (d.key=a.key)
    WHERE b.key=d.key;
    在这种情况下修复时用a的相反顺序,b列于FROM子句中:


    01.SELECT * 
    02.FROM b,a LEFT JOIN c ON (c.key=a.key) LEFT JOIN d ON (d.key=a.key) 
    03.WHERE b.key=d.key; 
    SELECT *
    FROM b,a LEFT JOIN c ON (c.key=a.key) LEFT JOIN d ON (d.key=a.key)
    WHERE b.key=d.key;
    MySQL可以进行下面的LEFT JOIN优化:如果对于产生的NULL行,WHERE条件总为假,LEFT JOIN变为普通联接。

    例如,在下面的查询中如果t2.column1为NULL,WHERE 子句将为false:


    01.SELECT * FROM t1 LEFT JOIN t2 ON (column1) WHERE t2.column2=5; 
    SELECT * FROM t1 LEFT JOIN t2 ON (column1) WHERE t2.column2=5;因此,可以安全地将查询转换为普通联接:


    01.SELECT * FROM t1, t2 WHERE t2.column2=5 AND t1.column1=t2.column1; 
    SELECT * FROM t1, t2 WHERE t2.column2=5 AND t1.column1=t2.column1;这样可以更快,因为如果可以使查询更佳,MySQL可以在表t1之前使用表t2。为了强制使用表顺序,使用STRAIGHT_JOIN。


    三、利用缓存来实现

    现在社区分享类网站很火,就拿方维购物分享网站举例说明吧。也是对二次开发方维购物分享网站的一点总结,高手可以飞过。

    购物分享的关键表有:分享表、图片表、文件表、评论表、标签表、分类表等。
    围绕分享的表就么多,哇,那也不少啊。当我们查看一个图片的详细信息时,就要显示以上表里的信息。显示图片所属的分类、给图片打的标签、图片的评论、有文件的话还要显示文件下载信息等。难道让我们6个表去关联查询嘛,当然不能这么多关联来查询数据,我们可以只查询一个表即可,这怎么讲?这里分享表是主表,我们可以在主表里建立一个缓存字段。比如我们叫cache_data字段,赋予它text类型,这样可以存储很长的字符串,而不至于超过字段的最大存储。

    这个缓存字段怎么用呢?在新增一条分享信息后,产生分享ID。如果用户发布图片或文件的话,图片信息入图片表,文件信息入文件表,然后把新产生的图片或文件信息写入到缓存字段里。同样的,如果用户有选择分类、打了标签的话,也把相应的信息写入到缓存字段里。对于评论而言,没有必要把全部评论存到缓存字段里,因为你不知道他有多少条记录,可以把最新的10条存到缓存字段里用于显示,这样缓存字段就变成一个二维或三维数组,序列化后存储到分享表里。

    array(
     
     'img' = array(
      name => '123.jpg',
      url  => '//tech.42xiu.com/123.jpg',
      width  => 800,
      width  => 600,
     ),

     'file' = array(
      name => 'abc.zip',
      download_url  => '//tech.42xiu.com/abc.zip',
      size  => 1.2Mb,
     ),

     'category' = array(
      1 => array(
       id => 5,
       name => PHP乐知博客
      ),

      2 => array(
       id => 6,
       name => PHP技术博客
      ),
     ),

     'tag' => array(
      tag1
      tag2
      ......
     ),

     'message' => array(
      1 => array(id, uid, name, content, time),
      2 => array(id, uid, name, content, time),
      3 => array(id, uid, name, content, time),
      4 => array(id, uid, name, content, time),
     ),

    )
    //比如,上面的数组结构,序列化存入数据库。

    UPDATE share SET cache_data=mysql_real_escape_string(serialize($cache_data)) WHERE id=1;这样查询就变得简单了,只需要查询一条就行了,取到缓存字段,把其反序列化,把数组信息提取出来,然后显示到页面。如果是以前那个结构,在几十万的数据量下,估计早崩溃了。数据缓存的方法也许不是最好的,如果你有更好的方法,可以相互学习,相互讨论。

    您可能感兴趣的文章:
    Mysql 多表联合查询效率分析及优化
    学习开启mysql慢查询与分析查询语句
    phpcms教程之mysql配置优化
    mysql中视图和union联合查询的使用
    MySQL 根据 status 状态优化
    有关php的缓存技术介绍
    mysql开启慢查询以检查查询慢的语句
    从哪些方面对ASP.NET进行性能优化
    mysql常用sql语句大全
    DB2数据库设计和最高性能原则

    [关闭]
  • 墨玉县发展农村电商破解脱贫难题 2019-07-15
  • 晋中市通报五起违反中央八项规定精神问题 2019-07-14
  • 五月呼声报告: 陕11家单位上黑榜 官方回复房产投诉满意度低 2019-07-14
  • 高明农家乐地图出炉 教你玩出新花样清凉乐翻天 2019-07-13
  • 超出你想象  大胡子“绣郎”斩获刺绣界“奥斯卡”  2019-07-10
  • 澳媒:亚洲人别来了?悉尼再现种族歧视海报 2019-07-03
  • 为丰富百姓餐桌提供更多选择(打开对外开放新局面) 2019-07-03
  • 爬窗户干瞪眼  云南文山一小区惊现倭蜂猴 2019-07-02
  • 以古鉴今,习近平多次提及屈原 2019-07-02
  • 统一标尺严把关口 防止留置权滥用 2019-06-28
  • 四川医疗巡诊走进松潘为在乡优抚对象送健康 2019-06-25
  • 人民网驻乌克兰记者报道集 2019-06-23
  • 十九大代表杨峰:解决市民身边小事 汇集成民生大事 2019-06-23
  • 浙江舟山定海区一国企非党管理人员涉嫌受贿被查 2019-06-22
  • 中共中央组织部“12380”举报网站 2019-06-19
  • cba季前赛 神奇一码中特 排列三012路走势图 中国体育彩票排列3排列5预测 彩经网杀号 吉利分分彩规则 平特公式规律论坛 新疆25选7微信群 六合彩今晚开什么 燕赵风采20选5开奖结果查询今天 新浪足彩网 福建22选5走势图大星彩票 新疆25选7历史开奖 2019南国七星彩走势图 宁夏十一选五软件