吴伟贤のBlog

Feed Rss

存档: ‘mysql’ 分类

MySQL百万以上数据分页

05.13.2010, MySQL百万以上数据分页已关闭评论, mysql, by .

MySQL优化SQL语句
最快和最少两个原则
最快:
1、使用主键作为条件
2、使用唯一的索引作为条件
3、使用整数(或时间)类型的索引作为条件
4、使用定长的列索引作为条件
最少:
缩小查询范围
用 select id 等代替 select *
用查询先找出最少的主键:select id from my_tab order by id desc limit 0,100

百万以上数据分页实例

取总数: Select SQL_BUFFER_RESULT count(id) as all_ID from my_tab

总页数: 总数/每页条数

最后一页的条数: 总数%每页条数

查询数据:
select id,title,price from my_tab m INNER JOIN ( select id as my_id from ( select id from my_tab order by id desc limit 1741500,100 ) as tmp ) as temp ON my_id=id

第一步、按照最快原则,以主键id作为条件排序 ( select id from my_tab order by id desc limit 1741500,100 ) as tmp

第二步、按照最少原则,只取回当前所需的记录,而且只取id ( select id from my_tab order by id desc limit 1741500,100 ) as tmp

第三步、按照最快原则,以主键id作为条件取回所需的信息 select id,title,price from my_tab m INNER JOIN ( … ) as temp ON my_id=id

显示列表实例: http://58.dwyfz.com

了解更多

Mysql limit 优化,百万至千万级快速分页,–复合索引的引用并应用于轻量级框架

05.13.2010, Mysql limit 优化,百万至千万级快速分页,–复合索引的引用并应用于轻量级框架已关闭评论, mysql, by .

MySql 性能到底能有多高?用了php半年多,真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望,到现在充满信心!MySql 这个数据库绝对是适合dba级的高手去玩的,一般做一点1万篇新闻的小型系统怎么写都可以,用xx框架可以实现快速开发。可是数据量到了10万,百万至千万,他的性能还能那么高吗?一点小小的失误,可能造成整个系统的改写,甚至更本系统无法正常运行!好了,不那么多废话了。用事实说话,看例子:

数据表 collect ( id, title ,info ,vtype) 就这4个字段,其中 title 用定长,info 用text, id 是逐渐,vtype是tinyint,vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据,填充10万篇新闻。

最后collect 为 10万条记录,数据库表占用硬盘1.6G。OK ,看下面这条sql语句:

select id,title from collect limit 1000,10; 很快;基本上0.01秒就OK,再看下面的

select id,title from collect limit 90000,10; 从9万条开始分页,结果?

8-9秒完成,my god 哪出问题了????其实要优化这条数据,网上找得到答案。看下面一条语句:

select id from collect order by id limit 90000,10; 很快,0.04秒就OK。 为什么?因为用了id主键做索引当然快。网上的改法是:

select id,title from collect where id>=(select id from collect order by id limit 90000,1) limit 10;

这就是用了id做索引的结果。可是问题复杂那么一点点,就完了。看下面的语句

select id from collect where vtype=1 order by id limit 90000,10; 很慢,用了8-9秒!

到了这里我相信很多人会和我一样,有崩溃感觉!vtype 做了索引了啊?怎么会慢呢?vtype做了索引是不错,你直接 select id from collect where vtype=1 limit 1000,10; 是很快的,基本上0.05秒,可是提高90倍,从9万开始,那就是0.05*90=4.5秒的速度了。和测试结果8-9秒到了一个数量级。从这里开始有人提出了分表的思路,这个和discuz 论坛是一样的思路。思路如下:

建一个索引表: t (id,title,vtype) 并设置成定长,然后做分页,分页出结果再到 collect 里面去找info 。 是否可行呢?实验下就知道了。

10万条记录到 t(id,title,vtype) 里,数据表大小20M左右。用

select id from t where vtype=1 order by id limit 90000,10; 很快了。基本上0.1-0.2秒可以跑完。为什么会这样呢?我猜想是因为collect 数据太多,所以分页要跑很长的路。limit 完全和数据表的大小有关的。其实这样做还是全表扫描,只是因为数据量小,只有10万才快。OK, 来个疯狂的实验,加到100万条,测试性能。

加了10倍的数据,马上t表就到了200多M,而且是定长。还是刚才的查询语句,时间是0.1-0.2秒完成!分表性能没问题?错!因为我们的limit还是9万,所以快。给个大的,90万开始

select id from t where vtype=1 order by id limit 900000,10; 看看结果,时间是1-2秒!

why ?? 分表了时间还是这么长,非常之郁闷!有人说定长会提高limit的性能,开始我也以为,因为一条记录的长度是固定的,mysql 应该可以算出90万的位置才对啊? 可是我们高估了mysql 的智能,他不是商务数据库,事实证明定长和非定长对limit影响不大? 怪不得有人说 discuz到了100万条记录就会很慢,我相信这是真的,这个和数据库设计有关!

难道MySQL 无法突破100万的限制吗???到了100万的分页就真的到了极限???

答案是: NO !!!! 为什么突破不了100万是因为不会设计mysql造成的。下面介绍非分表法,来个疯狂的测试!一张表搞定100万记录,并且10G 数据库,如何快速分页!

好了,我们的测试又回到 collect表,开始测试结论是: 30万数据,用分表法可行,超过30万他的速度会慢道你无法忍受!当然如果用分表+我这种方法,那是绝对完美的。但是用了我这种方法后,不用分表也可以完美解决!

答案就是:复合索引! 有一次设计mysql索引的时候,无意中发现索引名字可以任取,可以选择几个字段进来,这有什么用呢?开始的select id from collect order by id limit 90000,10; 这么快就是因为走了索引,可是如果加了where 就不走索引了。抱着试试看的想法加了 search(vtype,id) 这样的索引。然后测试

select id from collect where vtype=1 limit 90000,10; 非常快!0.04秒完成!

再测试: select id ,title from collect where vtype=1 limit 90000,10; 非常遗憾,8-9秒,没走search索引!

再测试:search(id,vtype),还是select id 这个语句,也非常遗憾,0.5秒。

综上:如果对于有where 条件,又想走索引用limit的,必须设计一个索引,将where 放第一位,limit用到的主键放第2位,而且只能select 主键!

完美解决了分页问题了。可以快速返回id就有希望优化limit , 按这样的逻辑,百万级的limit 应该在0.0x秒就可以分完。看来mysql 语句的优化和索引时非常重要的!

好了,回到原题,如何将上面的研究成功快速应用于开发呢?如果用复合查询,我的轻量级框架就没的用了。分页字符串还得自己写,那多麻烦?这里再看一个例子,思路就出来了:

select * from collect where id in (9000,12,50,7000); 竟然 0秒就可以查完!

mygod ,mysql 的索引竟然对于in语句同样有效!看来网上说in无法用索引是错误的!

有了这个结论,就可以很简单的应用于轻量级框架了:

代码如下:

$db=dblink();
$db->pagesize=20;

$sql="select id from collect where vtype=$vtype";

$db->execute($sql);
$strpage=$db->strpage(); //将分页字符串保存在临时变量,方便输出
while($rs=$db->fetch_array()){
   $strid.=$rs[‘id’].’,’;
}
$strid=substr($strid,0,strlen($strid)-1); //构造出id字符串
$db->pagesize=0; //很关键,在不注销类的情况下,将分页清空,这样只需要用一次数据库连接,不需要再开;
$db->execute("select id,title,url,sTime,gTime,vtype,tag from collect where id in ($strid)");

<?php while($rs=$db->fetch_array()): ?>
<tr>
    <td>&nbsp;<?php echo $rs[‘id’];?></td>
    <td>&nbsp;<?php echo $rs[‘url’];?></td>
    <td>&nbsp;<?php echo $rs[‘sTime’];?></td>
    <td>&nbsp;<?php echo $rs[‘gTime’];?></td>
    <td>&nbsp;<?php echo $rs[‘vtype’];?></td>
    <td>&nbsp;<a href="?act=show&id=<?php echo $rs[‘id’];?>" target="_blank"><?php echo $rs[‘title’];?></a></td>
    <td>&nbsp;<?php echo $rs[‘tag’];?></td>
</tr>
<?php endwhile; ?>
</table>
<?php
echo $strpage;

通过简单的变换,其实思路很简单:1)通过优化索引,找出id,并拼成 "123,90000,12000" 这样的字符串。2)第2次查询找出结果。

小小的索引+一点点的改动就使mysql 可以支持百万甚至千万级的高效分页!

通过这里的例子,我反思了一点:对于大型系统,PHP千万不能用框架,尤其是那种连sql语句都看不到的框架!因为开始对于我的轻量级框架都差点崩溃!只适合小型应
用的快速开发,对于ERP,OA,大型网站,数据层包括逻辑层的东西都不能用框架。如果程序员失去了对sql语句的把控,那项目的风险将会成几何级数增加!尤其是用mysql 的时候,mysql 一定需要专业的dba 才可以发挥他的最佳性能。一个索引所造成的性能差别可能是上千倍!

PS: 经过实际测试,到了100万的数据,160万数据,15G表,190M索引,就算走索引,limit都得0.49秒。所以分页最好别让别人看到10万条以后的数据,要不然会很慢!就算用索引。经过这样的优化,mysql到了百万级分页是个极限!但有这样的成绩已经很不错,如果你是用sqlserver肯定卡死!而160万的数据用 id in (str) 很快,基本还是0秒。如果这样,千万级的数据,mysql应该也很容易应付。

了解更多

mysql insert into select

03.05.2010, mysql insert into select已关闭评论, mysql, by .

今天数据迁移用到的

insert into `wetao_mobile2` (mobile,addtime,name,address,haomaleibie,price)
SELECT mobilenumber,addtime,name,address,brand,price FROM `wetao_mobile`

了解更多

mysql select 字段固定值

03.04.2010, mysql select 字段固定值已关闭评论, mysql, by .

select *,-1+0 as total_count from table
给total_count固定值-1
等于
select *,(-1) total_count from table

了解更多

mysql where子句的执行顺序

02.21.2010, mysql where子句的执行顺序已关闭评论, mysql, by .

在语句select * from t where A=a and B=b中,会先执行A=a还是B=b呢?

 

因为如果你给A和B都添加索引,那么, 是由索引来判断实际进行查询的记录数。
假设:A索引,B没有索引,所以查询语句会只检索A=’a’下的记录,同时匹配B=b,KEY是A
反之,A无索引,B索引,则KEY为B,也就是说,优先权到了B字段。
如果AB都索引,则由索引判断A=’a’与B=’b’的记录数,谁少,则谁是KEY,优先权归谁。

 

建议LZ仔细看看mysql手册的
‘How MySQL Uses Indexes’ 一章,讲的比较详细的。

了解更多

MySQL数据导入导出方法与工具介绍

11.12.2008, MySQL数据导入导出方法与工具介绍已关闭评论, mysql, by .

 1).mysqlimport的语法介绍:
  mysqlimport位于mysql/bin目录中,是mysql的一个载入(或者说导入)数据的一个非常有效的工具。这是一个命令行工具。有两个参数以及大量的选项可供选择。这个工具把一个文本文件(text file)导入到你指定的数据库和表中。比方说我们要从文件Customers.txt中把数据导入到数据库Meet_A_Geek中的表Custermers中:
  mysqlimport Meet_A_Geek Customers.txt
  注意:这里Customers.txt是我们要导入数据的文本文件, 而Meet_A_Geek是我们要操作的数据库,
  数据库中的表名是Customers,这里文本文件的数据格式必须与Customers表中的记录格式一致,否则mysqlimport命令将会出错。 其中表的名字是导入文件的第一个句号(.)前面文件字符串,另外一个例子:
  mysqlimport Meet_A_Geek Cus.to.mers.txt
  那么我们将把文件中的内容导入到数据库Meet_A_Geek 中的Cus表中。
  上面的例子中,都只用到两个参数,并没有用到更多的选项,下面介绍mysqlimport的选项
  
  2).mysqlimport的常用选项介绍:
  选项 功能
  -d or –delete 新数据导入数据表中之前删除数据数据表中的所有信息
  -f or –force 不管是否遇到错误,mysqlimport将强制继续插入数据
  -i or –ignore mysqlimport跳过或者忽略那些有相同唯一关键字的行, 导入文件中的数据将被忽略。
  -l or -lock-tables 数据被插入之前锁住表,这样就防止了, 你在更新数据库时,用户的查询和更新受到影响。
  -r or -replace 这个选项与-i选项的作用相反;此选项将替代表中有相同唯一关键字的记录。
  –fields-enclosed- by= char
  指定文本文件中数据的记录时以什么括起的, 很多情况下数据以双引号括起。 默认的情况下数据是没有被字符括起的。
  –fields-terminated- by=char
  指定各个数据的值之间的分隔符,在句号分隔的文件中,分隔符是句号。您可以用此选项指定数据之间的分隔符。默认的分隔符是跳格符(Tab)
  –lines-terminated- by=str
  此选项指定文本文件中行与行之间数据的分隔字符串 或者字符。 默认的情况下mysqlimport以newline为行分隔符。 您可以选择用一个字符串来替代一个单个的字符: 一个新行或者一个回车。
  mysqlimport命令常用的选项还有-v 显示版本(version), -p 提示输入密码(password)等。
  
  3).例子:导入一个以逗号为分隔符的文件
  文件中行的记录格式是这样的:
  "1", "ORD89876", "1 Dozen Roses", "19991226"
  我们的任务是要把这个文件里面的数据导入到数据库Meet_A_Geek中的表格Orders中, 我们使用这个命令:
  bin/mysqlimport –prl –fields-enclosed-by=" –fields-terminated-by=, Meet_A_Geek orders.txt
  这个命令可能看起来很不爽,不过当你熟悉了之后,这是非常简单的。第一部分,bin/mysqlimport ,告诉操作系统你要运行的命令是mysql/bin目录下的mysqlimport,选项p是要求输入密码,这样就要求你在改动数据库之前输入密码,操作起来会更安全。 我们用了r选项是因为我们想要把表中的唯一关键字与文件记录中有重复唯一关键字的记录替换成文件中的数据。我们表单中的数据不是最新的,需要用文件中的数据去更新,因而就用r这个选项,替代数据库中已经有的记录。l选项的作用是在我们插入数据的时候锁住表,这样就阻止了用户在我们更新表的时候对表进行查询或者更改的操作。

批处理是一种非交互式运行mysql程序的方法,如同您在mysql中使用的命令一样,你仍然将使用这些命令。
  
  为了实现批处理,您重定向一个文件到mysql程序中,首先我们需要一个文本文件,这个文本文件包含有与我们在mysql中输入的命令相同的文本。
  比如我们要插入一些数据,使用包含下面文本的文件(文件名为New_Data.sql,当然我们也可以取名为New_Data.txt及任何其他的合法名字,并不一定要以后缀sql结尾):
  USE Meet_A_Geek;
  Insert INTO Customers (Customer_ID, Last_Name) VALUES(NULL, "Block");
  Insert INTO Customers (Customer_ID, Last_Name) VALUES(NULL, "Newton");
  Insert INTO Customers (Customer_ID, Last_Name) VALUES(NULL, "Simmons");
  注意上面的这些句子的语法都必须是正确的,并且每个句子以分号结束。
  上面的USE命令选择数据库,Insert命令插入数据。
  
  下面我们要把上面的文件导入到数据库中,导入之前要确认数据库已经在运行,即是mysqld进程(或者说服务,Windows NT下面称为”服务“,unix下面为”进程“)已经在运行。
  然后运行下面的命令:
  bin/mysql –p < /home/mark/New_Data.sql
  接着按提示输入密码,如果上面的文件中的语句没有错误,那么这些数据就被导入到了数据库中。
  
  命令行中使用LOAD DATA INFILE 从文件中导入数据到数据库:
  现在您可能会问自己,"究竟为什么我要输入所有的这些SQL语句到文件中,然后通过程序运行它们呢?”
  这样看起来好像需要大量的工作。很好,你这样想很可能就对了。但是假如你有从所有这些命令中产生的log记录呢?现在这样就很棒,嗯,大多数数据库都会自动产生数据库中的事件记录的log。而大部分log都包含有用过的原始的SQL命令。因此,如果您不能从您现在的数据库中导出数据到新的mysql数据库中使用,那么您可以使用log和mysql的批处理特性,来快速且方便地导入您地数据。当然,这样就省去了打字的麻烦。
  
  LOAD DATA INFILE
  这是我们要介绍的最后一个导入数据到MySQL数据库中的方法。这个命令与mysqlimport非常相似,但这个方法可以在mysql命令行中使用。也就是说您可以在所有使用API的程序中使用这个命令。使用这种方法,您就可以在应用程序中导入您想要导入的数据。
  
  使用这个命令之前,mysqld进程(服务)必须已经在运行。
  启动mysql命令行:
  bin/mysql –p
  按提示输入密码,成功进入mysql命令行之后,输入下面的命令:
  USE Meet_A_Geek;
  LOAD DATA INFILE "/home/mark/data.sql" INTO TABLE orders;
  简单的讲,这样将会把文件data.sql中的内容导入到表Orders中,如mysqlimport工具一样,这个命令也有一些可以选择的参数。比如您需要把自己的电脑上的数据导入到远程的数据库服务器中,您可以使用下面的命令:
  LOAD DATA LOCAL INFILE "C:\MyDocs\SQL.txt" INTO TABLE orders;
  
  上面的LOCAL参数表示文件是本地的文件,服务器是您所登陆的服务器。
  这样就省去了使用ftp来上传文件到服务器,MySQL替你完成了.
  您也可以设置插入语句的优先级,如
果您要把它标记为低优先级(LOW_PRIORITY),那么MySQL将会等到没有其他人读这个表的时候,才把插入数据。可以使用如下的命令:
  LOAD DATA LOW_PRIORITY INFILE "/home/mark/data.sql" INTO TABLE orders;
  
  您也可以指定是否在插入数据的时候,取代或者忽略文件与数据表中重复的键值。替代重复的键值的语法:
  LOAD DATA LOW_PRIORITY INFILE "/home/mark/data.sql" REPLACE INTO TABLE orders;
  上面的句子看起来有点笨拙,但却把关键字放在了让您的剖析器可以理解的地方。
  
  下面的一对选项描述了文件的记录格式,这些选项也是在mysqlimport工具中可以用的。他们在这里看起来有点不同。首先,要用到FIELDS关键字,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项:
  TERMINATED BY character
  ENCLOSED BY character
  ESCAPED BY character
  这些关键字与它们的参数跟mysqlimport中的用法是一样的. The
  TERMINATED BY 描述字段的分隔符,默认情况下是tab字符(\t)
  ENCLOSED BY描述的是字段的括起字符。比方以引号括起每一个字段。
  ESCAPED BY 描述的转义字符。默认的是反些杠(backslash:\ ).
  下面仍然使用前面的mysqlimport命令的例子,用LOAD DATA INFILE语句把同样的文件导入到数据库中:
  LOAD DATA INFILE "/home/mark/Orders.txt" REPLACE INTO TABLE orders FIELDS TERMINATED BY ‘,’ ENCLOSED BY ‘"’;
  
  LOAD DATA INFILE语句中有一个mysqlimport工具中没有特点:
  LOAD DATA INFILE 可以按指定的列把文件导入到数据库中。
  当我们要把数据的一部分内容导入的时候,这个特点就很重要。比方说,我们要从Access数据库升级到MySQL数据库的时候,需要加入一些栏目(列/字段/field)到MySQL数据库中,以适应一些额外的需要。
  这个时候,我们的Access数据库中的数据仍然是可用的,但是因为这些数据的栏目(field)与MySQL中的不再匹配,因此而无法再使用mysqlimport工具。尽管如此,我们仍然可以使用LOAD DATA INFILE,下面的例子显示了如何向指定的栏目(field)中导入数据:
  LOAD DATA INFILE "/home/Order.txt" INTO TABLE orders(Order_Number, order_Date, Customer_ID);
  
  如您所见,我们可以指定需要的栏目(fields)。这些指定的字段依然是以括号括起,由逗号分隔的,如果您遗漏了其中任何一个,MySQL将会提醒您
 您可以看到MySQL有很多可以导入数据的方法,然而这些只是数据传输中的一半。另外的一般是从MySQL数据库中导出数据。有许多的原因我们需要导出数据。一个重要的原因是用于备份数据库。数据的造价常常是昂贵的,需要谨慎处理它们。经常地备份可以帮助防止宝贵数据地丢失;另外一个原因是,也许您希望导出数据来共享。 在这个信息技术不断成长的世界中,共享数据变得越来越常见。
  
  比方说Macmillan USA维护护着一个将要出版的书籍的大型数据库。这个数据库在许多书店之间共享,这样他们就知道哪些书将会很快出版。医院越来越走向采用无纸病历记录,这样这些病历可以随时跟着你。世界变得越来越小,信息也被共享得越来越多。有很多中导出数据得方法,它们都跟导入数据很相似。因为,毕竟,这些都只是一种透视得方式。从数据库导出的数据就是从另一端导入的数据。这里我们并不讨论其他的数据库各种各样的导出数据的方法,您将学会如何用MySQL来实现数据导出。
  
  使用mysqldump:
  
  (mysqldump命令位于mysql/bin/目录中)
  mysqldump工具很多方面类似相反作用的工具mysqlimport。它们有一些同样的选项。但mysqldump能够做更多的事情。它可以把整个数据库装载到一个单独的文本文件中。这个文件包含有所有重建您的数据库所需要的SQL命令。这个命令取得所有的模式(Schema,后面有解释)并且将其转换成DDL语法(Create语句,即数据库定义语句),取得所有的数据,并且从这些数据中创建Insert语句。这个工具将您的数据库中所有的设计倒转。因为所有的东西都被包含到了一个文本文件中。这个文本文件可以用一个简单的批处理和一个合适SQL语句导回到MySQL中。这个工具令人难以置信地简单而快速。决不会有半点让人头疼地地方。
  
  因此,如果您像装载整个数据库Meet_A_Geek的内容到一个文件中,可以使用下面的命令:
  bin/mysqldump –p Meet_A_Geek > MeetAGeek_Dump_File.txt
  
  这个语句也允许您指定一个表进行dump(备份/导出/装载?)。如果您只是希望把数据库Meet_A_Geek中的表Orders中的整个内容导出到一个文件,可以使用下面的命令:
  bin/mysqldump –p Meet_A_Geek orders >MeetAGeek_Orders.txt
  
  这个非常的灵活,您甚至可以使用Where从句来选择您需要的记录导出到文件中。要达到这样的目的,可以使用类似于下面的命令:
  bin/mysqldump –p –where="Order_ID > 2000" Meet_A_Geek orders > Special_Dump.txt
  
  mysqldump工具有大量的选项,部分选项如下表:
  选项/Option 作用/Action Performed
  –add-drop-table
  这个选项将会在每一个表的前面加上Drop TABLE IF EXISTS语句,这样可以保证导回MySQL数据库的时候不会出错,因为每次导回的时候,都会首先检查表是否存在,存在就删除
  –add-locks
  这个选项会在Insert语句中捆上一个LOCK TABLE和UNLOCK TABLE语句。这就防止在这些记录被再次导入数据库时其他用户对表进行的操作
  
  -c or – complete_insert
  这个选项使得mysqldump命令给每一个产生Insert语句加上列(field)的名字。当把数据导出导另外一个数据库时这个选项很有用。
  –delayed-insert 在Insert命令中加入DELAY选项
  -F or -flush-logs 使用这个选项,在执行导出之前将会刷新MySQL服务器的log.
  -f or -force 使用这个选项,即使有错误发生,仍然继续导出
  –full 这个选项把附加信息也加到Create TABLE的语句中
  -l or -lock-tables 使用这个选项,导出表的时候服务器将会给表加锁。
  -t or -no-create- info
  这个选项使的mysqldump命令不创建Create TABLE语句,这个选项在您只需要数据而不需要DDL(数据库定义语句)时很方便。
  
  -d or -no-data 这个选项使的mysqldump命令不创建Insert语句。
  在您只需要DDL语句时,可以使用这个选项。
  –opt 此选项将打开所有会提高文件导出速度和创造一个可以更快导入的文件的选项。
  -q or -quick 这个选项使得MySQL不会把整个导出的内容读入内存再执行导出,而是在读到的时候就写入导文件中。
  -T path or -tab = path 这个选项将会创建两个文件,一个文件包含DDL语句或者表创建语句,另一个文件包含数据。DDL文件被命名为table_name.sql,数据文件被命名为table_name.txt.路径名是存放这两个文件的目录。目录必须已经存在,并且命令的使用者有对文件的
特权。
  
  -w "Where Clause" or -where = "Where clause "
  如前面所讲的,您可以使用这一选项来过筛选将要放到 导出文件的数据。
  
  假定您需要为一个表单中要用到的帐号建立一个文件,经理要看今年(2004年)所有的订单(Orders),它们并不对DDL感兴趣,并且需要文件有逗号分隔,因为这样就很容易导入到Excel中。 为了完成这个人物,您可以使用下面的句子:
  bin/mysqldump –p –where "Order_Date >=’2000-01-01’"
  –tab = /home/mark –no-create-info –fields-terminated-by=, Meet_A_Geek orders
  这将会得到您想要的结果。
  
  schema:模式
  The set of statements, expressed in data definition language, that completely describe the structure of a data base.
  一组以数据定义语言来表达的语句集,该语句集完整地描述了数据库的结构。
  
  Select INTO OUTFILE :
  如果您觉得mysqldump工具不够酷,就使用Select INTO OUTFILE吧, MySQL同样提供一个跟LOAD DATA INFILE命令有相反作用的命令,这就是Select INTO OUTFILE 命令,这两个命令有很多的相似之处。首先,它们有所有的选项几乎相同。现在您需要完成前面用mysqldump完成的功能,可以依照下面的步骤进行操作:
  
  1. 确保mysqld进程(服务)已经在运行
  2. cd /usr/local/mysql
  3. bin/mysqladmin ping ;// 如果这个句子通不过,可以用这个:mysqladmin -u root -p ping
  mysqladmin ping用于检测mysqld的状态,is alive说明正在运行,出错则可能需要用户名和密码。
  4. 启动MySQL 监听程序.
  5. bin/mysql –p Meet_A_Geek;// 进入mysql命令行,并且打开数据库Meet_A_Geek,需要输入密码
  6. 在命令行中,输入一下命令:
  Select * INTO OUTFILE ‘/home/mark/Orders.txt’
  FIELDS
  TERMINATED BY = ‘,’
  FROM orders
  Where order_Date >= ‘2000-01-01’
  
  在你按了Return(回车)之后,文件就创建了。这个句子就像一个规则的Select语句,只是把想屏幕的输出重定向到了文件中。这意味这您可以使用JOIN来实现多表的高级查询。这个特点也可以被用作一个报表产生器。
  
  比方说,您可以组合这一章中讨论的方法来产生一个非常有趣的查询,试试这个:
  
  在mysql目录建立一个名为Report_G.rpt 的文本文件,加入下面的行:
  USE Meet_A_Geek;
  Insert INTO Customers (Customer_ID, Last_Name, First_Name)
  VALUES (NULL, "Kinnard", "Vicky");
  Insert INTO Customers (Customer_ID, Last_Name, First_Name)
  VALUES (NULL, "Kinnard", "Steven");
  Insert INTO Customers (Customer_ID, Last_Name, First_Name)
  VALUES (NULL, "Brown", "Sam");
  Select Last_Name INTO OUTFILE ‘/home/mark/Report.rpt’
  FROM Customers Where Customer_ID > 1;
  然后确认 mysql进程在运行,并且您在mysql目录中, 输入下面的命令:
  bin/mysql < Report_G.rpt检查您命名作为输出的文件,这个文件将会包含所有您在Customers表中输入的顾客的姓。 如您所见,您可以使用今天学到的导入/导出(import/export)的方法来帮助得到报表。

了解更多

sql查询是否有相同值

11.11.2008, sql查询是否有相同值已关闭评论, mysql, by .

select goods_thumb from aibook_goods where goods_thumb in(select goods_thumb from aibook_goods group by goods_thumb having count(goods_thumb)>1)
了解更多

SQL语法大全

06.19.2008, SQL语法大全已关闭评论, mysql, by .

1. ASP与Access数据库连接:

<%@ language=VBscript%>
<%
dim conn,mdbfile
mdbfile=server.mappath("数据库名称.mdb")
set conn=server.createobject("adodb.connection")
conn.open "driver={microsoft access driver (*.mdb)};uid=admin;pwd=数据库密码;dbq="&mdbfile

%>

2. ASP与SQL数据库连接:

<%@ language=VBscript%>
<%
dim conn
set conn=server.createobject("ADODB.connection")
con.open "PROVIDER=SQLOLEDB;DATA SOURCE=SQL服务器名称或IP地址;UID=sa;PWD=数据库密码;DATABASE=数据库名称
%>

建立记录集对象:

set rs=server.createobject("adodb.recordset")
rs.open SQL语句,conn,3,2

3. SQL常用命令使用方法:

(1) 数据记录筛选:

sql="select * from 数据表 where 字段名=字段值 order by 字段名 [desc]"

sql="select * from 数据表 where 字段名 like \’%字段值%\’ order by 字段名 [desc]"

sql="select top 10 * from 数据表 where 字段名 order by 字段名 [desc]"

sql="select * from 数据表 where 字段名 in (\’值1\’,\’值2\’,\’值3\’)"

sql="select * from 数据表 where 字段名 between 值1 and 值2"

(2) 更新数据记录:

sql="update 数据表 set 字段名=字段值 where 条件表达式"

sql="update 数据表 set 字段1=值1,字段2=值2 …… 字段n=值n where 条件表达式"

(3) 删除数据记录:

sql="delete from 数据表 where 条件表达式"

sql="delete from 数据表"  (将数据表所有记录删除)

(4) 添加数据记录:

sql="insert into 数据表 (字段1,字段2,字段3 …) values (值1,值2,值3 …)"

sql="insert into 目标数据表 select * from 源数据表"  (把源数据表的记录添加到目标数据表)

(5) 数据记录统计函数:

AVG(字段名) 得出一个表格栏平均值
COUNT(*|字段名) 对数据行数的统计或对某一栏有值的数据行数统计
MAX(字段名) 取得一个表格栏最大的值
MIN(字段名) 取得一个表格栏最小的值
SUM(字段名) 把数据栏的值相加

引用以上函数的方法:

sql="select sum(字段名) as 别名 from 数据表 where 条件表达式"
set rs=conn.excute(sql)

用 rs("别名") 获取统的计值,其它函数运用同上。

(5) 数据表的建立和删除:

Create TABLE 数据表名称(字段1 类型1(长度),字段2 类型2(长度) …… )

例:Create TABLE tab01(name varchar(50),datetime default now())

Drop TABLE 数据表名称 (永久性删除一个数据表)

4. 记录集对象的方法:

rs.movenext              将记录指针从当前的位置向下移一行
rs.moveprevious          将记录指针从当前的位置向上移一行
rs.movefirst             将记录指针移到数据表第一行
rs.movelast              将记录指针移到数据表最后一行
rs.absoluteposition=N    将记录指针移到数据表第N行
rs.absolutepage=N        将记录指针移到第N页的第一行
rs.pagesize=N            设置每页为N条记录
rs.pagecount             根据 pagesize 的设置返回总页数
rs.recordcount           返回记录总数
rs.bof                   返回记录指针是否超出数据表首端,true表示是,false为否
rs.eof                   返回记录指针是否超出数据表末端,true表示是,false为否
rs.delete                删除当前记录,但记录指针不会向下移动
rs.addnew                添加记录到数据表末端
rs.update                更新数据表记录

---------------------------------------

Recordset对象方法

Open方法

recordset.Open Source,ActiveConnection,CursorType,LockType,Options

Source
Recordset对象可以通过Source属性来连接Command对象。Source参数可以是一个Command对象名称、一段SQL命令、一个指定的数据表名称或是一个Stored Procedure。假如省略这个参数,系统则采用Recordset对象的Source属性。

ActiveConnection
Recordset对象可以通过ActiveConnection属性来连接Connection对象。这里的ActiveConnection可以是一个Connection对象或是一串包含数据库连接信息(ConnectionString)的字符串参数。

CursorType
Recordset对象Open方法的CursorType参数表示将以什么样的游标类型启动数据,包括adOpenForwardOnly、adOpenKeyset、adOpenDynamic及adOpenStatic,分述如下:
————————————————————–
常数                  常数值           说明
————————————————————-
adOpenForwardOnly       0         缺省值,启动一个只能向前移动的游标(Forward Only)。
adOpenKeyset            1         启动一个Keyset类型的游标。
adOpenDynamic           2         启动一个Dynamic类型的游标。
adOpenStatic            3         启动一个Static类型的游标。
————————————————————-
以上几个游标类型将直接影响到Recordset对象所有的属性和方法,以下列表说明他们之间的区别。

————————————————————-
Recordset属性     adOpenForwardOnly    adOpenKeyset    adOpenDynamic    adOpenStatic
————————————————————-
AbsolutePage           不支持            不支持          可读写            可读写
AbsolutePosition       不支持            不支持          可读写          &nbs
p; 可读写
ActiveConnection       可读写            可读写          可读写            可读写
BOF                    只读              只读            只读              只读
Bookmark               不支持            不支持          可读写            可读写
CacheSize              可读写            可读写          可读写            可读写
CursorLocation         可读写            可读写          可读写            可读写
CursorType             可读写            可读写          可读写            可读写
EditMode               只读              只读            只读              只读
EOF                    只读              只读            只读              只读
Filter                 可读写            可读写          可读写            可读写
LockType               可读写            可读写          可读写            可读写
MarshalOptions         可读写            可读写          可读写            可读写
MaxRecords             可读写            可读写          可读写            可读写
PageCount              不支持            不支持          只读              只
PageSize               可读写            可读写          可读写            可读写
RecordCount            不支持            不支持          只读              只读
Source                 可读写            可读写          可读写            可读写
State                  只读              只读            只读              只读
Status                 只读              只读            只读              只读
AddNew                 支持              支持            支持              支持
CancelBatch            支持              支持            支持              支持
CancelUpdate           支持              支持            支持              支持
Clone                  不支持            不支持
Close                  支持              支持            支持              支持
Delete                 支持              支持            支持   &
nbsp;          支持
GetRows                支持              支持            支持              支持
Move                   不支持            支持            支持              支持
MoveFirst              支持              支持            支持              支持
MoveLast               不支持            支持            支持              支持
MoveNext               支持              支持            支持              支持
MovePrevious           不支持            支持            支持              支持
NextRecordset          支持              支持            支持              支持
Open                   支持              支持            支持              支持
Requery                支持              支持            支持              支持
Resync                 不支持            不支持          支持              支持
Supports               支持              支持            支持              支持
Update                 支持              支持            支持              支持
UpdateBatch            支持              支持            支持              支持
————————————————————–
其中NextRecordset方法并不适用于Microsoft Access数据库。

LockType
Recordset对象Open方法的LockType参数表示要采用的Lock类型,如果忽略这个参数,那么系统会以Recordset对象的LockType属性为预设值。LockType参数包含adLockReadOnly、adLockPrssimistic、adLockOptimistic及adLockBatchOptimistic等,分述如下:

————————————————————-
常数                  常数值              说明
————————————————————–
adLockReadOnly           1           缺省值,Recordset对象以只读方式启动,无法运行AddNew、Update及Delete等方法
adLockPrssimistic        2           当数据源正在更新时,系统会暂时锁住其他用户的动作,以保持数据一致性。
adLockOptimistic         3           当数据源正在更新时,系统并不会锁住其他用户的动作,其他用户可以对数据进行增、删、改的操作。
adLockBatchOptimistic    4           当数据源正在更新时,其他用户必须将CursorLocation属性改为adUdeClientBatch才能对数据进行增、
                                     删、改的操作。  

DB2 提供了关连式资料库的查询语言 SQL (Structured Query Language),是一种非常口语化、既易学又易懂的语法。此一语言几乎是每个资料库系统都必须提供的,用以表示关连式的操作,包含了资料的定义(DDL)以及资料的处理(DML)。SQL原来拼成SEQUEL,这语言的原型以“系统 R“的名字在 IBM 圣荷西实验室完成,经过IBM内部及其他的许多使用性及效率测试,其结果相当令人满意,并决定在系统R 的技术基础发展出来 IBM 的产品。而且美国国家标准学会(ANSI)及国际标准化组织(ISO)在1987遵循一个几乎是以 IBM SQL 为基础的标准关连式资料语言定义。

一、资料定义 DDL(Data Definition Language)
资料定语言是指对资料的格式和形态下定义的语言,他是每个资料库要建立时候时首先要面对的,举凡资料分哪些表格关系、表格内的有什麽栏位主键、表格和表格之间互相参考的关系等等,都是在开始的时候所必须规划好的。

1、建表格:
Create TABLE table_name(
column1 DATATYPE [NOT NULL] [NOT NULL PRIMARY KEY],
column2 DATATYPE [NOT NULL],
…)
说明: 
DATATYPE –是资料的格式,详见表。
NUT NULL –可不可以允许资料有空的(尚未有资料填入)。
PRIMARY KEY –是本表的主键。
——————————————————————————–

—  作者:belin2000
—  发布时间:2004-6-8 22:08:51

—  
2、更改表格 
Alter TABLE table_name
ADD COLUMN column_name DATATYPE
说明:增加一个栏位(没有删除某个栏位的语法。
Alter TABLE table_name
ADD PRIMARY KEY (column_name)
说明:更改表得的定义把某个栏位设为主键。
Alter TABLE table_name
Drop PRIMARY KEY (column_name)
说明:把主键的定义删除。

3、建立索引 
Create INDEX index_name ON table_name (column_name)
说明:对某个表格的栏位建立索引以增加查询时的速度。

4、删除 
Drop table_name
Drop index_name

二、的资料形态 DATATYPEs
smallint
16 位元的整数。
interger
32 位元的整数。
decimal(p,s)
p 精确值和 s 大小的十进位整数,精确值p是指全部有几个数(digits)大小值,s是指小数
点後有几位数。如果没有特别指定,则系统会设为 p=5; s=0 。
float
32位元的实数。
double
64位元的实数。
char(n)
n 长度的字串,n不能超过 254。
varchar(n)
长度不固定且其最大长度为 n 的字串,n不能超过 4000。
graphic(n)
和 char(n) 一样,不过其单位是两个字元 double-bytes, n不能超过127。这个形态是为
了支援两个字元长度的字体,例如中文字。
vargraphic(n)
可变长度且其最大长度为 n 的双字元字串,n不能超过 2000。
date
包含了 年份、月份、日期。
time
包含了 小时、分钟、秒。
timestamp
包含了 年、月、日、时、分、秒、千分之一秒。

三、资料操作 DML (Data Manipulation Language)
资料定义好之後接下来的就是资料的操作。资料的操作不外乎增加资料(insert)、查询资料(query)、更改资料(update) 、删除资料(delete)四种模式,以下分 别介绍他们的语法:

1、增加资料:
Insert INTO table_name (column1,column2,…)
valueS ( value1,value2, …)
说明:
1.若没有指定column 系统则会按表格内的栏位顺序填入资料。
2.栏位的资料形态和所填入的资料必须吻合。
3.table_name 也可以是景观 view_name。

Insert INTO table_name (column1,column2,…)
Select columnx,columny,… FROM another_table
说明:也可以经过一个子查询(subquery)把别的表格的资料填入。

2、查询资料:
基本查询
Select column1,columns2,…
FROM table_name
说明:把table_name 的特定栏位资料全部列出来
Select *
FROM table_name
Where column1 = xxx
[AND column2 > yyy] [OR column3 <> zzz]
说明:
1.\’*\’表示全部的栏位都列出来。
2.Where 之後是接条件式,把符合条件的资料列出来。

Select column1,column2
FROM table_name
ORDER BY column2 [DESC]
说明:ORDER BY 是指定以某个栏位做排序,[DESC]是指从大到小排列,若没有指明,则是从小到大
排列

组合查询
组合查询是指所查询得资料来源并不只有单一的表格,而是联合一个以上的
表格才能够得到结果的。
Select *
FROM table1,table2
Where table1.colum1=table2.column1
说明:
1.查询两个表格中其中 column1 值相同的资料。
2.当然两个表格相互比较的栏位,其资料形态必须相同。
3.一个复杂的查询其动用到的表格可能会很多个。

整合性的查询:
Select COUNT (*)
FROM table_name
Where column_name = xxx
说明:
查询符合条件的资料共有几笔。
Select SUM(column1)
FROM table_name
说明:
1.计算出总和,所选的栏位必须是可数的数字形态。
2.除此以外还有 AVG() 是计算平均、MAX()、MIN()计算最大最小值的整合性查询。
Select column1,AVG(column2)
FROM table_name
GROUP BY column1
HAVING AVG(column2) > xxx
说明:
1.GROUP BY: 以column1 为一组计算 column2 的平均值必须和 AVG、SUM等整合性查询的关键字
一起使用。
2.HAVING : 必须和 GROUP BY 一起使用作为整合性的限制。

复合性的查询
Select *
FROM table_name1
Where EXISTS (
Select *
FROM table_name2
Where conditions )
说明:
1.Where 的 conditions 可以是另外一个的 query。
2.EXISTS 在此是指存在与否。
Select *
FROM table_name1
Where column1 IN (
Select column1
FROM table_name2
Where conditions )
说明: 
1. IN 後面接的是一个集合,表示column1 存在集合里面。
2. Select 出来的资料形态必须符合 column1。

其他查询
Select *
FROM table_name1
Where column1 LIKE \’x%\’
说明:LIKE 必须和後面的\’x%\’ 相呼应表示以 x为开头的字串。
Select *
FROM table_name1
Where column1 IN (\’xxx\’,\’yyy\’,..)
说明:IN 後面接的是一个集合,表示column1 存在集合里面。
Select *
FROM table_name1
Where column1 BETWEEN xx AND yy
说明:BETWEEN 表示 column1 的值介於 xx 和 yy 之间。

3、更改资料:
Update table_name
SET column1=\’xxx\’
Where conditoins
说明:
1.更改某个栏位设定其值为\’xxx\’。
2.conditions 是所要符合的条件、若没有 Where 则整个 table 的那个栏位都会全部被更改。

4、删除资料:
Delete FROM table_name
Where conditions
说明:删除符合条件的资料。

说明:关于Where条件后面如果包含有日期的比较,不同数据库有不同的表达式。具体如下:
(1)如果是ACCESS数据库,则为:Where mydate>#2000-01-01#
(2)如果是ORACLE数据库,则为:Where mydate>cast(\’2000-01-01\’ as date)
或:Where mydate>to_date(\’2000-01-01\’,\’yyyy-mm-dd\’)
在Delphi中写成:
thedate=\’2000-01-01\’;
query1.SQL.add(\’select * from abc where mydate>cast(\’+\’\’\’\’+thedate+\’\’\’\’+\’ as date)\’);

如果比较日期时间型,则为:
Where mydatetime>to_date(\’2000-01-01 10:00:01\’,\’yyyy-mm-dd hh24:mi:ss\’)  

练掌握SQL是数据库用户的宝贵财 富。在本文中,我们将引导你掌握四条最基本的数据操作语句-SQL的核心功能-来依次介绍比较操作符、选择断言以及三值逻辑。当你完成这些学习后,显然你已经开始算是精通SQL了。
在我们开始之前,先使用Create TABLE语句来创建一个表(如图1所示)。DDL语句对数据库对象如表、列和视进行定义。它们并不对表中的行进行处理,这是因为DDL语句并不处理数据库中实际的数据。这些工作由另一类SQL语句-数据操作语言(DML)语句进行处理。
SQL中有四种基本的DML操作:Insert,Select,Update和Delete。由于这是大多数SQL用户经常用到的,我们有必要在此对它们进行一一说明。在图1中我们给出了一个名为EMPLOYEES的表。其中的每一行对应一个特定的雇员记录。请熟悉这张表,我们在后面的例子中将要用到它。
连接查询

通过连接运算符可以实现多个表查询。连接是关系数据库模型的主要特点,也是它区别于其它类型数据库管理系统的一个标志。
在关系数据库管理系统中,表建立时各数据之间的关系不必确定,常把一个实体的所有信息存放在
一个表 了解更多

SQL在不同数据库中查询前几条记录的用法

10.27.2007, SQL在不同数据库中查询前几条记录的用法已关闭评论, mysql, by .

1. orACLE 
Select * FROM TABLE1 Where ROWNUM<=N 

2. INFORMIX 
了解更多

一次性删除所有Mysql数据表的脚本

10.22.2007, 一次性删除所有Mysql数据表的脚本已关闭评论, mysql, by .

之前在空间上安装过好几个PHP+Mysql的程序,自动创建很多数据表,这几想安装一个程序来着,用PHPMyadmin登录数据一看,左边侧栏里显示有92个数据表,本想全部删除掉,可由于速度原因,网页总是显示不完全,在网页底底部全部删除功能用不上,没办法,只好在网上求助,发现有好多网友都遇到这种情况,用PHPmyadmin一条一条的删除太慢,也不现实,最后终于在网上找到一个脚本,可以一次性删除所有数据表,经本人测试,果真管用。脚本如下:

<?php
$hostname =’localhost’;
$userid = ‘username‘;
$password = ‘password‘;
$dbname = ‘dbname‘;
$connect = mysql_connect($hostname,$userid,$password);
mysql_select_db($dbname);
$result = mysql_query("show table status from $dbname",$connect);
while($data=mysql_fetch_array($result)) {
mysql_query("drop table $data[Name]");
}
?>

  红色部分的代码需修改成自己的数据库连接信息,将上列代码保存为PHP文件,然后上传到空间上,执行一次即可删除所有数据表了。

PS:次脚本是一性删除数据库内的所有数据表,请慎重使用,因此脚本带来所有损失和责任自行承担,本人概不负责。

了解更多