采集头条

先看一实例，现在我要采集新浪网国内新闻的头条，代码如下：

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('http://news.sina.com.cn/china'); 
echo pq(".blkTop h1:eq(0)")->html(); 

简单的三行代码，就可以获取头条内容。首先在程序中包含phpQuery.php核心程序，然后调用读取目标网页，最后输出对应标签下的内容。

pq()是一个功能强大的方法，跟jQuery的$()如出一辙，jQuery的选择器基本上都能使用在phpQuery上，只要把“.”变成 “->”。如上例中，pq(“.blkTop h1:eq(0)”)抓取了页面class属性为blkTop的DIV元素，并找到该DIV内部的第一个h1标签，然后用html()方法获取h1标签里 的内容（带html标签），也就是我们要获取的头条信息，如果使用text()方法，则只获取头条的文本内容。当然要使用好phpQuery，关键是要找 对文档中对应内容的节点。

采集文章列表

下面再来看一个例子，获取helloweba.com网站的blog列表，请看代码：

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('http://www.helloweba.com/blog.html'); 
$artlist = pq(".blog_li"); 
foreach($artlist as $li){ 
   echo pq($li)->find('h2')->html().""; 
} 

通过循环列表中的DIV，找出文章标题并输出，就是这么简单。

解析XML文档

假设现在有一个这样的test.xml文档：

<?xml version="1.0" encoding="utf-8"?> 
<root> 
  <contact> 
     <name>张三</name> 
     <age>22</age> 
  </contact> 
  <contact> 
     <name>王五</name> 
     <age>18</age> 
  </contact> 
</root> 

现在我要获取名字为张三的联系人的年龄，代码如下：

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('test.xml'); 
echo pq('contact > age:eq(0)'); 

结果输出：22

像jQuery一样，精准查找文档节点，输出节点下的内容，解析一个XML文档就是这么简单。现在你不必为采集网站内容而使用那些头疼的正则算法、内容替换等繁琐的代码了，有了phpQuery，一切就变得轻松多了。

项目官网地址：http://code.google.com/p/phpquery/

在服务器端有不少具有jQuery功能的PHP程序库。在网上稍微做了点功夫，就搜到了10几个声称都能解析HTML的PHP工具。但经过试验，大部分都多少有这样或那样的缺陷，而且都有一个通病，就是中文乱码问题。最终，我选用了一个叫做phpQuery的工具包。

实际上，使用phpQuery这个PHP程序库也是很不情愿的，因为这个程序已经很多年没人维护更新了。但比起其它几个类似功能程序库，例如Zend_Dom、QueryPath、SimpleHtmlDom，它算是好的。

phpQuery的接口很丰富，但很简单。一个基本的用法是这样的：

$list = phpQuery::newDocumentFileHTML('http://www.webhek.com')->find('h2.title a');
foreach($list as $e) { 
	$title = $e->nodeValue;
	$url = $e->getAttribute('href');
}

上面的find()方法返回的对象是PHP官方扩展库中的DOM对象，也就是说，phpQuery是一个基于PHP原生的DOM对象的HTML/XML解析器，这样做的好处是，效率很高。相反，像SimpleHtmlDom这样也是分析HTML/XML的程序库，但没有基于PHP原生DOM对象，当分析大数据量时，很容易产生性能问题，所以不推荐使用。

之前说了，所有的这样类似jQuery的能分析HTML DOM的PHP程序库都一个相同的通病：遇到中文会有乱码。我在使用phpQuery的过程中也遇到了这个问题。

首先PHP中的中文本身就是个问题，而PHP的DOM对 象处理中文的方式也是有争议的。官方文档是说，这个DOM扩展包使用的是UTF-8编码，当遇到 ISO-8859-1 编码的文本时，使用 utf8_encode() 和 utf8_decode() 编码和解码，遇到其它编码时，使用Iconv函数进行转码。但现实情况比这要复杂的多。网上有很多意见认为在遇到DOM乱码时，在HTML代码里的<title>标记前加入<meta charset="utf-8">就行了。但这种方法有时候也不灵。

我在解决phpQuery的中文乱码问题也是反复尝试才最后搞定的，没有任何理论依据。就像是有个程序员的笑话：这段代码不好用，我不知道为什么。这段代码好用，我也不知道为什么。:(

首先我是在台式机上开发测试的，是Window7，这种环境下会出现两种情况，一种情况是HTML的字符集是GBK/gb2312，一种情况是字符集是UTF-8。奇怪的是，两个同样是gb2312字符集的不同页面，用phpQuery解析后，一个会有乱码，一个没有乱码。同样，两个同样是UTF-8字符集的不同页面，也会出现这种情况。所有，对我来说，没有规律可言。我只能说，这两种方法能解决phpQuery使用过程中出现的乱码，但何时使用哪种？我不知道，你只能两个都试一下，会有一个好用。

所以，有乱码出现时，首先使用第一种方案：

//仍然使用上面的代码例子：
$list = phpQuery::newDocumentFileHTML('http://www.webhek.com')->find('h2.title a');
foreach($list as $e) { 
	$title = $e->nodeValue;
	//进行GBK转码
	$title = iconv("UTF-8","GBK",  $title);
}

如果不行，使用第二种方案：

//仍然使用上面的代码例子：
//指定GBK字符集参数
$list = phpQuery::newDocumentFileHTML('http://www.webhek.com','GBK')->find('h2.title a');
foreach($list as $e) { 
	$title = $e->nodeValue;
}

第一种方案中要使用iconv函数进行转码，第二种方案中不需要iconv转码，但需要在newDocumentFileHTML方法上提供“GBK字符集”。

还有一点很重要，在使用iconv函数转码是，一定要使用GBK，而不是使用gb2312，如果使用gb2312，iconv函数会很容易发生非法字符的报错，使得转码失败。

我以为有了这两种方案护航后，乱码问题再不会出现。可是，你要知道，做程序员很容易的心脏病的。当我把这些代码部署到linux服务器上时，乱码依旧。抓狂。

没办法，程序员的生活就是这样。经过调试，发现，在linux服务器上，采用第二种方案的部分网页仍然正常，但使用第一种方案时，需要去掉iconv函数转码。