php采集网站数据方法及思路介绍

《php采集网站数据方法及思路介绍》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、php采集网站数据方法及思路互联网日新月异的发展，web数据每天以几何级数据量递增，面对这庞大的数据，我们该如何从中获取自己的信息呢？采集网页信息就可以解决这个问题。比如，php采集，用php语言写的web程序，运行于支持php的平台上。这样就可以达到采集的目的。所以通常所说的php采集就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。一般情况下都是利用php模拟浏览器的访问，通过http请求访问url地址，然后得到html源代码或者xml数据，得到数据后我们不能直接输出，往往需要对内容进行提取，然后再进行格式化，以

2、更加友好的方式显现出来。下面就简单介绍一下php采集页面的几种方法及原理:一、PHP采集页面的主要方法：file()函数file_get_contents()函数fopen()->fread()->fclose()模式curl方式fsockopen()函数socket模式使用插件(如：http://sourceforge.net/projects/snoopy/)二、PHP解析html或xml代码主要方式：1、file()函数**file_get_contents()函数**使用file_get_contents和fopen必须空间开启a

3、llow_url_fopen。方法：编辑php.ini，设置allow_url_fopen=On，allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。fopen()->fread()->fclose()模式2、curl方式curl把HTTP协议都封装成了很多函数，直接传相应参数即可，降低了编写HTTP协议字符串的难度。使用curl必须空间开启curl。方法：windows下修改php.ini，将extension=php_curl.dll前面的分号去掉，而且需要拷贝ssleay32.dll

4、和libeay32.dll到C:WINDOWSsystem32下；Linux下要安装curl扩展。3、fsockopen()函数socket模式socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。socket模式能否正确执行，也跟服务器的设置有关系，具体可以通过phpinfo查看服务器开启了哪些通信协议。snoopy插件，最新版本是Snoopy-1.2.4.zipLastUpdate:2013-05-30，推荐大家使用使用网上非常流行的snoopy来进行采集，这是一个非常强大的采集插件，

5、并且它的使用非常方便，你也可以在里面设置agent来模拟浏览器信息。说明：设置agent是在Snoopy.class.php文件的第45行，请在该文件中搜索“var$agent”（引号中的内容）。浏览器内容你可以使用PHP来获得，使用echo$_SERVER['HTTP_USER_AGENT'];可以得到浏览器信息，将echo出来的内容复制到agent里面就可以了。