当前位置: 首页 > 后端技术 > PHP

PHP爬取网页的主要方法,你掌握了吗

时间:2023-03-29 20:23:42 PHP

PHP爬取网页的主要方法你掌握了吗?PHP爬取页面的主要方法,根据网上前辈的经验,有几种方法,还没用过,先存着,以后试试。file()函数file_get_contents()函数fopen()->fread()->fclose()方式curl方法(我主要用这个)fsockopen()函数socket方式插件(如:http://sourceforge.net/projec...别走开,来看看这6个方法,你掌握了几个?1.file()函数".$html."";3.fopen()->fread()->fclose()模式,还没用过,看到就记下来5。fsockopen()functionsocketmode(没用过,以后可以试试)socketmode能否正确执行也取决于服务器的设置。具体可以通过phpinfo协议查看服务器开启了哪些通信\n";}else{$out="GET/HTTP/1.1\r\n";$out.="主机:t.qq.com\r\n";$out.="连接:关闭\r\n\r\n";fwrite($fp,$out);while(!feof($fp)){echofgets($fp,128);}fclose($fp);}6.snoopy插件(最新版本为Snoopy-1.2.4.zip最后更新:2013-05-30,推荐大家使用)使用网上很流行的snoopy来收藏,这是一个很强大的采集插件,使用起来也很方便,你也可以用它设置代理来模拟浏览器信息注意:代理的设置在Snoopy.class.php文件的第45行,请搜索“varformulainputerror_SERVER['HTTP_USER_AGENT'];在该文件中可以获取浏览器信息,复制回显contentto在agent中就可以了fetch($url);//将采集到的内容保存到$lines_string$lines_string=$snoopy->results;//输出内容,嘿嘿,也可以保存在自己的服务器上echo$lines_string;更多学习内容可以访问码农到架构师的培训路径