QueryList简介QueryList是一套简洁优雅可扩展的PHP采集工具（爬虫），基于phpQuery。它具有与jQuery相同的CSS3DOM选择器。它具有与jQuery相同的DOM操作API。它有一个通用的列表收集方案。拥有强大的HTTP请求套件，轻松实现复杂含义如：模拟登录、假浏览器、HTTP代理等网络请求出现乱码解决方案具有强大的内容过滤功能，可以使用jQuery选择器过滤内容高度模块化设计，扩展性强有丰富的API有高质量的文档有丰富的插件有专业的问答社区交流群可以轻松实现如：多线程图片获取本地化模拟浏览器行为，如：提交Form表单网络爬虫通过插件....环境要求PHP>=7.0如果你的PHP版本还在PHP5，或者不使用Composer，你可以选择使用QueryList3，QueryList3支持php5.3和手动安装。QueryList3文档：http://v3.querylist.cc通过Composer安装：composerrequirejaeger/querylist使用元素操作收集“Nipic”的所有图片地址QueryList::get('http://www.nipic.com')->find('img')->attrs('src');收集百度搜索结果$ql=QueryList::get('http://www.baidu.com/s?wd=QueryList');$ql->find('title')->text();//获取网站标题$ql->find('meta[name=keywords]')->content;//获取网站头部关键词$ql->find('h3>a')->texts();//获取搜索结果标题列表$ql->find('h3>a')->attrs('href');//获取搜索结果链接列表$ql->find('img')->src;//获取第一张图片的链接地址$ql->find('img:eq(1)')->src;//获取第二张图片$ql->find('img')->eq(2)->src的链接地址；//获取第三张图片的链接地址//遍历所有图片$ql->find('img')->map(function($img){echo$img->alt;//打印图片的alt属性图像}）;更多用法$ql->find('#head')->append('
appendcontent
')->find('div')->htmls();$ql->find('.two')->children('img')->attrs('alt');//获取类二元素下的所有img子节点//遍历类二元素下的所有子节点$data=$ql->find('.two')->children()->map(function($物品）{//使用is判断节点类型if($item->is('a')){return$item->text();}elseif($item->is('img')){返回$item->alt;}});$ql->find('a')->attr('href','newVal')->removeClass('className')->html('newHtml')->...$ql->find('div>p')->add('div>ul')->filter(':has(a)')->find('p:first')->nextAll()->andSelf()->...$ql->find('div.old')->replaceWith($ql->find('div.new')->clone())->appendTo('.trash')->prepend('Deleted')->...listcollection收集百度搜索结果列表的标题和链接：$data=QueryList::get('http://www.baidu.com/s?wd=QueryList')//设置收集规则->rules(['title'=>array('h3','text'),'link'=>array('h3>a','href')])->query()->getData();print_r($data->all());收集结果：Array([0]=>Array([title]=>QueryList|基于phpQuery的极其强大的PHP收集工具[链接]=>http://www.baidu.com/link?url=GU_YbDT2IHk4ns1tjG2I8_vjmH0SCJEAPuuZN)[1]=>Array([title]=>PHP使用QueryList抓取网页内容-wb145230-博客园[链接]=>http://www.baidu.com/link?url=zn0DXBnrvIF2ibRVW34KcRVFG1_bCdZvqvwIhUqiXaS)[2]=>Array([title]=>Introduction-QueryListGuidanceDocument[link]=>http://www.baidu.com/link?url=pSypvMovqS4v2sWeQo5fDBJ4EoYhXYi0Lxx)//...)编码转换//输出编码：UTF-8,输入编码:GB2312QueryList::get('https://top.etao.com')->encoding('UTF-8','GB2312')->find('a')->texts();//输出编码：UTF-8，输入编码：自动识别QueryList::get('https://top.etao.com')->encoding('UTF-8')->find('a')->texts();HTTP网络操作携带cookie登录新浪微博//收集新浪微博需要登录访问的页面$ql=QueryList::get('http://weibo.com','param1=testvalue¶ms2=somevalue',['headers'=>[//填写从浏览器获取的cookie'Cookie'=>'SINAGLOBAL=546064;wb_cmtLike_2112031=1;wvr=6;....']]);//回显$ql->getHtml();echo$ql->find('title')->text();//输出：我的首页微博——随时随地发现新事物使用Http代理$urlParams=['param1'=>'testvalue','params2'=>'somevalue'];$opts=[//设置http代理'proxy'=>'http://222.141.11.17:8118',//设置超时时间，单位：秒'timeout'=>30,//fakehttpheader'headers'=>['Referer'=>'https://querylist.cc/','User-Agent'=>'testing/1.0','Accept'=>'application/json','X-Foo'=>['Bar','Baz'],'Cookie'=>'abc=111;xxx=222']];$ql->get('http://httpbin.org/get',$urlParams,$opts);//echo$ql->getHtml();模拟登录//用post登录$ql=QueryList::post('http://xxxx.com/login',['username'=>'admin','password'=>'123456'])->get('http://xxx.com/admin');//收集需要登录才能访问的页面$ql->get('http://xxx.com/admin/page');//echo$ql->getHTML();Form表单操作模拟登录GitHub//获取QueryList实例$ql=QueryList::getInstance();//获取登录表单$form=$ql->get('https://github.com/login')->find('form');//填写GitHub用户名和密码$form->find('input[name=login]')->val('yourgithubusernameoremail');$form->find('input[name=password]')->val('yourgithubpassword');//序列化表单数据$fromData=$form->serializeArray();$postData=[];foreach($fromDataas$item){$postData[$item['name']]=$item['value'];}//提交登录表单$actionUrl='https://github.com'.$form->attr('action');$ql->post($actionUrl,$postData);//判断是否登录成功//echo$ql->getHtml();$userName=$ql->find('.header-nav-current-user>.css-truncate-target')->text();if($userName){echo'登录成功！欢迎：'。$userName;}else{echo'loginfailed!';}BindfunctionextensioncustomextensionamyHttpmethod:$ql=QueryList::getInstance();//给QueryList对象绑定一个myHttp方法$ql->bind('myHttp',function($url){$html=file_get_contents($url);$this->setHtml($html);return$this;});//然后就可以使用注册的名字调用$data=$ql->myHttp('https://toutiao.io')->find('h3a')->texts();print_r($data->all());或者将实现体封装成一个类，然后像这样绑定：$ql->bind('myHttp',function($url){returnnewMyHttp($this,$url);});该插件使用CURL多线程插件在多线程中收集GitHub排行榜：$ql=QueryList::use(CurlMulti::class);$ql->curlMulti(['https://github.com/trending/php','https://github.com/trending/go',//.....moreurls])//这个回调为每个成功完成的任务调用->success(function(QueryList$ql,CurlMulti$curl,$r){echo"Currenturl:{$r['info']['url']}\r\n";$data=$ql->find('h3a')->texts();print_r($data->all());})//每个任务失败回调->error(function($errorInfo,CurlMulti$curl){echo"当前url:{$errorInfo['info']['url']}\r\n";print_r($errorInfo['error']);})->start([//最大数量ofconcurrency'maxThread'=>10,//错误重试次数'maxTry'=>3,]);GitHub：https://github.com/jae-jae/QueryList欢迎Star！
