的后台,对于一个新手来说用python采集数据是一件很尴尬的事情,本来就不是爬虫。因为公司业务需要一些有前途的数据,迫于工作压力,简单的学了一些python。因为网站的特殊性,如果访问过多,ip会被封,也就是说需要找ip。于是在网上随便找了一个叫亿牛云的代理,然后和客服沟通了一下自己新手的需求。客服给我推荐了他们的爬虫动态转发代理,说适合我这种新手使用,还有怎么用。比较简单,抱着试一试的想法就接受了。客服给我发了一个python如何使用他们的agent的代码示例,https://www.16yun.cn/help/ss_demo/#1python。打开后觉得例子可以直接用,客服也说代码例子可以直接复制使用,于是就直接复制了,把目标网站改成自己的,代码如下**!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="www.mkt.51job.com"#要访问的目标HTTPS页面#targetUrl="https://www.mkt.51job.com"#代理服务器(产品官网www.16yun.cn)proxyHost="t.16yun.cn"proxyPort="31111"#代理隧道认证信息proxyUser="用户名"proxyPass="密码"proxyMeta="http://%(用户)s:%(通行证)s@%(主机)s:%(端口)s"%{"主机":proxyHost,"端口":proxyPort,"用户":proxyUser,"通行证":proxyPass,}#设置http,HTTP代理用于https访问proxies={"http":proxyMeta,"https":proxyMeta,}#设置IP切换headertunnel=random.randint(1,10000)headers={"Proxy-Tunnel":str(tunnel)}resp=requests.get(targetUrl,proxies=proxies,headers=headers)printresp.status_codeprintresp.text然后运行,结果是这样的然后去找客服,他们说只是代码示例,里面的proxy参数需要重新配置才能使用.立马觉得自己真的傻了,然后让客服开了代理测试,结果跑路了。现在,对于我这样的新手来说,方法简单易用,不然就需要查了各种资料,我想很多人都是这样的。一开始,可能会有各种新手问题。看来无论在哪个领域,还是需要深入研究的!**
