简介用最短的时间写出最简单的爬虫，可以抓取一些简单的论坛、帖子、网页。入门1.准备工作安装Python安装scrapy框架一个IDE，也可以使用自带的2.开始写爬虫在spiders文件夹下创建一个python文件，比如miao.py，作为爬虫的脚本。代码如下：3.运行如果使用命令行，会是这样：解析1.试试神奇的xpath2.看xpath的效果在最上面添加引用：fromscrapyimportSelector改成parsefunctionto:再运行一下，可以在输出的“祭坛星际区”***页面看到所有帖子的标题和url。递归完整的代码如下：Pipelines——管道现在是对抓取和解析的内容进行处理，我们可以通过管道写入本地文件和数据库。1.定义一个Item在miao文件夹下创建一个items.py文件这里我们定义了两个简单的类来描述我们爬取的结果。2.处理方法3.在爬虫中调用这个处理方法。4.在配置文件中指定这个pipeline可以这样配置多个pipeline：Middleware——middleware1.Middlewareconfiguration2.BrokenwebsitetocheckUA,IwanttochangeUA下面是一个简单的随机改变UA的中间件，agents的内容可以自行扩展。3.破解网站封IP，需要用代理才能结束明白吗？是不是超级简单！
