今天，首席CTO指出，与您分享与Python Crawler有多少连接与该连接有关的联系？您还需要详细连接到python crawler吗？如果您可以解决您现在面临的问题，请不要忘记注意此网站。
本文目录清单：
1.如何用python写爬行者？2。Python爬行动物爬行仅显示10.从Python Python那里学习吗？4.用Python编写爬行动物的框架是什么？5。Python Crawler需要什么基础。6。如何学习Python爬行动物首先检查是否有API
API是网站提供的官方数据接口。如果您通过调用API收集数据，则等同于在网站允许的允许范围内收集数据。在网站的控制中，该网站可用于收费，可用于限制访问限制。对数据收集的需求不是唯一的，那么API应该优先拨打API。
数据结构分析和数据存储
爬行者的需求应该非常清楚。具体的表现是需要哪些字段。这些字段可以存在于网页上，也可以根据网页上的现有字段进行进一步计算。这些字段如何构建表以及如何连接多个表。值得一提的是，确定字段链接，不仅要查看少量的网页，因为单个网页可能会缺少其他类似网页的字段。这可能是由于网站的问题或用户行为的差异所致。一些网页可以全面地抽象具有通用特征的关键字段 - 这不是一个简单的事情，可以通过在几分钟内查看几个网页来确定。如果您遇到一个肿又混乱的网站，可能会有很多坑。
对于大型爬行动物，除了收集数据外，还建议其他重要的中间数据（例如页面ID或URL）来存储它，因此您不必每次都重新划出ID。
数据库没有固定的选择。本质仍然是将Python中的数据写入库中。您可以选择一个关系数据库MySQL，也可以选择非平行数据库MongoDB等。Can.sqlalchemy是一个成熟且容易 - 使用数据库连接框架。它的发动机可以与熊猫一起使用。它连接数据处理和数据存储。
数据流分析
为了使网页分批爬行，请转到上层，看看入口位置。这是为了根据收集范围确定入口。例如，如果您只想在要攀登国家数据的区域中爬上数据，则应转到上层并从该国入口切入。一般网站网页主要基于树结构。找到输入点作为输入图层的根节点。
值得注意的是，通用网站不会直接将全部数据列入列表，以便在数据浏览之前为您提供一个页面。100页，每页30，如果您直接在此中剪切，只能访问3,000个页面方式，远低于实际数据量；因此，首先切片，然后整合数据思维。明显100页是系统设置，只要仅显示超过300页的100页，因此可以通过其他筛选条件连续细分。只有当筛选结果小于或等于300页时，这意味着在这种情况下没有丢失。最终，各种条件最终提供了各种条件；筛选的结果聚集在一起，以尽可能恢复实际数据的量。
阐明了大规模爬网的数据流机理。下一步是分析一个网页，然后将此模型复制到整体上。对于单个网页，您可以使用包装工具检查请求方法。无论是获取还是发布。有提交表格的表格吗？您要收集的数据写在源代码中，或者通过AJAX调用JSON数据。
以同样的方式，您不能只看一个页面，观察多个页面，因为批处理爬行动物必须找出这些大页面和参数的定律才能自动构造；某些网站和关键参数已加密，因此Sotragedise不能依靠明显的逻辑来直接构建。在这种情况下，您必须批处理爬网或找到其加密的JS代码，并将加密过程添加到爬网代码上的密码到密码；或使用下面描述的模拟浏览器。
数据采集
在使用R作为爬行者之前，请不要笑，R确实可以做爬虫。但是，就爬虫而言，Python显然具有更明显的优势和更广泛的观众。表现是一个成熟的爬行动物框架，只要说，它更适合新手学习。请求是一个比本机Urllib软件包更简单，功能强大的包，适用于定制的爬行动物函数。重新要求主要提供基本的访问功能，并提供网页的源代码以下载。只要您添加相同的请求，请说明。标题参数作为浏览器，您可以正常访问它。status_code是200，成功获得了Web源代码；但是，还有一些具有严格反爬行者的网站，将禁止这种直接访问；换句话说，状态不会返回200的正常Web源代码，而是需要需要验证代码的JS脚本。
下载源代码后，如果数据在源代码中，则最简单的情况，这意味着数据已成功获得。其余的只不过是数据提取，清洁和仓库。但是，如果网页上有但不是源代码中的数据，则意味着数据是在其他地方编写的。一般而言，JSON数据通过AJAX加载异步，您可以从XHR找到它。如果找不到它，那么您需要对JS脚本进行解析。
解析工具
下载源代码后，这是对数据的分析。有两种常用的方法。一种是用美丽的小组分析树HTML，另一个是通过正则表达式从文本中绘制数据。
美丽的小组相对简单。它支持两种支持XPATH和CSSSELECTOR的方法，并且像Chrome这样的浏览器通常在每个节点的XPath或CSSselector上都有一个标记，并直接复制它。以CSSSELECTOR为例，您可以选择各种方法，例如标签，ID，class，class，class，类和其他定位方法。如果您有ID，建议您选择ID，因为根据HTML语法，ID只能绑定一个标签。
正则表达式非常强大，但是结构有点复杂，您需要专门学习。因为下载的源代码格式是字符串，可以很好地显示正则表达式，并且处理速度很快。
对于HTML结构，即标签，ID和类的相同字段相同。使用BeautifulSoup是一个简单有效的解决方案，但是有些网站是混乱的。在不同页面上的HTML结构上，相同的数据不同。使用BeauticalSoup并不容易。如果数据本身是固定的，则使用正则表达式更方便。例如，在以下示例中，这两个在深圳，但页面的类别很长，一页的类是经度的。根据班级的说法，无法满足2区域经度来自113和114之间的浮点，您可以通过正则表达式“ 11 [3-4] .D+”来满足。
数据合并
一般而言，爬行的原始数据不干净，因此有必要在进入仓库之前对其进行分类。因为它们大多数是字符串，所以它主要是字符串的处理方法。
字符串随附的方法可以满足最简单的处理需求。例如，剥离可以删除开始和结束时不需要的字符或更改。替换可以将指定零件替换为所需零件。拆分可以将指定零件划分并拦截零件。
如果字符串处理的要求太复杂，则无法解决常规的弦处理方法，请询问正则表达式的正则表达式。
PANDAS是Python中常用的数据处理模块。尽管作为一个从R转发的人，但一直认为这个模仿r袋真的很难使用。Pandas不仅可以执行矢量化，筛选，分组和计算，还可以集成到数据框中，将收集到的数据集成到一个表呈现最终存储效果。
写入数据库
如果它只是一个小型和中型的爬虫，则可以合成最终的爬网，并最终导出到表中以供后续使用；该表不合适。它必须放置在数据库中，该数据库很方便存储并且易于整理。
有两种写入数据库的方法。一种是pandas的数据框架随附的to_sql方法。优势是自动构建表。可以在表结构上无需严格要求就可以采用此方法。但是，值得一提的是。如果它是一个多行数据框架，则可以直接插入未准备好的索引，但是如果只有一行，则需要添加索引或报告错误，尽管这是不合理的；另一个是使用数据库引擎执行SQL语句。在此Casealthough中，表是又一步的一步，表结构完全由其自身控制。
一个借口数万个数据，但只有十片Data_n 10,000爬行动物练习的食谱数据
2020-12-03 06:37:24
Weixin_39990029
代码年龄5岁
专注于
BE22F93FC7BBC7CBDD62166579A1FD22.PNG
XX线代码爬行10,000种食谱数据用于爬行动物练习
什么是爬行者
Care：也称为网络蜘蛛，它是一个程序，可以自动捕获Internet信息以获取对我们从Internet有价值的信息。
单击此处了解有关Python爬行动物简介
如何合法爬行
不允许一些网站限制攀登的内容，或者可以通过访问网站上的robots.txt文件获得网站上的爬行动物协议。
以Douban.com为例
访问此URL（），您可以了解到Dielan的爬行动物协议如下
1FE03008A45085DC6DA4978543E75C.PNG
可以看出，Douban对不同访客有不同的访问限制。其中，Douban不允许访问Wandoujia Spider的用户名。
我使用的食谱网站是无限的爬网，因此爬网是合法的。
E4025D9F5D8B96388EFA942E02555D1F9.PNG
特征
不断10,000个网页
介绍第三方库
导入请求#send请求
导入RE #Re #Remular表达式，用于提取网页数据
导入获胜#Reminder程序运行结束
导入时间#calculing程序运行时间
如果未安装这些第三方库，则可以在命令提示符下输入以下代码以下载
PIP安装请求，RE，WINSOUND，时间
爬行者的三个步骤
获取所有网页的网站爬网
在Web内容中提取有用的信息
信息导出
每个步骤都对应一个函数
步骤_1获取所有网页的网站要爬行
首先，我们打开URL并检查其源代码
00EB8B89C9BF17460BCA4D47F017BAB.PNG
365621D25C80F9283485350C083A545.PNG
Web源代码
观察发现与每道菜相对应的网站在此目录中
9D729B843DF3A746D70EA7AF31A1D962.PNG
获取带有正则表达式的URL，在列表中写入
由于每个网页只有十种菜肴，因此单击下一页
D342D8422E16C48C9600A45A6D1C9.PNG
您最多可以看到1000页，这意味着10,000盘
fb279b42fcdd3cecf7cda79ba4a8ae53.png
使用周期将与菜肴的每一页相对应的网络写入列表。每次写作时，都会写一行列表。多次之后，您形成了两个维度列表。中间显示如下：
31E3755DC8B45EC6F4DAC3C3C05F261539.PNG
代码显示如下
all_url = []＃创建一个存储网页地址的数组
def get_all_url（n）：＃这个功能用于获取网页上的所有菜肴网站
如果（n == 1）：
url =“”
别的：
url =''％n＃％s等于c语言中的％s，这意味着格式化对象为字符，而％d代表将对象格式化为整数
标题= {“用户代理”：“ Mozilla/5.0（Windows NT 10.0; Win64; X64）
AppleWebkit/537.36（Khtml，像Gecko）Chrome/80.0.3987.122 Safari/537.36“}”}
响应= requests.get（url，标题=标题）＃网
wendmes.encoding =“ utf-8”＃设置接收编码格式
模式= re.compile（r'a target =“ _ blank” href =“ https://www.shouxicto.com/article/article//za-z--z>：//.re.s）
#xtract网页中的URL，re.s表示整个文本是匹配的。如果您不添加RE.S，它将仅在一行中匹配
结果=模式.findall（wendys.text）获得的网页结果存储在结果中
all_url.append（结果[0:10]）＃由于每个页面只有十道菜，只有前十种与菜肴的网站相对应，因此我们只添加前十个。
返回all_url＃as返回值返回此列表
标题的说明
当使用Python爬网爬网数据时，通常会在网站上遇到一些反爬行者，通常是针对标题中的用户代理。如果标题上没有设置，则用户代理会声明他是一个python脚本，Andif网站具有反crawler的想法，它将不可避免地拒绝此连接。修改标头可以将您的reptile插入到正常的访问中要浏览器以避免此问题。在这里单击以了解详细信息
编码格式UTF-8的说明
UTF-8可以编码中文，大多数Python编译器是UTF-8的默认编码方法，请单击此处以了解详细信息
步骤_2在网页中提取有用的信息
打开菜的网站，检查源代码，查找我们需要的信息，然后使用正则表达式获得。该过程与以前的函数相同，获得了URL
主要补充信息在这里
C0DDFD3110775BB8B71759F6927F26D4.PNG
这里的功能信息（包括练习和口味）
38C99C1A51137DEBCAFE38AE3122E19A.PNG
def get_info（resp，输出）：
name_pattern = re.com（r'h1（。*）/h1'）＃正则表达式获取菜肴名称信息
food_pattern = re.compile（r的class =“ t”（。*）/spanspan class =“ a”（。*）/span/div'）＃正则表达式
fixing_pattern = re.com（r'div class =“ c_mtr_li” span class =“ t1”（。*）/spanspan class =“ a”（。
fearture1_pattern = re.com（r'div class =“ cpargs cpargs2” div class =“ i”/div（。）/div'）＃＃
fearture2_pattern = re.com（r'div class =“ cpargs cpargs3” div class =“ i”/div（。*）/div'）＃正则表达式
name = name_pattern.findall（resp.text）＃提取菜肴名称信息
food = food_pattern.findall（resp.text）＃提取主要成分信息
fixing = fixing_pattern.findall（resp.text）#stract无访问信息
fearture1 = fearture1_pattern.findall（resp.text）#tract feature_1
fearture2 = fearture2_pattern.findall（resp.text）#tract feature_2
output.write（str（name））＃o o o o o o o o o o o o o o o o o o o o o。写功能不能写入int类型参数，因此请使用str（）进行转换
output.write（'t'）＃进入下一个单元格
output.write（str（fearture1））＃将功能_1放在输出文件
output.write（'t'）＃进入下一个单元格
output.write（str（fearture2））＃put feature_2写入输出文件
output.write（'t'）＃进入下一个单元格
对于我的范围（len（食物））：
对于J范围（len（食物[i]）:)：:)：
output.write（str（food [i] [j]）＃
output.write（'t'）
如果（Len（食物）11）：
output.write（'t'*2*（11-len（food））＃）＃每道菜的主要成分不同，代码可以对齐表内容
对于我的范围（len（fixing））：
对于J范围（len（fix fix [i]）:)：:)：
output.write（str（修复[i] [j]）＃
output.write（'t'）
output.write（'n'）＃
步骤_3信息导出
Def Spider（）：
output = open（'e：programingpython sucai_2.xls'，'w'，encoding ='utf-8'）＃创建一个excel文件，编码格式为utf-8
output.write（'名称t方法t特别t o'）＃写入标题栏
output.write（'t'*22）＃对齐内容
output.write
对于我的范围（len（all_url））：
对于J中的J（len（all_url [i]））：
url2 = all_url [i] [j]
响应= requests.get（url2）＃逐个访问网页以获取数据
wendmes.encoding =“ utf-8”＃设置接收编码格式
get_info（响应，输出）＃处理数据，提取信息
output.close（）#close文件
主功能
time_start = time.time（time（）#record程序开始时间
对于我的范围（1,2）：＃f f f f f f f f f f f f f
get_all_url（i）
Spider（）#for提取和导出
持续时间= 1000＃及时声音持续时间，1000毫秒= 1秒
freq = 440 #prompt音频
time_end = time.time（Time（）#record程序结束时间
打印（'完全成本'，time_end time_start）#print程序运行时间
winsound.beep（freq，持续时间*10）#w w提示程序结束
实验后，爬网大约需要3453秒
E8B6C8637980D2AEF9587711C7084A5F.png
最后一个数据如下
97A8662CF048844850658AEF841E04C3.PNG
写在后面
我是C语言的80岁的小白色。我依靠一定程度和一首歌来争取该节目。在代码风格和写作方面，有不可避免的地方。与我交流并批评我很多。
卡尔斯是入门python的最佳方法，它们都不是。几行代码可以实现基本的爬行动物，零基数也可以迅速开始，使新手小赛能够以更大的成就获得更大的成就。因此，小欧比安（Xiaobian）编译了新手Xiaobai必须观看的Python Reptile学习路线，希望能够帮助所有人。
1.学习python软件包并实现基本的爬网处理
大多数爬行动物是通过“发送请求 - 启用页面-Parsing Page -Drawing和Storage Content”的过程执行的。这实际上是在模拟使用我们的浏览器获取Web信息的过程。python中有许多与爬行动物相关的软件包：Urllib，请求，BS4，Scrapy，Pyspider等。建议从请求+XPath开始。请求负责连接网站并返回网页。XPath用于分析网页和易于绘制的数据。
如果您使用了BeautifulSoup，您会发现XPath必须节省很多麻烦。通过逐层检查元素代码层的工作。这样，基本例程几乎是相同的，并且平均静态网站完全是相同的。当然，如果您需要爬异步加载网站，则可以了解包装的浏览器掌握，以分析真实请求或学习硒以实现自动化。
2.了解非结构数据的存储
攀登数据可以直接以文档形式位于文档的形式中，也可以存储在数据库中。当数据启动的数量不大时，您可以通过Python或Pandas的语法将数据保存为CSV等文件。当然，您可能会发现攀爬数据不干净，可能丢失，错误等。您还需要清洁数据。您可以学习PANDAS软件包的基本用法，以进行数据预处理并获取更清洁的数据。
3.学习砂纸并建造工程爬网
掌握先前的技术通常没有问题，但是当它非常复杂时，它仍然可能无能为力。目前，功能强大的废纸框架非常有用。Sustrapy是一个非常强大的爬行动物框架。它不仅可以方便地构建请求，还可以一个强大的选择器来轻松分析响应。
4.学习数据库知识，应对大型数据存储和提取
Python Inn，红色信封，纸质书籍
当数据爬行量很小时，您可以以文档的形式存储它。一旦数据量大，这有点不合理。因此，有必要掌握数据库。了解当前的主流MongoDB是可以的。MongoDB可以帮助您存储一些非结构性数据，例如各种评论文本，图片的链接等。实际上要使用的数据库实际上非常简单，主要是如何在仓库中输入数据，如何提取，然后在需要时学习。
5.掌握各种技术，并在特殊网站上处理反获取措施
当然，在爬网过程中有一些绝望，例如被网站阻止，例如各种奇怪的验证代码，userragent访问限制，各种动态加载等等。，需要一些高级技能来处理它。常规的访问频率控制，使用代理IP池，抓取软件包，OCR处理验证代码等等。通常，该网站将对有效开发和反爬行者之间的前者有偏见。这也为爬虫提供了空间。这些网站大多数对您来说并不困难。
6.分布式爬行动物以实现大规模并发收集，提高效率
基本数据不再是问题，您的瓶颈将集中在爬网的效率上。这次，我相信您自然会与一个非常有力的名称接触：分布式爬行者。分布式的东西听起来很恐怖，但是它是可怕的，但是实际上，正在使用多线程的原理使多个爬行动物同时起作用。您需要掌握三种废纸 +蒙古 + redis的工具。队列。因此，有些事情看起来很恐怖，但实际上并非如此。当您可以编写分布式轨道器时，您可以尝试创建一些基本的爬行动物体系结构以实现更多自动化的数据采集。
只要上述Python爬行动物学习路线已经完成，并且逐步，即使新手Xiaobai也可以成为旧的驱动程序，并且很容易学习。系统地转到某些东西，找到一个实际的项目，然后直接启动操作。
实际上，学习Python编程和武术实际上非常相似。该条目大约有几个步骤：找到一本可靠的书，找到可靠的主人，并找到一个开始练习的地方。
这与学习语言相同：选择一本简单的理解书，找到一个好的视频材料，然后安装IDE工具在写作时开始写作。
7.对第一所学校Python程序员的建议：
①信心。也许您观看了视频，并且没有在屏幕上做些东西，也无法运行该程序。但是要自信，每个人都像这样。
②选择一个适合您的教程。有一本非常经典的书，但它不太适合您。在我们学会了Python之后，许多书籍发挥了重要作用。
③编写代码是继续写作和练习。不需要说，这是您所学的。我总是看视频，不能制作内容。。
④除了学习Python外，计算机的基础还必须了解很多，而且可以弥补一些英语知识。
⑤我不仅可以编写，而且还要查看源代码是一项技能，调试代码是一项技能，即解决问题，选择错误的能力。理解您自己的错误信息并自己解决。
⑥当您达到一个级别时，请更多地访问官方文档，并找到博客文章或小组在CSDN上进行交流。
我希望能够学习Python对当前时间的使用，管理您的学习时间，并有效地学习Python。Python的语言可以做很多事情。
1.擦卷是一个写入爬网网站数据并提取结构数据的应用程序框架。它可以在一系列程序中应用，包括数据挖掘，信息处理或历史数据的存储。爬行。例如，它可以清楚地知道URL模式的情况。请使用此框架轻松攀登数据，例如Amazon产品信息。但是对于稍微复杂的页面（例如微博的页面信息），此框架无法满足需求。
2. pyspider
这是使用Python实施的强大网络爬网系统。它可以在浏览器接口，函数调度以及爬网结果的真实时间查看。设置任务和任务的优先级。
3. Crawley可以高速，支持关系和非关联数据库抓取相应的网站内容，并且可以将数据导出为JSON，XML等。
4. Portia是一种开源视觉爬行动物工具，可允许用户无需任何编程知识即可爬网！只需对他们感兴趣的页面发表评论。Portia将创建一个蜘蛛来从类似页面中提取数据。在没有任何发展专业知识的情况下，它可以在视觉上爬行；相同模板内容的动态匹配。
5. Grab是用于构建Web刮板的Python框架。抓住，您可以构建各种复杂的网页开裂工具，从简单的5行脚本到处理复杂的异步网站到处理数百万个网页。Grab提供API到API到执行网络请求并处理接收内容，例如与HTML文档的DOM树进行交互。
网络知识
HTML，JS，CSS，XPath的知识虽然很简单，但必须理解。您必须知道这些网页是如何组成的，然后它们可以分解它们。
HTTP知识
通常，您需要在获取网页的信息之前模拟浏览器的操作
如果某些网站需要登录以获取更多信息，则必须登录，则必须提交登录帐户密码
一些网站登录后需要保存cookie才能继续获取更多信息
正则表达式
只有使用正则表达式，我们才能更好地分配Web信息并获取所需的数据，因此还需要理解正则表达式。
一些重要的爬行动物银行
URL，URL2
美丽的汤
数据库
我们必须有一个可以保存可以使用的数据的地方。您可以使用文件或数据库。在这里，我将使用MySQL以及更适合爬网的MongoDB数据库，以及在分布式公式中使用的REDIS数据库
攀爬架
Pyspider和scrapy非常NB。可以使用Urllib和Urllib2和正则表达式完成简单的爬行动物，但是高级爬行动物也必须使用这两个框架。这些两个框架需要分开安装。
反爬行者
有时您的网站数据希望禁止其他人爬行，并且您可以进行一些反爬行者的治疗操作。例如，在Baidu上，您找不到关于淘宝的数据，以便您可以避免搜索引擎的竞争和汤宝（Taobao）可以参与一组竞标排名
分布式爬行者
使用多个REDIS实例来缓存每个主机上的数据爬网。
仍然有很多东西要学习。如果您想播放666的爬行者，基本上是这些知识点！
Causter是开始使用Python的最佳方法。
这些话更友好，原理很简单。几行代码可以实现基本爬行动物。学习过程更加顺畅。您可以体验更大的成就感。
掌握了基本爬网后，您将学习Python数据分析，Web开发甚至机器学习。因为在此过程中，Python的基本语法，库
您对如何查找文档非常熟悉。
对于Xiaobai，爬行者可能是一个非常复杂且技术较高的阈值。， 担心 ...
但是，掌握正确的方法和可以在短时间内爬网的数据的数据实际上很容易实现，但是建议您从一开始就有一个特定的目标。
在目标的驱动下，您的学习将更加准确，更有效。您认为您认为可以在完成目标的过程中学习的所有预识。
平滑，基于零的快速学习路径。
Python学习网络，免费Python学习网站，欢迎在线学习！
学习Python软件包并实现基本的爬网处理
大多数爬行动物是通过“发送请求 - 启用页面-Parsing Page -Drawing和Storage Content”的过程执行的。这实际上使用浏览器模拟了我们
获取Web信息的过程。
Python中有许多爬行动物相关的软件包：Urllib，请求，BS4，Scrapy，Pyspider等。建议从请求开始+xpath开始
站点，返回网页，XPath用于分析网页，这很容易绘制数据。
如果您使用了BeautifulSoup，您会发现XPath必须节省很多麻烦。通过逐层检查元素代码层的工作来省略所有这些。基本例程在这种方式上相似，一个
此类静态网站根本不是，Douban，百科全书，腾讯新闻等基本上可以开始。
掌握各种技术，并在特殊网站上处理反获取措施
当然，在爬网过程中有一些绝望，例如被网站阻止，例如各种奇怪的验证代码，Userragent访问限制，各种动态加载等。
当然，在遇到这些反票的方法时，需要一些先进的技能来处理它。常规的访问频率控制，使用代理IP池，抓取软件包，OCR处理验证代码等等。
通常，该网站会偏向于有效开发和反爬行者之间的前者。这也为爬虫提供了空间。这些网站大多数对您来说并不困难。
学习纸巾并建造工程爬行者
掌握先前的技术通常没有问题，但是当它们遇到非常复杂的情况时，它们可能仍然不满意。目前，有力的砂纸
该框架非常有用。
废品是一个非常强大的爬行动物框架。它不仅可以方便地构建请求，而且功能强大的选择器也可以轻松分析响应，而且是最令人兴奋的
令人惊讶的是它的高性能，使您能够工程和模块化爬网。
学习纸巾，您可以自己构建一些爬行动物框架，并且基本上有了爬行者工程师的思考。
了解数据库基础并处理大型数据存储
当数据爬行量很小时，您可以以文档的形式存储它。一旦数据量大，这有点不合理。因此，必须掌握数据库，学习当前是
越来越多的主流猫越还可以。
MongoDB可以帮助您存储一些非结构化数据，例如各种评论文本，图片链接等。您也可以使用Pymongo，更方便
Python的Mongodb。
因为这里要使用的数据库的知识实际上非常简单，主要是如何在仓库中输入数据，如何提取，然后在需要时学习。
分布式爬行动物以实现大规模并收集
基本数据不再是问题，您的瓶颈将集中在爬网的效率上。这次，我相信您自然会与一个非常强大的名称接触：分发
类型攀登。
分布式的东西听起来令人恐惧，但实际上是在使用多线程的原理来使多个爬行动物同时起作用。您需要掌握三种废纸 +蒙古 + redis的工具。
我们之前说过的零工，用来进行基本页面爬行，MongoDB用于存储攀登数据，REDIS用于存储要爬行的Web队列，也就是说，任务是任务，即任务是任务。
队列。
因此，有些事情看起来令人恐惧，但实际上并非如此。当您可以编写分布式爬网时，您可以尝试创建一些基本的爬行动物框架
构造，实现一些更多的自动数据获取。
您会看到，在学习路径之后，您已经可以成为一名旧驱动程序，非常顺利。
该项目（从douban和小猪开始简单地开始），直接开始。
结论：以上是首席CTO的全部内容指出，已经为每个人编译了与Python爬网的连接数。感谢您阅读本网站的内容。我希望这对您有帮助。需要将有关Python爬虫者的更多信息连接到Internet，可以使用Python爬网器，不要忘记找出与连接相关的内容。