python爬虫框架有哪些

　　Python是一门优雅的编程语言，被广泛应用在Web开发、游戏开发、人工智能、云计算开发、大数据开发、数据分析、科学运算、爬虫、自动化运维、自动化测试等领域，Python在各领域的应用最方便的就是使用框架，可以让程序员以更少的代码实现自定义功能，还可以将更多的精力集中在业务逻辑上，更加的轻松便利!下面就给大家整理一下关于python爬虫框架有哪些，希望对大家能有所帮助。

　　爬虫框架有哪些

　　多想写网络爬虫的同学会关心目前有哪些好用的爬虫框架，于是我就搜集了一些一些爬虫框架的简单介绍供大家参考：

　　1、神箭手云爬虫框架

　　是一个免费的网络爬虫框架，为开发者提供成套的开发教程和开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。

　　最大的特点是一站式服务，通过底层框架简化了网络爬虫开发难度，而且提供了丰富的开源网络爬虫资源。

　　2、Nutch

　　这是一个开源Java 实现的搜索引擎，提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。Nutch目前最新的版本为version v2.3。

　　3、Crawler4j

　　Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。

　　4、WebMagic

　　WebMagic是一个简单灵活的Java爬虫框架。

　　它的特性包括：简单的API，可快速上手;模块化的结构，可轻松扩展;提供多线程和分布式支持

　　5、Heritrix

　　这是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

　　用python爬虫框架Scrapy爬取

　　Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

　　Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

　　Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小刮刮吧。

　　Scrapy主要包括了以下组件：

　　引擎(Scrapy)

　　用来处理整个系统的数据流处理, 触发事务(框架核心)

　　调度器(Scheduler)

　　用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

　　下载器(Downloader)

　　用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

　　爬虫(Spiders)

　　爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

　　项目管道(Pipeline)

　　负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

　　下载器中间件(Downloader Middlewares)

　　位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

　　爬虫中间件(Spider Middlewares)

　　介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

　　调度中间件(Scheduler Middewares)

　　介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

　　Scrapy运行流程大概如下：

　　引擎从调度器中取出一个链接(URL)用于接下来的抓取

　　引擎把URL封装成一个请求(Request)传给下载器

　　下载器把资源下载下来，并封装成应答包(Response)

　　爬虫解析Response

　　解析出实体(Item),则交给实体管道进行进一步的处理

　　解析出的是链接(URL),则把URL交给调度器等待抓取

　　因为python3并不能完全支持Scrapy，因此为了完美运行Scrapy，我们使用python2.7来编写和运行Scrapy。

　　python爬虫架构

　　(一)、了解网络爬虫之前，我们先来了解下搜索引擎的工作原理：

　　做过网页的人都明白，网络上HTML文档使用超链接连接了以来，把这些虚拟化的东西可以形象成一张网，也就是万维网。当你在搜索引擎中输入关键字的时候，就相当于放出了很多的网络爬虫。别忘了，你的电脑正处于万维网的一个节点(一个网站)，而你输入的关键字正指定了一系列的网站。也就是所说的url，而关键字与url的索引，正是有爬虫建立的。这些索引经过了一系列的排序算法才呈现在我们的面前。简单的说，就是我们输入关键字，放出爬虫，爬虫将关键字与相对的网站建立索引，然后经过复杂算法排序呈现出来。只不过这些索引有的早就已经建立完成了，所以我们输入关键字后才会那么快出来网站。

　　(二)、知道了网络爬虫的概念，再来了解下网络爬虫的原理。知道了这些大致的原理，我们才会在写爬虫的时候有全局观念。

　　上面所说，url对应了一个网页，既然是网页，就会有相应的HTML页面。网络爬虫会把这个HTML页面全部抓下来，也页面是字符串。也就是说网络爬虫会把字符串抓下来，然后解析这些字符串，有的字符串解析成图片，有的解析成电影的网址(也就是我们所说的种子!)，总而言之会把文本信息提取出来。而这些文本信息保存在你的电脑运行内存里，并非磁盘，如果想要留下来，只需要保存，就可以把相应的文本信息存下来，这就是爬虫最可怕的地方。因为爬取url和解析文本的时间极短，比你点击鼠标的时间短得多，简单来说，网速正常的情况下，单线程的爬虫，一分钟下载数百张的图片不是问题。

　　(三)、我们来了解下为何使用python来写爬虫：

　　首先，python是脚本语言，这一点是C，C++，java等比不上的，最简单来说，python执行不需要编译，写一行执行一行，知道有错误的地方才会停止运行。它不需要申请太大的进程空间，所以运行效果很好。

　　其次，python有很强大的库，只要import，就可以运行，不需要与库函数再进行链接，这一点C，C++比不上。当然C、C++也有python没有的优点，因为今天python主场，不再讨论。

　　最后，python书写的语法很简单，正则表达式更是简介到不可思议，她还有很好的缩进，使得再多的代码也会显得简洁明了。

　　(四)、写python前，我们需要了解下python如何访问网络。

　　使用过python的人都了解，python自带了很强大的库，而这些库里面又包含很多函数模块。python访问互联网用到的库就是urllib，而请求访问网络的是urllib.request模块。