python网络爬虫的作用

爬虫就是从种子URL开始，通过 HTTP 请求获取页面内容，并从页面内容中通过各种技术手段解析出更多的 URL，递归地请求获取页面的程序网络爬虫，下面是小编为您整理的关于python网络爬虫的作用，希望对你有所帮助。

python网络爬虫的作用

1.做为通用搜索引擎网页收集器。

2.做垂直搜索引擎.

3.科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。

4.偷窥，hacking，发垃圾邮件……

request请求包含什么

当我们通过浏览器向服务器发送request请求时，这个request包含了一些什么信息呢?我们可以通过chrome的开发者工具进行说明(如果不知道如何使用看本篇备注)。

请求方式：最常用的请求方式包括get请求和post请求。post请求在开发中最常见的是通过表单进行提交，从用户角度来讲，最常见的就是登录验证。当你需要输入一些信息进行登录的时候，这次请求即为post请求。

url统一资源定位符：一个网址，一张图片，一个视频等都可以用url去定义。当我们请求一个网页时，我们可以查看network标签，第一个通常是一个document，也就是说这个document是一个未加外部图片、css、js等渲染的html代码，在这个document的下面我们会看到一系列的jpg，js等，这是浏览器根据html代码发起的一次又一次的请求，而请求的地址，即为html文档中图片、js等的url地址

request headers：请求头，包括这次请求的请求类型，cookie信息以及浏览器类型等。 这个请求头在我们进行网页抓取的时候还是有些作用的，服务器会通过解析请求头来进行信息的审核，判断这次请求是一次合法的请求。所以当我们通过程序伪装浏览器进行请求的时候，就可以设置一下请求头的信息。

请求体：post请求会把用户信息包装在form-data里面进行提交，因此相比于get请求，post请求的Headers标签的内容会多出Form Data这个信息包。get请求可以简单的理解为普通的搜索回车，信息将会以?间隔添加在url的后面。

为什么python适合写爬虫

1)抓取网页本身的接口

相比与其他静态编程语言，如JAVA，c#，C++，python抓取网页文档的接口更简洁;相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2)网页抓取后的处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.

聚焦爬虫过滤方法

1.浅聚焦爬虫

选取符合目标主题的种子URL，例如我们定义抓取的信息为招聘信息，我们便可将招聘网站的URL(拉勾网、大街网等)作为种子URL，这样便保证了抓取内容与我们定义的主题的一致性。

2.深聚焦爬虫

一般有两种，一是针对内容二是针对URL。其中针对内容的如页面中绝大部分超链接都是带有锚文本的，我们可以根据锚文本进行筛选。

江苏省