python爬虫能做什么

python 是一门非常简单易学好用,同时功能强大的编程语言,具有丰富和强大的库,开发效率特别高。下面是小编为您整理的关于python爬虫能做什么，希望对你有所帮助。

python爬虫能做什么

世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

什么是爬虫?

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据

爬虫可以做什么?

你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。

爬虫的本质是什么?

模拟浏览器打开网页，获取网页中我们想要的那部分数据

浏览器打开网页的过程：

当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。

python爬虫的应用

系统编程：提供API(Application Programming Interface应用程序编程接口)，能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具 。

图形处理：有PIL、Tkinter等图形库支持，能方便进行图形处理。

数学处理：NumPy扩展提供大量与许多标准数学库的接口。

文本处理：python提供的re模块能支持正则表达式，还提供SGML，XML分析模块，许多程序员利用python进行XML程序的开发。数据库编程：程序员可通过遵循Python DB-API(数据库应用程序编程接口)规范的模块与Microsoft SQL Server，Oracle，Sybase，DB2，MySQL、SQLite等数据库通信。python自带有一个Gadfly模块，提供了一个完整的SQL环境。网络编程：提供丰富的模块支持sockets编程，能方便快速地开发分布式应用程序。很多大规模软件开发计划例如Zope，Mnet 及BitTorrent. Google都在广泛地使用它。

Web编程：应用的开发语言，支持最新的XML技术。

多媒体应用：Python的PyOpenGL模块封装了“OpenGL应用程序编程接口”，能进行二维和三维图像处理。PyGame模块可用于编写游戏软件。

pymo引擎：PYMO全称为python memories off，是一款运行于Symbian S60V3,Symbian3,S60V5, Symbian3, Android系统上的AVG游戏引擎。因其基于python2.0平台开发，并且适用于创建秋之回忆(memories off)风格的AVG游戏，故命名为PYMO。

黑客编程：python有一个hack的库,内置了你熟悉的或不熟悉的函数，但是缺少成就感。

什么是Python?

Python(大蟒蛇)是一门解释型、面向对象、带有动态语义的高级程序设计语言。

在于1989年，由一位名叫Guido van Rossum(吉多.范罗苏姆)，为打发时间设计了Python语言，第一个发行版公开于1991年。

Python是一款纯粹的自由软件，源代码和解释器CPython都遵循了GPL(GNU General Public License)协议。

Python语法清晰简洁，最有特色的是用空白符作为语句的缩进。

Python具有强大而丰富的类库，也经常被别人说是胶水语言，可以跟其它语言(c/c++)写的模块结合在一起。常见的情况是使用Python快速生成程序的原型，然后有一部分需要有特别高的要求，需要其它语言改写。例如3D游戏中的图形渲染需要用到C/C++编写，然后封装成.py扩展类库由Python调用。需要注意的使用扩展类型需要考虑跨平台性。

优点:

1.简单：Python是一种代表简单主义思想的语言。

2.易用：Python简单容易上手，因为有简单容易看懂的文档。

3.速度快：运行速度快，因为Python中的标准库和第三方库都是C语言编写的，所以很快。

4.免费、开源：Python是一款FLOSS(自由/源代码软件)之一，使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。

5.高层语言：用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。

6.可移植性：由于它的开源本质，Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)。这些平台包括Linux、Windows、 FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE、PocketPC、Symbian以及Google基于linux开发的android平台。

7.解释性：一个用编译性语言比如C或C++写的程序可以从源文件(即C或C++语言)转换到一个你的计算机使用的语言(二进制代码，即0和1)。这个过程通过编译器和不同的标记、选项完成。运行程序的时候，连接/转载器软件把你的程序从硬盘复制到内存中并且运行。而Python语言写的程序不需要编译成二进制代码。你可以直接从源代码运行 程序。在计算机内部，Python解释器把源代码转换成称为字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。这使得使用Python更加简单。也使得Python程序更加易于移植。

8.面向对象：Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。

9.可扩展性：如果需要一段关键代码运行得更快或者希望某些算法不公开，可以部分程序用C或C++编写，然后在Python程序中使用它们。

10.可嵌入性：可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。

11.丰富的库：Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作。

这被称作Python的“功能齐全”理念。除了标准库以外，还有许多其他高质量的库，如wxPython、Twisted和Python图像库等等。

12.规范的代码：Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。

缺点：

1.单行语句和命令行输出问题：很多时候不能将程序连写成一行，如import sys;for i in sys.path:print i。而perl和awk就无此限制，可以较为方便的在shell下完成简单程序，不需要如Python一样，必须将程序写入一个.py文件。

2.独特的语法：这也许不应该被称为局限，但是它用缩进来区分语句关系的方式还是给很多初学者带来了困惑。即便是很有经验的Python程序员，也可能陷入陷阱当中。最常见的情况是tab和空格的混用会导致错误，而这是用肉眼无法分别的。

3.运行速度慢：这里是指与C和C++相比。

江苏省