python3.6爬虫入门教程

 

Python热门正是因为应用开发工程师、运维工程师、数据科学家都喜欢 Python，才使得 Python 成为大数据系统的全栈式开发语言。以下是小编为你整理的python3.6爬虫入门教程

基础知识：学习每一种新的编程语言都是从最基本的开始，对于python而言也是需要先学习其基础知识。

python的基础知识包括：变量和数据类型，List和Tuple，条件判断和循环，Dict和Set， 函数，切片，迭代和列表生成式。

注意:学习基础知识切莫着急，一定要打好基础，这样才会更好的应用python。

进阶知识：学完掌握基础知识之后，就要学习进阶知识了。

python的进阶知识包括：函数式编程，模块，面向对象编程基础，类的继承和定制类。

python装饰器：装饰器是很重要的一个知识点。

关于装饰器需要涉及到函数作用域.闭包的使用和装饰器的概念及使用。

如何搭建环境

学习爬虫首先学习Python，建议通过中国大学mooc和《笨方法学Python》来实现入门，那本书的内容可以有所取舍。通过这两个途径再上网上针对性地查找相关内容完全可以入门，重点在于理解“面向对象”。

爬虫入门首先要明白一些网络技术，了解TCP/IP参考模型，并且对应用层的HTTP协议的方法和工作原理有一定的认识。爬虫爬取网页内容，大多数网页服务由HTTP协议实现。

正式学习爬虫库urllib和正则表达式，urllib灵活性很高，并且和你所学的网络原理、HTTP原理非常贴合，利于新手学习，正则表达式看看内容，再看几个实例就应该会用了，不推荐看乱七八糟的教程和MOOC(效果非常差，讲的跨度太大)，推荐书籍《精通Python网络爬虫 核心技术、框架与项目实战 》(韦玮)。同样是选择性的阅读。

学习完成之后，多加实践，推荐实战项目：1、爬取漫画网上的一部漫画的所有图片，并用PowerPoint做成PDF 2、爬取电影下载网站上的所有电影下载链接并整理到Excel。能独立完成这两个实战项目，恭喜你已经成功入门!

常见的函数应用

交换变量

x = 6

y = 5

x, y = y, x

print x

>>> 5

print y

>>> 6

if 语句在行内

print "Hello" if True else "World"

>>> Hello

连接

下面的最后一种方式在绑定两个不同类型的对象时显得很cool。

nfc = ["Packers", "49ers"]

afc = ["Ravens", "Patriots"]

print nfc + afc

>>> ["Packers", "49ers", "Ravens", "Patriots"]

print str(1) + " world"

>>> 1 world

print `1` + " world"

>>> 1 world

print 1, "world"

>>> 1 world

print nfc, 1

>>> ["Packers", "49ers"] 1

数字技巧

#除后向下取整

print 5.0//2

>>> 2

# 2的5次方

print 2**5

>> 32

注意浮点数的除法

print .3/.1

>>> 2.9999999999999996

print .3//.1

>>> 2.0

数值比较

这是我见过诸多语言中很少有的如此棒的简便法

x = 2

if 3 > x > 1:

print x

>>> 2

if 1 < x > 0:

print x

>>> 2

5

同时迭代两个列表

nfc = ["Packers", "49ers"]

afc = ["Ravens", "Patriots"]

for teama, teamb in zip(nfc, afc):

print teama + " vs. " + teamb

>>> Packers vs. Ravens

>>> 49ers vs. Patriots

python有什么优点

对于开发工程师而言，Python 的优雅和简洁无疑是最大的吸引力，在 Python 交互式环境中，执行import this，读一读 Python 之禅，你就明白 Python 为什么如此吸引人。Python 社区一直非常有活力，和 NodeJS 社区软件包爆炸式增长不同，Python 的软件包增长速度一直比较稳定，同时软件包的质量也相对较高。有很多人诟病 Python 对于空格的要求过于苛刻，但正是因为这个要求，才使得 Python 在做大型项目时比其他语言有优势。OpenStack 项目总共超过 200 万行代码，证明了这一点。

对于运维工程师而言，Python 的最大优势在于，几乎所有 Linux 发行版都内置了 Python 解释器。Shell 虽然功能强大，但毕竟语法不够优雅，写比较复杂的任务会很痛苦。用 Python 替代 Shell，做一些复杂的任务，对运维人员来说，是一次解放。

对于数据科学家而言，Python 简单又不失强大。和C/C++相比，不用做很多的底层工作，可以快速进行模型验证;和 JAVA 相比，Python 语法简洁，表达能力强，同样的工作只需要1/3 代码;和 Matlab，Octave 相比，Python 的工程成熟度更高。不止一个编程大牛表达过，Python 是最适合作为大学计算机科学编程课程使用的语言——MIT 的计算机入门课程就是使用的 Python——因为 Python 能够让人学到编程最重要的东西——如何解决问题。

顺便提一句，微软参加 2015 年 PyCon，高调宣布提高 Python 在 Windows 上的编程体验，包括 Visual Studio 支持 Python，优化 Python 的C扩展在 Windows 上的编译等等。脑补下未来 Python 作为 Windows 默认组件的场景。

 

江苏省