怎么用python写爬虫

 

Django 是由 Python 开发的一个免费的开源网站框架，可以用于快速搭建高性能，优雅的网站!以下是小编为你整理的怎么用python写爬虫

1. Django是 python 语言写的一个网络框架包，所以你得知道一些 Python 基础知识。

2. 其次你最好有一些做网站的经验，懂一些网页 HTML, CSS, JAVAScript 的知识。

没有经验也没有关系，慢慢来就好了，你一定可以学会，Django 很简单!

Django 特点

强大的数据库功能

用python的类继承，几行代码就可以拥有一个丰富，动态的数据库操作接口(API)，如果需要你也能执行SQL语句

自带的强大的后台功能

几行简单的代码就让你的网站拥有一个强大的后台，轻松管理你的内容!

优雅的网址

用正则匹配网址，传递到对应函数，随意定义，如你所想!

模板系统

强大，易扩展的模板系统，设计简易，代码，样式分开设计，更容易管理。

缓存系统

与memcached或其它的缓存系统联用，更出色的表现，更快的加载速度。

国际化

完全支持多语言应用，允许你定义翻译的字符，轻松翻译成不同国家的语言。

函数式编程

允许变量指向函数，直接对变量的调用和调用这个函数是一样的效果;

接收参数是函数的函数，同时也称高阶函数。

例子：利用add(x,y,f)函数，计算：x,y的平方根之和：

import math

def add(x,y,f):

return f(x)+f(y)

add(9,25,math.sqrt)

END

map()高阶函数

1

a)、map()函数：接收一个f函数以及一个list，并且通过f函数依次作用在list的每一个元素上返回一个新的list。

b)、使用：map(function,list)

c)、例子：

假设用户输入的英文名字不规范，没有按照首字母大写，后续字母小写的规则，请利用map()函数，把一个list(包含若干不规范的英文名字)变成一个包含规范英文名字的list：

输入：["adam", "LISA", "barT"]

输出：["Adam", "Lisa", "Bart"]

def format_name(l):

return l[0:1].upper()+l[1:].lower()

print map(format_name,["adam", "LISA", "barT"])

reduce()高阶函数

a)、reduce()函数：允许接收一个函数f和一个list;而reduce()传入的函数f必须接收两个参数。reduce对list中的每一个元素反复调用函数f并返回结果，然后将结果作为新的参数传入函数f .

b)、调用：reduce(function,list)

c)、例子：Python内置了求和函数sum()，但没有求积的函数，请利用recude()来求积：

输入：[2, 4, 5, 7, 12]

输出：2*4*5*7*12的结果

def prod(x,y):

return x*y

print reduce(prod,[2,4,5,7,12])

END

filter()高阶函数

1

a)、filter()：接收一个函数f和list。函数f对list中的每一个元素进行过滤，返回true or false，filter()函数根据判断结果自动过滤不符合条件的元素，返回符合条件的元素组成新的list。

b)、调用：filter(function,list)

c)、例子：请利用filter()过滤出1~100中平方根是整数的数，即结果应该是：

[1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

import math

def is_sqr(l):

s=math.sqrt(l)

return int(s)==s

print filter(is_sqr,range(1,101))

print函数

我们在使用print()函数的时候如果在参数前面加上r,那么后面字符串里的内容就原封不动地打印出来啦。

>>> print(r"n ")

n

>>> print("n ")

SyntaxError: EOL while scanning string literal

>>> print("n ")

 

>>> print("n ")

你知道为什么输入print("n ")报错;而输入print("n ")可以正常运行吗?因为后面得接些转义字符。

如果我们想让每个单词单独输出一行怎么办呢?
虽然是一种方法，但是让代码很难看。

在print()里，用""" """将要输出显示的内容包起来，引号里的
符就可以打印出来啦，方便直观。

当然前面加上r也是有同样效果的，下次看到不要惊奇。

python里的变量是区分大小写的，前面我们已经介绍过来，再来通过布尔值来验证一下。

>>> true

Traceback (most recent call last):

File "", line 1, in

true

NameError: name "true" is not defined

>>> True

True

导入Numpy模块

import Numpy as np

先输入数组

>>> a= np.arange(10)

>>> a

array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

进行切片

>>> a[5]#用整数作为下标可以获得数组中的某个元素

>>> a[3:5]#用切片作为下标可以获得数组的一部分元素，注意包括首位，但不包含尾部

array([3, 4])

>>> a[:5]#切片中省略开始下标，表示从a[0]开始到a[5]结束，但不包含a[5]

array([0, 1, 2, 3, 4])

>>> a[:-1]#下标可以是负数，数组倒数第一位为-1，a[:-1]表示从第一位一直取到-1的位置，但不包括-1位的数据

array([0, 1, 2, 3, 4, 5, 6, 7, 8])

>>> a[2:4]=100,101#可以通过数组下标赋值来改变数组中数据

>>> a

array([ 0, 1, 100, 101, 4, 5, 6, 7, 8, 9])

>>> a[1:-1:2]#从数组下标1取到-1位置，且步长为2，且不包含-1位置数据

array([ 1, 101, 5, 7])

>>> a[::-1]#省略切片的开始下标和结束下标，步长为-1，表示整个数组头尾颠倒

array([ 9, 8, 7, 6, 5, 4, 101, 100, 1, 0])

>>> a[5:1:-2]#起始点为a[5]，终点位置为a[1]，且不包含a[1]，步长为-2指倒着数

array([ 5, 101])

>>> x=np.arange(10,1,-1)#arange函数类似于列表操作，从10倒数取到1，步长为-1

>>> x

array([10, 9, 8, 7, 6, 5, 4, 3, 2])

 

江苏省