主要介绍python的一些高级特性,即列表生成式、生成器、迭代器。
列表生成式
列表生成式即List Comprehensions,是python内置的非常简单但强大的可以用来创建list的生成式。例如,要创建list[0,1,2,3,4,5,6,7,8,9,10]
,可以使用list(range(0,11))
:1
20,11)) list(range(
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
如果要生成的list每个元素都是一个变量(如x
)的函数(f(x)
),可以使用list(f(x)
for x in ...)
,for
循环后可以加入if
判断条件进行过滤筛选,for`循环可以使用多层,还可以同时使用两个或多个变量,例如:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23for x in range(0,11)) list(x*x
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
for x in range(0,11) if x%2==1) list(x*x
[1, 9, 25, 49, 81]
#列出当前目录下的所有文件和目录名
import os
for d in os.listdir('.')) list(d
['.config', 'Music', '.vim', '.DS_Store', 'list.py', '.bash_profile.swp', '.CFUserTextEncoding',...](文件太多不一一列出)
for m in 'ABC' for n in 'XYZ') list(m+n
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
'x':'A', 'y':'B', 'z':'C'} d = {
'='+v for k,v in d.items()) list(k+
['x=A', 'y=B', 'z=C']
for v in d.values()) list(v.lower()
['a', 'b', 'c']
for k in d.keys()) list(k.upper()
['X', 'Y', 'Z']
'='+v.lower() for k,v in d.items()) list(k.upper()+
['X=a', 'Y=b', 'Z=c']
此外,列表生成式可以使用[]
来创建,例如:1
2for m in 'ABC' for n in 'XYZ'] [m+n
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
生成器
通过列表生成式可以创建列表,但受到内存限制,列表容量有限。而且,对于创建的一个包含100万个元素的列表,如果需要访问的只是前面几个元素,那后面的绝大多数元素占用的空间就浪费了。因此,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算后续的元素呢?这样不必创建完整的list,从而节省空间。
在Python中,这种一边循环一边计算的机制,称为生成器:generator。
创建一个generator,方法很多,最简单的是把创建列表生成式的[]
改为()
,例如:1
2
3for x in range(1,4)) g = (x*x
g
<generator object <genexpr> at 0x10a991e60>
问题:如何打印出generator的每一个元素呢
方法一:使用next()
1 | next(g) |
当越界时抛出StopIteration
错误
方法二:使用for
循环
因为generator也是可迭代对象1
2
3from collections import Iterable
isinstance(g, Iterable)
True
具体操作:1
2
3
4
5
6
7
8
9
10#test.py
from collections import Iterable
g = (x*x for x in range(1,4))
for n in g:
print(n)
>>>python3 ~/python_test/test.py
1
4
9
使用for
循环来迭代时,不用担心StopIteration
错误。
generator非常强大,如果推算的算法比较复杂,用类似列表生成式的for
循环无法实现时,还可以用函数来实现。
以斐波那契数列(Fibonacci)为例,除第一个和第二个数以外,任意一个数都可以由前两个数相加得来:1,1,2,3,5,8,13,......
该数列使用列表生成式写不出来,但是,用函数把他打印出来却很容易:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18#test.py
#打印前max个数
def fib(max):
n, a, b = 0, 0, 1
while n<max:
print(b)
a, b = b, a+b
n = n+1
return 'Done!'
fib(6)
python3 ~/python_test/test.py
1
1
2
3
5
8
实际上,fib
函数定义了fibonacci数列的推算规则,可以从第一个元素开始,推算出后续的任意元素,这种逻辑非常类似generator。
要把fib
函数变为generator,只需要把print(b)
改为yield b
就可以了:1
2
3
4
5
6
7
8
9
10
11
12def fib(max):
0, 0, 1 n, a, b =
while n<max:
yield b
a, b = b, a+b
1 n = n+
return 'Done!'
...
6) fib(
<generator object fib at 0x1071d7f68>
6)) type(fib(
<class 'generator'>
generator和函数的执行流程不一样,函数是顺序执行,遇到return
或最后一行函数语句返回,而generator
的函数,在每次调用next()
的时候执行,遇到yield
语句返回,再次执行时从上次返回yield语句处继续执行。
如:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
176) f=fib(
next(f)
1
next(f)
1
next(f)
2
next(f)
3
next(f)
5
next(f)
8
next(f)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration: Done!
同样,对于generator的函数,也不会用next()
来获取下一个返回值,而是直接使用for
循环来迭代:1
2
3
4
5
6
7
8
9for n in fib(6):
print(n)
...
1
1
2
3
5
8
但是用for
循环调用generator时,拿不到其中return
语句的返回值,如果要拿到返回值,必须捕获StopIteration
错误,返回值包含在StopIteration
的value
中:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25#test.py
def fib(max):
n, a, b = 0, 0, 1
while n<max:
yield b
a, b = b, a+b
n = n+1
return 'Done!'
f = fib(6)
while True:
try:
x = next(f)
print('f:', x)
except StopIteration as e:
print('Generator return value:', e.value)
break
lijing@lijingdeMacBook-Pro > python3 ~/python_test/test.py
f: 1
f: 1
f: 2
f: 3
f: 5
f: 8
Generator return value: Done
迭代器
我们已经知道,可以直接作用于for
循环的数据类型有以下几种:
一类是集合类数据类型,如:list
、tuple
、dict
、set
、str
等。
一类是generator
,包括生成器和带yield
的generator function。
这些可以直接作用于for循环的对象统称为可迭代对象:Iterable
,可以使用isinstance()
来判断一个对象是不是Iterable
对象。如:1
2
3
4
5
6
7
8 isinstance([], Iterable)
True
isinstance({}, Iterable)
True
123, Iterable) isinstance(
False
for x in range(1,11)), Iterable) isinstance((x*x
True
而generator不但可以作用于for
循环,还可以被next()
函数不断调用返回下一个值,直至最后抛出StopIteration错误。可以被next()
函数调用并不断返回下一个值得对象称为迭代器:Iterator
。
可以使用isinstance
判断一个对象是否是Iterator
对象:1
2
3
4
5from collections import Iterator
isinstance({}, Iterator)
False
for x in range(1,11)), Iterator) isinstance((x*x
True
生成器都是Iterator
对象,但是list
、dict
、str
虽然是Iterable
,却并不是Iterator
。把它们变为Iterator
可以使用函数iter()
函数:1
2 isinstance(iter({}), Iterator)
True
Iterator
对象表示的是一个数据流,可以被next()
函数调用并不断返回下一个数据,直到抛出StopIteration
错误,可以把数据流看做一个有序序列,但是提前并不知道序列长度,只能不断通过next()
函数计算下一个数据,因此,Iterator
是惰性的,只有需要返回下一个数据时才会计算。
小结
·凡是可以作用于for
循环的对象都是Iterable
类型
·凡是可以作用于next()
函数的对象都是Iterator
类型,他们表示一个惰性的计算序列
·集合数据类型可以通过函数iter()
获得一个Iterator
对象