第一章:数据结构和算法

1.3 保留最后 N 个元素

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

问题:

在迭代操作或其他操作的时候,怎样只保留最后有限几个元素的历史记录?

解决方案:

保留有限历史记录正是 collections.deque 大显身手的时候。比如,下面的代码 cookbook_deque.py 在多行上面做简单的文本匹配,并返回匹配所在行的最后 N 行:

from collections import deque
def search(lines, pattern, history=5):
    previous_lines = deque(maxlen=history)
    for line in lines:
        if pattern in line:
            yield line, previous_lines
        previous_lines.append(line)
# Example use on a file
if __name__ == '__main__':
    with open(r'/tmp/cookbook/somefile.txt') as f:
        for line, prevlines in search(f, 'python', 5):
            for pline in prevlines:
                print(pline, end='')
                print(line, end='')
                print('-' * 20)

附上 /tmp/cookbook/somefile.txt 内容:

[root@xucloud-gdy ~]# cat /tmp/cookbook/somefile.txt 
aoht awongng python
wwwww
aaaaa
python
cccccc
dddddd
xxxx
ooooo
pppp
weaewae
ppppythonww

 运行结果如下:

[root@xucloud-gdy 20190131]# python3 cookbook_deque.py 
aoht awongng python
python
--------------------
wwwww
python
--------------------
aaaaa
python
--------------------
dddddd
ppppythonww
--------------------
xxxx
ppppythonww
--------------------
ooooo
ppppythonww
--------------------
pppp
ppppythonww
--------------------
weaewae
ppppythonww
--------------------

 

使用 deque(maxlen=N) 构造函数会新建一个固定大小的队列。当新的元素加入并 且这个队列已满的时候,最老的元素会自动被移除掉。

>>> q = deque(maxlen=3)
>>> q.append(1)
>>> q.append(2)
>>> q.append(3)
>>> q
deque([1, 2, 3], maxlen=3)
>>> q.append(4)
>>> q
deque([2, 3, 4], maxlen=3)
>>> q.append(5)
>>> q
deque([3, 4, 5], maxlen=3)

 更一般的,deque 类可以被用在任何你只需要一个简单队列数据结构的场合。如果 你不设置最大队列大小,那么就会得到一个无限大小队列,你可以在队列的两端执行添 加和弹出元素的操作。

>>> q = deque()
>>> q.append(1)
>>> q.append(2)
>>> q.append(3)
>>> q
deque([1, 2, 3])
>>> q.appendleft(4)
>>> q
deque([4, 1, 2, 3])
>>> q.pop()
3
>>> q
deque([4, 1, 2])
>>> q.popleft()
4
>>> q
deque([1, 2])



在队列两端插入或删除元素时间复杂度都是 O(1) ,而在列表的开头插入或删除元 素的时间复杂度为 O(N) 。

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄