用Python写了一个爬虫脚本,在抓取页面采用广度优先遍历抓取。但是当遍历到900多时就会出现莫名其妙的错误,通过pdb调试发现是:

RuntimeError: maximum recursion depth exceeded

在网上查了,发现python默认的递归深度是很有限的,大概是900多的样子,当递归深度超过这个值的时候,就会引发这样的一个异常。

解决的方式是手工设置递归调用深度,方式为

1
2
import sys
sys.setrecursionlimit(1000000) # 例如这里设置为一百万