Scrapy MongoDB队列插件：scrapy-mongodb-queue

Scrapy MongoDB队列 基于MongoDB的scrapy组件，允许分布式爬网 可用的Scrapy组件 排程器 复制过滤器 安装 来自pypi $ pip install git+https://github.com/jbinfo/scrapy-mongodb-queue 来自github $ git clone https://github.com/jbinfo/scrapy-mongodb-queue.git $ cd scrapy-mongodb-queue $ python setup.py install 用法 在您的settings.py启用组件： # Enables scheduling storing requests queue in redis. SCHEDULER = "scrapy_mongodb_queue.schedule