首页
资源下载
云计算
人工智能
信息化管理
前端
区块链
后端
大数据
存储
安全技术
开发技术
操作系统
数据库
服务器应用
游戏开发
物联网
硬件开发
移动开发
网络技术
考试认证
行业
行业研究
课程资源
跨平台
音视频
登录
注册
当前位置:
主页
>
资源下载
>
31
> 使用scrapyredis实现的Python分布式爬虫抓取了来自JD、当当和Amazon的图书数据
使用scrapyredis实现的Python分布式爬虫抓取了来自JD、当当和Amazon的图书数据
更新：
2024-08-08 21:19:38
大小：
2.04MB
推荐：
★★★★★
来源：
网友上传分享
类别：
其它 - 开发技术
格式：
ZIP
反馈 / 投诉
文件下载
资源介绍
采用scrapy-redis爬去京东图书，当当图书和Amazon图书，采用分布式爬虫爬取数据，实现爬虫的暂停和开始，断点再续，URL去重，数据存储等，属于轻量级爬虫
上一篇:
Python-从Amazon抽取商品信息的Python3脚本
下一篇:
生物信息学数据库-教你读懂Genbank数据
相关推荐
12-02
使用scrapyredis实现的Python分布式爬虫抓取了来自JD、当当和Amazon的图书数据
