-
获取单个博主的所有博文 using Python
资源介绍
python+urllib+selenium爬取****单个博主的所有博文。步骤：
1.通过selenium获取js动态加载的页数
页数是javascript动态加载，不能直接通过urllib获取。改为通过selenium获取页数。
2.通过urllib获取一页内所有文章的链接
根据页数、链接，获取每一页的文章链接，存入数组。
3.遍历文章链接，获取对应的文章的html文件，写好标题存储起来
请自行阅读代码修改食用
- 上一篇: Python Scrapy爬虫爬取微博和微信公众号热门消息
- 下一篇: neo4j-community