-
一亩三分地1point3acres题库爬虫:leetcode-crawler_1point3
资源介绍
leetcode题库
该项目包含两个独立的子项目:
crawler_1point3:
统计一亩三分地帖子数据,可以查看近期哪些公司热度比较高
crawler_leetcode(WIP):
统计
LeetCode
面经数据。
简介
目前支持:
一亩三分地“”,可统计公司话题热度
一亩三分地“”
,可统计公司招聘热度
LeetCode
爬虫只将帖子数据写入数据,可参考
crawler_web
进行网页展示,若只想本地看统计数据的话可以在
中取消
#
self.create_forms_by_db()
注释,在
company_list
中添加想要看到的公司名,其会在本地创建一个
markdown
文件,统计数据将以
markdown
表格的形式展示。
由于一亩三分地的帖子是按照回复时间排序的,而
LeetCode
可以按照发帖顺序排序,所以两个爬虫在
判断是否达到上次爬过的内容
上有所不同。
一亩三分地每个帖子里面会有公司的
tag,所以提取公司比较容易,而
LeetCode
格式没那么严格,只能在标题和
tag
里提取字段,判断是否是公司名,公司名单列表存在单独的文件
里面方便修改。
P
- 上一篇: Azure-103.doc
- 下一篇: Excel图表与数据分析实战秘技250招--练习素材