-
WorkAggregation是一款集成了爬虫抓取、数据分析、可视化展示及互动功能的招聘职位信息聚合系统
资源介绍
:man::laptop: 工作汇总
基于数据技术的互联网行业招聘信息聚合系统本系统以Python为核心,依托网络展示,所有功能在网页就可以完成操作,爬虫,分析,可视化,互动独立成模块,互通有无。具体依托python的丰富库实现,爬虫使用请求爬取,使用lxml,beautifulsoup4解析。使用numpy,pandas分析数据,使用pyecharts做可视化,使用Flask进行web后台建设。数据通过csv,MySQL,配置文件来进行存储互通。为了扩展功能编写了计时器,微信推送,为了适应团队合作编写了函数注册器,参数转换器。爬虫数据来自前程无忧,齐鲁人才网,猎聘网,拉勾网等等网站,需要的基本数据一应俱全。
觉得不错欢迎给star :star:哦
部分网站爬虫可能已无法使用注意使用时的爬虫选项
在线演示
去做
缺失爬虫补充
改善爬取时UI
截图
环境
Windows \ Linux(未测试)
Python 3.6:
- 上一篇: 51jobAnalysis_flask
- 下一篇: 数据挖掘+可视化.zip