crawlergo是一款采用chrome headless模式进行URL收集的浏览器爬虫工具

crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。 crawlergo 目前支持以下特性： 原生浏览器环境，协程池调度任务 表单智能填充、自动化提交 完整DOM事件收集，自动化触发 智能URL去重，去掉大部分的重复请求 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz 支持Host绑定，自动添加Referer 支持请求代理，支持爬虫结果主动推送