登录 注册
当前位置:主页 > 资源下载 > 14 > 轻量级 Reddit 爬虫 simple-reddit-crawler,采用 Python 与 MySQL 技术实现

轻量级 Reddit 爬虫 simple-reddit-crawler,采用 Python 与 MySQL 技术实现

  • 更新:2024-10-20 12:31:21
  • 大小:10KB
  • 推荐:★★★★★
  • 来源:网友上传分享
  • 类别:其它 - 开发技术
  • 格式:ZIP

资源介绍

(͡ °͜ʖ͡°) 简单的 Reddit 爬虫 使用 Python 和 MySQL 的轻量级 Reddit 爬虫 保存线程: 运行python reader/reader.py /r/yoursubreddithere 保存评论: 运行python reader/reader.py --get-comments 如何构建 git clone这个仓库。 在 MySQL 实例中运行create-database.sql脚本 使用sudo apt-get install python-pip 使用sudo pip install PyMySQL 打开reader/reader.py ,搜索userAgent = ""并在那里输入一个 User-Agent。 跳过此步骤将导致 Reddit 阻止您的请求。 爬虫的工作原理 爬虫分两步运行:线程和评论。 阅读线程时: 该脚本读取您选择的