-
MyAnimeList扫描仪malscan,适用于推荐系统
资源介绍
MyAnimeList扫描仪
关于
扫描MAL站点以获取推荐系统“推荐)”所需的数据。
对于并行的加速扫描:
每个扫描程序实例可以一次(在队列中)执行几个http请求。
多个扫描仪实例可以从许多进程和PC安全地运行。
可以使用不同的“数据提供程序”-直接解析MAL站点,并使用代理,非官方MAL API服务器(请参阅mal_api_server )进行mal_api_server 。 请参阅类MalDataProvider > MalParser和MalApiClient 。
安全并行化是在redis事务的帮助下实现的(请参阅类MalBaseScanner )。
扫描的数据将保存到PostgreSQL db(请参阅data/db-schema.sql MalDataProcesser ,类MalDataProcesser )。
使用
安装PostgreSQL数据库模式data/d