【ScrapydWeb官方版下载】ScrapydWeb(爬虫管理平台) v1.4.0 官方版
软件介绍
ScrapydWeb官方版是一款能够帮助用户进行Scrapyd集群管理的爬虫管理平台,我们可以通过ScrapydWeb来对Scrapy日志进行分析和可视化处理,从而方便你管理Scrapyd集群。
ScrapydWeb官方版软件简介
ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的web应用,支持Scrapy日志分析和可视化,支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI!
软件特色
Scrapyd 集群管理
支持所有 Scrapyd JSON API
支持通过分组和过滤来选择若干个节点
一次操作, 批量执行
Scrapy 日志分析
数据统计
进度可视化
日志分类
增强功能
自动打包项目
集成 LogParser
定时器任务
监控和警报
移动端 UI
web UI 支持基本身份认证
ScrapydWeb官方版常见问题
1、scrapy是什么?
一个爬虫框架,你可以创建一个scrapy项目
2、scrapyd是什么?
相当于一个组件,能够将scrapy项目进行远程部署,调度使用等因此scrapyd可以看作一个cs(client-server)程序,因此毫无疑问我们需要安装和配置scrapyd(server)和连接的scrapy-client(client)
3、scrapydweb是什么?
是一个基于scrapyd的可视化组件,集成并且分享更多可视化功能和更优美的界面
总结:三者如同葫芦套娃,总共三层
下载仅供下载体验和测试学习,不得商用和正当使用。
发表评论