【Heritrix下载】Heritrix爬虫工具 v3.2.0 官方版
软件介绍
Heritrix是一款具有高度扩展性的网络爬虫工具，这款软件除了可以分享与其它同类软件一样的网络资源抓取功能外，还支持使用用户自定义逻辑进行抓取，让用户可以获得更有针对性的内容，省去之后大量的删选时间。
软件特色
1.Heritrix爬虫工具的主要部件都是高效可扩展的。
2.使用先进的广度优先算法进行处理，让用户获得更好的内容。
3.从一个分享的种子进行爬，收集站点内的精确URI，和精确主机。
4.用单个爬虫在多个独立的站点一直不断的进行递归的爬。
软件功能
可设置输出日志，归档文件和临时文件的位置。
可设置下载的最大字节，最大数量的下载文档，和最大的下载时间。
可设置工作线程数量。
可设置所利用的带宽的上界。
可在设置之后一定时间重新选择。
包含一些可设置的过滤机制，表达方式，URI路径深度选择等等。
安装方法
1、等待Heritrix下载完成
2、解压文件（推荐winrar压缩软件）
3、开始安装Heritrix爬虫工具
下载仅供下载体验和测试学习，不得商用和正当使用。
发表评论