【Heritrix下载】Heritrix爬虫工具 v3.2.0 官方版

软件介绍

知识兔

Heritrix是一款具有高度扩展性的网络爬虫工具,这款软件除了可以分享与其它同类软件一样的网络资源抓取功能外,还支持使用用户自定义逻辑进行抓取,让用户可以获得更有针对性的内容,省去之后大量的删选时间。

Heritrix爬虫工具截图

软件特色

知识兔

1.Heritrix爬虫工具的主要部件都是高效可扩展的。
2.使用先进的广度优先算法进行处理,让用户获得更好的内容。
3.从一个分享的种子进行爬,收集站点内的精确URI,和精确主机。
4.用单个爬虫在多个独立的站点一直不断的进行递归的爬。

软件功能

知识兔

可设置输出日志,归档文件和临时文件的位置。
可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
可设置工作线程数量。
可设置所利用的带宽的上界。
可在设置之后一定时间重新选择。
包含一些可设置的过滤机制,表达方式,URI路径深度选择等等。

安装方法

知识兔

1、等待Heritrix下载完成
2、解压文件(推荐winrar压缩软件)
3、开始安装Heritrix爬虫工具

下载仅供下载体验和测试学习,不得商用和正当使用。

下载体验

请输入密码查看下载!

如何免费获取密码?

点击下载

标签

发表评论