Collect URL是一款网络爬虫模拟程序,Collect URL像一个互联网搜索引擎机器人。从用户输入的URL开始,它列出了URL上的所有链接。然后递归扫描列表中的所有链接。用户可以限制收集URL仅收集单个域名。文件扩展名忽略列表是可编辑的。连接和响应超时值是可编辑的。另外,用户可以更改HTTP和HTTPS连接的用户代理值。
1、轻量级,简单易用的网络爬虫
您可以立即开始使用收集URL,因为在启动扫描之前不需要执行任何配置。只需输入所需的URL,单击开始按钮,然后等待列表填充。
2、提供一套基本的过滤器供您使用
如果您希望扫描更为精确,则可以让程序显示默认隐藏的高级设置。它们相当简单,但如果通过工具提示提供某些解释,它仍然会有所帮助。