教程资讯 软件专题
Collect URL是一款网络爬虫模拟程序,Collect URL像一个互联网搜索引擎机器人。从用户输入的URL开始,它列出了URL上的所有链接。然后递归扫描列表中的所有链接。用户可以限制收集URL仅收集单个域名。文件扩展名忽略列表是可编辑的。连接和响应超时值是可编辑的。另外,...