数据模型对有关一组或多组索引数
使用说明
一、我可以索引哪些数据?
Splunk Enterprise可以索引任何类型的数据。特别是,任何和所有IT流,机器和历史数据,例如Windows事件日志,Web服务器日志,实时应用程序日志,网络供稿,指标,更改监视,消息队列,存档文件,等等。
1、如何获取数据?
要将数据放入Splunk部署中,请将其指向数据源。告诉一下有关来源。然后,该源将成为数据输入。Splunk Enterprise为数据流编制索引并将其转换为一系列事件。您可以立即查看和搜索这些事件。如果结果不完全符合您的要求,则可以调整索引编制过程,直到获得所需结果为止。
如果您具有Splunk Enterprise,则数据可以与索引器在同一台计算机上(本地数据),也可以在另一台计算机上(远程数据)。如果您具有Splunk Cloud,则数据驻留在公司网络中,然后将其发送到Splunk Cloud部署。您可以使用网络订阅源或通过在数据起源的主机上安装Splunk 转发器,将远程数据放入Splunk部署中。有关本地和远程数据的更多信息,请参阅我的数据在哪里?
Splunk提供了应用程序和附加组件,以及针对Windows或Linux专用数据源,Cisco安全数据,Symantec Blue Coat数据等内容的预配置输入。在Splunkbase上寻找适合您需求的应用程序或加载项。Splunk Enterprise还附带了许多数据源配方,例如Web服务器日志,Java 2 Platform,Enterprise Edition(J2EE)日志或Windows性能指标。您可以从Splunk Web 的“ 添加数据”页面中找到这些内容。如果配方和应用程序不能满足您的需求,那么您可以使用常规输入配置功能来指定您的特定数据源。
有关如何配置数据输入的更多信息,请参阅“ 配置输入”。
引导数据入门
引导式数据入门(GDO)功能还提供了端到端指导,以将选定的数据源引入特定的Splunk平台部署中。
在Splunk Web的主页上,点击添加数据,找到数据入门指南。从那里您可以选择数据源和配置类型。然后查看图表,高级步骤和文档链接,以帮助您设置和配置数据源。
您可以通过单击Splunk Enterprise文档站点上的“ 添加数据”选项卡找到所有“指导数据入门”手册。
2、数据源类型
Splunk提供了用于配置多种数据输入的工具,包括特定于特定应用程序需求的数据输入。Splunk还提供了用于配置任意数据输入类型的工具。通常,您可以按以下方式对Splunk输入进行分类:
文件和目录
网络事件
Windows资源
其他来源
文件和目录
许多数据直接来自文件和目录。您可以使用文件和目录监视器输入处理器从文件和目录获取数据。
要监视文件和目录,请参阅从文件和目录获取数据。
网络事件
Splunk Enterprise可以索引来自任何网络端口的数据,例如来自syslog-ngTCP协议传输的远程数据或任何其他应用程序的数据。它还可以索引UDP数据,但应尽可能使用TCP来增强可靠性。
Splunk Enterprise还可以接收SNMP事件并为其编制索引,并通过远程设备触发警报。
要从网络端口获取数据,请参阅本手册中的从TCP和UDP端口获取数据。
要获取SNMP数据,请参阅本手册中的将SNMP事件发送到Splunk部署。
Windows资源
Splunk Cloud和Windows版本的Splunk Enterprise接受各种Windows特定的输入。Splunk Web使您可以配置以下Windows特定的输入类型:
Windows事件日志数据
Windows注册表数据
WMI数据
Active Directory资料
绩效监控数据
要在Splunk Enterprise的非Windows实例上索引和搜索Windows数据,必须首先使用Windows实例来收集数据。请参阅注意事项以决定如何监视远程Windows数据。
有关在Splunk Enterprise中使用Windows数据的详细介绍,请参阅本手册中的“ 监视Windows数据”。
其他资料来源
Splunk软件还支持其他类型的数据源。例如:
指标
从您的技术基础架构,安全系统和业务应用程序获取指标数据。
先进先出(FIFO)队列
脚本输入
从API和其他远程数据接口以及消息队列获取数据。
模块化输入
定义自定义输入功能以扩展Splunk Enterprise框架。
HTTP事件收集器端点
使用HTTP事件收集器可以直接从具有HTTP或HTTPS协议的源中获取数据。
二、开始获取数据
要开始将数据导入Splunk部署,请通过配置输入将其指向一些数据。有几种方法可以做到这一点。最简单的方法是使用Splunk Web。
或者,您可以下载并启用应用程序,例如用于Microsoft Exchange的Splunk应用程序或Splunk IT Service Intelligence。
配置输入或启用应用程序之后,Splunk部署将存储和处理指定的数据。您可以转到“搜索”应用程序或主应用程序页面,然后开始浏览您收集的数据。
1、添加新输入
这是添加数据的高级过程。
了解您的需求。提出以下问题。
我想索引哪种数据?请参阅我可以为哪些数据编制索引?。
有针对这样的应用吗?请参阅使用应用获取数据。
数据存放在哪里?是本地的还是远程的?请参阅我的数据在哪里?
我应该使用转发器访问远程数据吗?请参阅使用转发器获取数据。
我要如何处理索引数据?请参阅什么是Splunk知识?在知识管理器手册中。
创建一个测试索引并添加一些输入。您出于许可目的,添加到测试索引中的所有数据都将计入最大每日索引量。
在将数据提交到测试索引之前,预览并修改将如何对数据建立索引。
查看您通过“搜索”应用添加的测试数据:
您看到期望的那种数据了吗?
默认配置是否适合您的事件?
数据丢失还是损坏?
结果是否最佳?
如有必要,请进一步调整输入和事件处理配置,直到事件看起来像您希望的那样。
从测试索引中删除数据,然后根据需要重新开始。
准备好永久索引数据时,请配置输入以使用默认的主索引。
当您熟悉正在处理的数据时,可以重复此任务以添加其他输入。
2、索引自定义数据
Splunk软件可以索引任何时间序列数据,通常无需额外配置。如果您有来自自定义应用程序或设备的日志,请首先使用默认配置对其进行处理。如果未获得所需的结果,则可以进行调整以确保软件正确地为事件建立索引。
三、我的数据是本地的还是远程的?
如果您具有Splunk Cloud或在云中运行Splunk Enterprise,则所有索引数据都是远程的。如果您具有本地Splunk Enterprise部署,则此问题的答案取决于许多因素,其中包括:
Splunk Enterprise实例所在的操作系统。
数据在哪里。
连接到Splunk Enterprise实例的数据存储的类型。
是否需要执行任何身份验证或其他中间操作才能访问包含要建立索引的数据的数据存储。
1、本地数据
本地资源是Splunk Enterprise实例可以直接访问的固定资源。您可以访问本地资源及其包含的任何内容,而不必附加,连接或执行任何其他中间操作(例如,身份验证或映射网络驱动器)。如果您的数据位于此类资源上,则该数据被视为本地数据。
本地数据的一些示例包括:
安装在台式机,笔记本电脑或服务器主机中的硬盘或固态驱动器上的数据。
资源已通过主机可以在启动时访问的高带宽物理连接永久装入的资源上的数据。
RAM磁盘上的数据。
2、远端资料
远程资源是任何不符合“本地”资源定义的资源。这种资源上存在的数据是远程数据。远程资源的一些示例是:
Windows主机上的网络驱动器。
Active Directory架构。
* nix主机上的NFS或其他基于网络的安装。
大多数基于云的资源。
3、例外情况
在某些情况下,资源可能被认为是远程的,实际上并非远程。这里有些例子。
主机的卷已通过USB或FireWire等高带宽物理连接永久安装。因为计算机可以在引导时装入资源,所以即使理论上可以在以后断开连接,Splunk Enterprise仍将其视为本地资源。
主机具有的资源已通过iSCSI等高带宽网络标准永久性安装,或者通过光纤已永久性安装至存储区域网络。当标准将此类卷视为本地块设备时,此类资源将被视为本地资源。