日志分散在各个设备里的时候,基本等于没有日志:出事要一台台登录去找,找到的格式还各不相同,时间戳也可能不一致。日志汇聚把记录集中到一处,统一时间、统一格式、统一留存,才能做关联与检索。这类系统对硬件的要求很朴素——每秒能接多少条、能存多久、查得多快,但真正做起来,容量规划往往在半年后才发现不够。本方案以FA-6706S网安工控机为例,说明日志汇聚与审计节点的配置与验收方法。
一、需求分析与系统边界
1. 汇聚解决三个问题
第一是留存:设备本地日志容量小、滚动快,集中留存才能满足六个月以上的要求。第二是关联:不同设备的记录放在一起,才能还原一次事件的完整链条。第三是检索:按地址、账号、时间快速定位,而不是逐台登录翻日志。这三点决定了系统的基本形态。

2. 采集方式的差别
Syslog是网络与安全设备最通用的方式,UDP简单但不确保送达,TCP/TLS可靠但需要设备支持。Windows事件与Linux系统日志通常通过代理采集,数据库与业务系统则通过接口或文件采集。混合环境中,采集器要同时支持多种协议,并保留原始报文以便追溯解析错误。
3. 立项输入
设计输入 | 需要确定的值 | 影响的配置 |
|---|
日志源数量 | 网络设备、安全设备、服务器、应用各多少 | 采集方式与并发 |
每秒条数 | 峰值EPS、平均EPS、单条平均大小 | 处理器与内存 |
留存期限 | 等保或行业要求的保留天数 | 存储容量 |
解析要求 | 是否需要归一化、字段提取与关联规则 | 解析引擎 |
检索需求 | 按地址、账号、关键字、时间范围查询 | 索引与缓存 |
可靠性 | 是否双机、是否需防篡改 | RAID与冗余 |
4. 合规与防篡改
等保对日志留存期限、审计记录保护有明确要求;部分行业还要求日志不可篡改、可导出取证。技术上通过写一次存储、哈希校验链、独立审计账号与操作留痕来实现。日志本身包含账号、地址与操作内容,访问权限要收敛到安全岗位。
二、网络架构与部署形态
1. 集中式与分布式
集中式部署在总部,所有设备把日志送到一处,管理简单、检索方便,但对广域链路与中心节点压力大。分布式在各区域先汇聚,再按需向上同步,能降低带宽占用,适合分支多、链路差的组织。折中方案是区域汇聚加中心汇总,中心只保留关键日志。
2. 采集链路与网络分区
日志节点通常部署在管理区,与业务区之间只放通采集端口。设备侧配置Syslog目标地址时,应指向节点的管理地址而不是业务地址。跨区采集要走专线或隧道,避免日志在公网明文传输。对可靠性要求高的场景,可配置两个目标地址,一份送中心、一份留本地。
3. 双机与存储冗余
日志系统中断会导致留存断档,事后无法补齐。双机可以用主备或双写方式,前者切换快但可能丢少量日志,后者不丢但配置复杂。存储侧用RAID让单盘故障不丢数据,重要日志可再做异地备份。磁盘故障是这类系统最常见的硬件问题,巡检要覆盖SMART状态。
日志源的时间要统一。设备时钟偏差会让同一事件在时间线上错位,关联分析随之失效。接入前先核对各设备的NTP状态,偏差超过阈值的先修正再接入。节点侧记录接收时间,便于判断是设备时间问题还是传输延迟。
三、FA-6706S配置与整机集成
1. 资源与任务的对应
日志汇聚需求 | FA-6706S资源配置 | 验证要点 |
|---|
多源采集与并发 | 6×Intel 2.5G(两组Bypass,可作管理口) | 接收端口与缓冲 |
高带宽汇聚 | 4×SFP+ 10G(Intel XL710-BM2) | 光口上行 |
解析与索引 | 2×DDR4 SO-DIMM(整机页标最大32GB) | EPS与内存占用 |
长期留存 | 4×SATA3.0,预留4个3.5寸位,可组RAID | 容量与写入带宽 |
热数据与系统 | 1×M.2 2280 NVMe PCIe3.0×4 | 索引与检索速度 |
对外查询与转发 | 千兆口供管理终端访问 | 并发查询 |
2. 整机规格
配置项 | 技术规格 |
|---|
形态尺寸 | 2U机架式,525×486×89mm,约9kg |
处理器 | LGA1700,Intel 12/13代全系列(主板AD610C6L) |
内存 | 2×DDR4 SO-DIMM,整机页标最大32GB |
存储 | 1×M.2 2280 NVMe、4×SATA3.0、预留4个3.5寸位、1×CF |
网络 | 6×Intel 2.5G(两组Bypass)、4×SFP+ 10G |
扩展 | 预留PCIe x8槽、E-Key、B-Key 4G/5G+SIM、TPM2.0可选 |
接口 | 1×HDMI、1×RJ45 Console、2×USB3.2 |
电源与温度 | 1U ATX 24+8Pin 300W以上,-20℃~+60℃ |
3. EPS与存储的换算
单条日志按500字节到1KB估算,5000 EPS、每条约700字节,日增约300GB,六个月约需50TB以上。压缩与去重能把体积降到三分之一到一半,但索引仍占空间。四个盘位用大容量企业盘组RAID5可达到数十TB,若留存要求更长,需要外接存储或分层保留:近期全量、远期只留关键字段。
4. 盘位、RAID与巡检
日志写入是顺序写、查询是随机读,建议索引与原始日志分盘。RAID5容量利用率高但重建时间长,RAID10性能更好但成本高。上线后每月检查磁盘SMART、阵列状态与分区占用,盘位指示灯异常要及时更换,避免"带病运行到写满才发现"。
四、解析、检索与容量核算
1. 归一化与字段提取
不同设备的日志格式差异很大,归一化把关键字段(时间、源目地址、账号、事件类型、结果)提取成统一结构。归一化规则要覆盖主要设备型号,并对未识别格式保留原文,便于后续补充解析。规则变更要有版本记录,避免同一批日志前后字段含义不一致。
2. 检索性能
按时间范围加地址或账号查询是最常见的用法,索引设计要围绕这几个字段。全文检索能查关键字,但开销大,建议只对关键日志启用。查询时间范围过大时,先查聚合结果再下钻明细,比直接拉全量快得多。
3. 关联与告警
单条日志的价值有限,关联规则才有意义:同一账号短时间多次登录失败、同一地址在多个设备上出现异常、非工作时间的管理操作。规则不宜过多,否则告警疲劳;每条规则都要有明确的处置指引,否则告警只是噪声。
采集器的部署方式影响可靠性。无代理方式配置简单,但依赖设备支持;代理方式能采集更细的字段,但要在每台主机上安装与升级。混合环境中,建议对网络设备用Syslog、对服务器用代理,并在节点侧统一打上来源标签,便于后续按来源过滤与统计。
五、实施步骤与异常处理
1. 实施顺序
先梳理日志源清单与采集方式,确认设备侧是否支持Syslog与TLS;再部署节点并完成存储与RAID配置;随后按设备类型分批接入,验证字段解析;接着配置留存策略、检索视图与告警规则;最后做容量与故障演练,确认断档可被发现。
2. 异常与处理
异常情形 | 设备与现场动作 | 留存证据 |
|---|
收不到日志 | 核对目标地址、端口与设备侧配置 | 接收统计、设备配置 |
解析失败 | 保留原文,补充归一化规则 | 解析错误样本 |
写入跟不上 | 降低非关键日志级别,核对磁盘性能 | 写入速率、队列长度 |
磁盘故障 | 更换硬盘并重建阵列 | SMART信息、阵列日志 |
查询超时 | 缩小时间范围或走聚合视图 | 查询日志、索引状态 |
日志系统最怕"静默断档":设备还在发,节点没收到,双方都不知道。应在节点侧监控每类日志源的到达速率,偏离基线时告警。
日志接入的顺序建议从核心设备开始。核心设备的日志量最大、价值也最高,先接入能最快体现系统作用;随后按区域扩展到汇聚与安全设备,最后覆盖服务器与应用。每接入一类,先核对字段解析再放量,避免一次接入太多导致解析错误难以定位。
六、验收方法与交付判据
1. 验收项
测试项 | 操作与预期 | 证据 |
|---|
采集覆盖 | 逐类日志源确认到达与字段完整 | 接收统计、样本 |
解析准确 | 抽样核对归一化后的字段值 | 对比表、样本 |
写入能力 | 按峰值EPS施压,丢弃率应低于阈值 | 压力测试报告 |
留存与检索 | 按时间与关键字检索历史日志 | 检索结果、时间戳 |
故障演练 | 拔盘或断电,验证阵列与数据完整 | 演练记录、校验结果 |
2. 交付资料
交付包括日志源清单与采集方式、归一化字段说明、留存策略与容量测算、告警规则与处置指引、巡检表、验收测试报告、合规对照说明。
日志的字段规范要提前定。同一类事件在不同设备上的字段名可能完全不同,归一化规则要覆盖主要型号,并为新设备预留扩展位。字段定义变更要有版本,避免历史数据与新数据无法对比。
查询权限要分级。普通运维只能查自己负责的设备,安全岗可以查全部,导出操作要审批并留痕。日志里包含账号与访问目标,权限过宽会带来新的风险。
上线后的日志质量要抽查。随机取一段时间,检查各来源是否都有记录、字段是否完整、时间是否连续。缺失往往集中在少数设备上,靠抽查才能发现;等出事再查,缺失的那段已经补不回来了。
七、选型结论
当需要集中留存网络与安全设备日志、满足六个月以上留存并支持快速检索时,FA-6706S可以作为日志汇聚节点的硬件平台。2U形态提供四个3.5寸盘位与4路SATA,可组RAID满足容量与冗余;4路10G光口用于高带宽汇聚,双DDR4插槽支撑解析与索引;预留PCIe x8槽可扩展。处理器按EPS确定,内存按索引规模确定,存储按留存期限与日志量确定。询价时提供日志源数量、峰值EPS、留存期限与检索要求,可据此形成配置与验收方案。
常见问题
问:Syslog用UDP还是TCP?
答:UDP简单但有丢包风险,适合不关键的日志;TCP/TLS可靠且可加密,适合审计类日志。混合环境可以关键设备用TCP、普通设备用UDP。
问:日志要留多久?
答:等保通常要求不少于六个月,行业规定可能更长。留存期限直接决定存储容量,先按EPS与单条大小算出日增,再乘天数。
问:日志能被篡改吗?
答:通过独立审计账号、写一次存储与哈希校验链可以做到可发现篡改。完全防篡改还需要介质与流程配合,单靠软件只能做到"改了能查出来"。
问:断档了能补吗?
答:不能。设备侧日志滚动后会覆盖,节点没收到就会长期缺失。因此要监控到达速率,异常时及时处理。