不是所有场景都需要全包留存。要看清"谁在和谁通信、占了多少带宽、哪个应用在跑",流记录就够了,而且数据量只有全包采集的几十分之一。NetFlow与IPFIX把这件事标准化:网络设备按流聚合出记录,导出到分析节点,节点做聚合、存储与呈现。难点在于采样率设得合不合适、流表会不会溢出、每秒多少条记录撑得住。本方案以FA-6706S网安工控机为例,说明流量分析节点的配置与验证方法。
一、需求分析与系统边界
1. 流记录能回答什么
每条流记录通常包含源目地址、端口、协议、起止时间、包数与字节数、TCP标志与下一跳。据此能做带宽占用排行、会话数量统计、异常连接识别、跨区访问矩阵。它不包含载荷内容,因此无法还原URL、文件名或传输内容,需要内容级信息时要配合全包采集或日志。

2. 采样与全量的取舍
全量导出在高带宽链路上会给设备和网络带来压力,采样能显著降低开销,代价是统计精度下降。常见的折中是千分之一的随机采样做长期趋势,关键链路用全量或百分之一做短期分析。采样率一旦确定就应固定,中途更改会让前后数据不可比。
3. 立项输入
设计输入 | 需要确定的值 | 影响的配置 |
|---|
监控链路 | 链路数量、总带宽、设备型号 | 采集方式与网口 |
采样方式 | 全量、固定采样还是自适应采样 | 精度与容量 |
记录速率 | 每秒流记录条数(按带宽与采样率估算) | 处理器与内存 |
留存要求 | 原始流记录天数、聚合数据天数 | 存储容量 |
分析需求 | TopN、基线、异常检测、跨区矩阵 | 分析与索引 |
对接要求 | 是否需输出到SIEM或数据平台 | 导出协议与接口 |
4. 边界与责任
流量分析节点不阻断、不加密,也不做内容审计。它提供的是视图与线索,处置动作要落到防火墙、交换机或终端平台上。流记录里含内网地址与通信关系,属于敏感信息,查询权限与留存期限应有制度约束。
二、网络架构与部署形态
1. 集中收集还是分层收集
集中收集把各设备的流记录统一送到一台或一组节点,视图完整、查询方便,但对节点处理能力与网络带宽要求高。分层收集在区域先聚合,再向上汇总,能降低骨干压力,代价是细节丢失。大型网络常用"区域聚合加中心汇总"的两级结构。
2. 导出协议与端口
NetFlow有多个版本,IPFIX是标准化后的版本,支持模板与可变长字段。设备侧配置导出目标地址与端口,节点侧按模板解析。模板超时与刷新周期要与设备一致,否则会出现"收到记录但解析不出字段"的情况。UDP导出不确保送达,关键场景可考虑带重传的传输方式。
3. 与全包采集的关系
流记录用于宏观视图,全包用于微观取证,两者常并行部署:流分析节点盯趋势与异常,全包探针在发现异常后按需回查。这种组合比全部上全包采集更经济,也比只做流分析更有追溯能力。
设备侧的导出配置要纳入变更管理。设备重启、配置恢复、固件升级都可能把导出目标清掉,导致看起来一切正常却没有数据。建议在管理平台上定期比对设备配置,发现导出缺失即告警。
三、FA-6706S配置与整机集成
1. 资源与任务的对应
流量分析需求 | FA-6706S资源配置 | 验证要点 |
|---|
多链路流记录接收 | 6×Intel 2.5G(两组Bypass) | 接收端口与缓冲 |
大带宽旁路辅助采集 | 4×SFP+ 10G(Intel XL710-BM2) | 光口采集与聚合 |
流表与聚合计算 | 2×DDR4 SO-DIMM(整机页标最大32GB) | 记录速率与内存占用 |
原始流与聚合数据 | 1×M.2 2280 NVMe、4×SATA3.0、4个3.5寸位 | 写入带宽与容量 |
对外输出 | 千兆口输出至SIEM或数据平台 | 导出吞吐与丢包 |
扩展 | 预留PCIe x8槽 | 额外网口或加速 |
2. 整机规格
项目 | 取值说明 |
|---|
形态尺寸 | 2U机架式,525×486×89mm,约9kg |
处理器 | LGA1700,Intel 12/13代全系列(主板AD610C6L) |
内存 | 2×DDR4 SO-DIMM,整机页标最大32GB |
存储 | 1×M.2 2280 NVMe PCIe3.0×4、4×SATA3.0、预留4个3.5寸位 |
网络 | 6×Intel 2.5G(两组Bypass)、4×SFP+ 10G |
扩展 | 预留PCIe x8槽、E-Key、B-Key 4G/5G+SIM、TPM2.0可选 |
接口 | 1×HDMI、1×RJ45 Console、2×USB3.2 |
电源与温度 | 1U ATX 24+8Pin 300W以上,-20℃~+60℃ |
3. 记录速率的估算
流记录速率与连接新建速率相关,而非带宽本身。短连接密集的业务每秒可产生数十万条记录,长连接视频业务则记录很少。估算方法是:按峰值新建连接数乘采样倍数,再加超时切分产生的额外记录。节点处理能力按峰值的两倍规划,留出突发余量。
4. 存储与聚合
原始流记录数据量按记录数乘单条大小估算,单条通常数十到百余字节。聚合数据(如五分钟粒度)体积小得多,适合长期保留。常见策略是原始记录保留七到三十天、聚合数据保留一年,两者分盘存储,避免聚合查询被原始数据写入拖慢。
四、采样、流表与精度核算
1. 采样率的精度影响
千分之一采样下,单条流的字节数会按倍数放大还原,误差在小流量场景明显。做容量趋势分析时精度足够,做计费或精确审计则不够。若业务需要精确计量,应在关键链路用全量或更高采样率,并明确告知数据口径。
2. 流表老化与切分
设备侧的流表有老化时间,长连接会按活动超时切分成多条记录,短连接则在结束后立即导出。老化参数不一致会让同一会话在两侧呈现不同条数,分析时要注意口径。节点侧也需设置聚合窗口,窗口过短则存储压力大,过长则实时性差。
3. 时间同步
流记录的时间戳来自网络设备,设备之间不同步会让跨设备的会话关联错位。各设备应统一NTP源,节点侧记录接收时间与设备时间两个字段,便于判断偏差。偏差超过阈值时应告警,而不是默默继续分析。
报表口径要固定并写进文档。同一张"带宽占用排行",按字节数排与按包数排结果可能完全不同:大包业务在字节榜靠前,小包业务在包数榜靠前。留存期限、聚合粒度与采样率都会影响数值,三者一旦确定就不要随意更改,否则趋势图会出现无法解释的跳变。
五、实施步骤与异常处理
1. 实施顺序
先梳理需要采集的设备与链路,确定采样率与导出方式;再部署节点并开放接收端口,配置模板解析;随后在一台设备上试点导出,验证字段与时间戳;确认无误后全面开启;最后配置聚合、报表与告警,并做一次容量压力测试。
2. 异常与处理
异常情形 | 设备与现场动作 | 留存证据 |
|---|
接收不到记录 | 核对导出目标、端口与模板 | 接收统计、设备配置 |
字段解析异常 | 比对模板版本与字段定义 | 模板内容、样本记录 |
记录速率超限 | 提高采样率或分流到多节点 | 丢弃计数、速率曲线 |
磁盘写满 | 调整聚合粒度或缩短原始留存 | 分区占用、策略记录 |
时间偏差大 | 统一下游设备NTP配置 | 偏差值、同步日志 |
流分析的可靠性依赖"持续收到数据"。节点应监控每台设备的记录到达情况,某台设备长时间无记录时告警,避免设备侧配置被改动后无人发现。
流分析的部署要先解决地址口径问题。NAT前后的地址不同,内网地址与公网地址混在一张报表里会得出错误结论。方案里明确采集点位于NAT的哪一侧,报表标注口径,跨系统对比时先换算再比较。
流分析节点的部署位置决定它能看见什么。接在核心旁能看到跨网段流量,接在出口旁只看南北向,接在汇聚旁则局限在一个区域。部署前把要回答的问题列出来,再倒推采集点,比先装设备再想用途合理。多个采集点时,时间同步与地址口径必须统一,否则汇总报表会出现无法解释的矛盾。
六、验收方法与交付判据
1. 验收项
测试项 | 操作与预期 | 证据 |
|---|
记录接收 | 按设备逐台确认记录到达与字段完整 | 接收统计、样本 |
采样精度 | 用已知流量对比还原结果,误差应在约定范围 | 对比报告 |
处理能力 | 按峰值记录速率施压,丢弃率应低于阈值 | 压力测试报告 |
聚合与查询 | 按时间与地址查询,结果应与明细一致 | 查询结果、聚合表 |
对外输出 | 向SIEM或平台导出,验证格式与吞吐 | 导出日志、接收端记录 |
2. 交付资料
交付包括采集设备清单与采样率、模板与字段说明、聚合策略与留存周期、容量测算、报表与告警配置、对接说明、验收测试报告。
流分析的基线要按业务周期建立。工作日与周末、白天与夜间的流量结构差别很大,用一条基线判断所有时段会频繁误报。按小时或按天分组建基线,异常检测才有意义。
与全包采集的联动要设计好。流分析发现异常时,能一键定位到对应时段的原始报文,比在两个系统之间手工比对高效得多。联动的前提是时间戳与地址口径一致,这需要在部署时统一。
上线后的报表要定期校准。拿运营商账单或出口设备的流量统计与流分析结果对比,偏差过大说明采样率或口径有问题。校准记录留档,后续换设备或改采样时按同一方法复核,让数据可比。
七、选型结论
当需要以较低成本获得全局流量视图、并与全包采集配合做追溯时,FA-6706S可以作为NetFlow/IPFIX分析节点的硬件平台。2U形态提供6路2.5G电口与4路10G光口,四个3.5寸盘位分别承载原始流与聚合数据,双DDR4插槽支撑高记录速率下的聚合计算,预留PCIe x8槽可扩展。处理器按记录速率确定,内存按聚合表规模确定,存储按留存周期确定。询价时提供监控链路、采样方式、记录速率与留存要求,可据此形成配置与验收方案。
常见问题
问:NetFlow和全包采集怎么选?
答:看目标。要趋势、TopN与异常发现,流记录成本低、覆盖广;要内容取证与协议细节,需要全包。两者常并行,流分析发现问题、全包回查细节。
问:采样率设多少合适?
答:长期趋势千分之一即可,关键链路用百分之一或全量。采样率一旦确定应保持稳定,中途调整会让前后数据不可比。
问:流记录能看出访问了什么网站吗?
答:看不到URL,只能看到目标地址与端口。要看域名或URL,需要DNS日志、代理日志或全包采集配合。
问:为什么收到的记录解析不出字段?
答:多为模板不匹配。核对设备侧导出版本与节点侧模板定义,确认模板超时与刷新周期一致。