#paper

tsn network design

developer

互联网体系结构设计:支持TSN的方案

某汽车制造商的全球化工厂网络需同时支持:

  • TSN流量:机器人控制(周期1ms,延迟<50μs)、质检摄像头(突发2Gbps)
  • 传统IP流量:ERP系统、监控邮件(可容忍100ms延迟)
  • 约束:现有3万台设备仅支持IPv4,无法升级协议栈;网络核心为商用三层交换机(不支持TSN)

设计基于IP的方案,如何满足该需求。

我设计的方案采用IETF DetNet 工作组定义的架构,在三层IP网络上模拟二层TSN的行为,设计了“边缘适配+核心QoS映射+SDN集中调度”的IP化确定性网络架构。该方案不依赖核心网的TSN硬件升级,而是通过在接入层部署智能网关进行协议封装与流量整形,在核心层利用DiffServ与严格优先级队列(SPQ)机制,构建逻辑上的确定性通道,以满足机器人控制与质检的并发需求。

1. 需求与挑战

在设计解决方案之前,必须先量化流量特征与基础设施约束之间的矛盾。

1.1 流量特征

| 流量类型 | 应用场景 | 带宽特征 | 时延/抖动要求 | 丢包率要求 | 优先级 | | ------------- | -------------- | ------------------------ | ------------------------------ | ---------- | ------------- | | I类:控制流 | 机器人伺服控制 | 低带宽(小包,~64-128B) | 极高(周期1ms,单向延迟<50μs) | 零丢包 | 最高 (P1) | | II类:数据流 | 质检摄像头 | 极高(突发2Gbps) | 中等(需保证吞吐量,防拥塞) | < 10^-6 | 高 (P2) | | III类:管理流 | ERP/邮件/监控 | 动态变化 | 低(<100ms) | 可容忍重传 | 尽力而为 (P3) |

1.2 核心挑战

  1. 现有3万台设备仅支持IPv4,不支持IEEE 802.1AS(PTP)或IEEE 802.1Qbv(门控调度),无法直接参与TSN协商。
  2. 商用三层交换机缺乏硬件级的时间槽调度能力(TAS),且IP路由本身具有非确定性。
  3. 2Gbps的摄像头突发流量若不加控制,瞬间即可填满交换机缓存,导致机器人控制指令排队甚至丢包,从而破坏50μs的延迟承诺。

2. 架构设计

鉴于核心网无法更换,我们采用IETF DetNet(Deterministic Networking) 工作组定义的架构思路,在三层IP网络上模拟二层TSN的行为。核心思想是将确定性要求的实现下沉到网络边缘,核心网仅作为单纯的高速传输管道。

2.1 层次划分

  • 接入层(DetNet Edge):引入支持可编程数据平面的工业智能网关连接传统IPv4设备,负责流量分类与整形。
  • 核心层(Transit Network):现有的商用三层交换机集群,通过配置精细化的QoS和路由策略作为转发管道。
  • 控制层(SDN Controller):全网的大脑,负责路径计算和流表下发,确保高优先级流量不走拥塞路径。

2.2 基于IP的时效性保证

由于终端不可升级,我们使用UDP/IP封装技术。该技术的一个典型工作过程如下:

  1. 在接入层:边缘网关识别来自机器人的IPv4控制报文,将其封装在特殊的UDP隧道中,并在IP头部打上高优先级的DSCP标记。
  2. 在核心层:商用交换机识别DSCP标记,通过硬件队列进行加速。
  3. 在控制层:目标端网关剥离隧道头,还原为原始IPv4报文发给目标设备。

3. 详细技术方案

3.1 接入层设计:流量分类与整形

这是本方案最关键的环节,必须在流量进入核心网之前解决“规整化”问题。

A. 针对机器人控制流

  • 识别:网关通过ACL(五元组)识别机器人控制包。
  • 添加序列号:网关在封装头中加入序列号(Sequence Number),用于在接收端检测丢包或乱序。
  • Pre-QoS标记:将IP包头的DSCP字段标记为 EF (Expedited Forwarding, 46)。

B. 针对质检摄像头流

  • 突发平滑:2Gbps的突发是致命的。网关必须通过令牌桶算法(Token Bucket)对流量进行整形。
  • 策略:设置最大突发尺寸(MBS),将瞬间的2Gbps“削峰填谷”,平滑为网络可承受的恒定速率(例如平滑至800Mbps持续流),避免瞬间挤占EF队列的交换带宽。
  • 标记:标记为 AF41 (Assured Forwarding),保证带宽但优先级低于EF。

3.2 核心层设计:队列调度

在商用L3交换机不支持时间门控(802.1Qbv)的情况下,必须利用严格优先级和超额配置来换取低延迟。

A. 队列调度配置

  • Queue 0 (高优先级):匹配DSCP = EF (机器人)。调度算法 = SP (Strict Priority)。只要该队列有包,必须立即发送,绝对抢占。
  • Queue 1 (中优先级):匹配DSCP = AF41 (摄像头)。调度算法 = WRR (Weighted Round Robin),分配剩余带宽的70%。
  • Queue 2 (低优先级):匹配DSCP = Default (ERP/邮件)。调度算法 = WRR,分配剩余带宽的30%。

B. 延迟数学模型验证

假设交换机为10Gbps接口。

  • 一个1500字节的低优先级包(MTU)正在传输时,高优先级包到达,产生的最大序列化延迟(Serialization Delay)为:

    $$T_{serial} = \frac{1500 \times 8 \text{ bits}}{10 \times 10^9 \text{ bps}} = 1.2 \mu s$$

  • 假设经过5跳(Hops)交换机,总排队与序列化延迟上限约为:

    $$T_{total} \approx 5 \times (1.2 \mu s + T_{process})$$

    即使加上内部处理延迟(约3-5μs),总物理延迟可控制在30-40μs内,满足<50μs的需求。

  • 关键约束:必须确保Queue 0永远不会溢出。这需要SDN控制器进行严格的准入控制(Admission Control),即控制机器人的总流量不超过链路带宽的10%(例如1Gbps),以此换取近似空载的延迟表现。

3.3 网络层设计:路由优化

传统OSPF/BGP路由选路基于跳数或带宽,不考虑实时拥塞。需要引入SR-MPLS(Segment Routing)或策略路由(PBR)。

  • 机器人流量(I类)强制走光纤物理距离最短、跳数最少的路径。
  • 大数据流量(II/III类)可以通过ECMP(多路径负载均衡)走其他链路,物理上避开控制流路径,减少干扰。

3.4 抖动与同步

商用交换机的最大问题是抖动(Jitter)。为了避免出现抖动,需要在接收端网关设立去抖动缓冲区(De-jitter Buffer)。由于机器人控制周期是固定的1ms,网关可以学习流量模式。虽然网络传输可能有10-30μs的抖动,但只要总延迟<50μs,网关可以在固定的时间点(例如第49μs)向下游机器人释放数据包,从而向终端屏蔽网络的抖动,呈现出完美的等时性。

设备不支持PTP,如何保证多机器人协同?为解决此问题,可以在边缘网关之间运行高精度PTP(IEEE 1588v2),实现透明时钟代理;而网关作为主时钟的代理。虽然IPv4设备不理解PTP,但网关可以利用PTP同步的时间戳,在封装报文中打上精确的发送时间。在接收端,网关根据这个时间戳进行补偿,确保数据在这一毫秒周期的特定时刻送达应用层。

4. 硬件

  • 保留:现有IPv4终端(机器人、PLC、PC)、核心商用交换机、光纤布线。
  • 新增:
    • 工业SDN/DetNet边缘网关,部署在交换机接入层与设备之间,每几个设备共享一个网关
    • SDN控制器服务器

5. 风险评估与应急预案

| 风险点 | 描述 | 缓解措施 | | ---------- | -------------------------------------- | ------------------------------------------------------------ | | 突发风暴 | 摄像头流量突破整形阈值,溢出到核心网 | 在边缘网关实施硬性Policing(丢弃超限包),保机器人弃视频。 | | 微突发拥塞 | 多个机器人同时发送指令,瞬间填满EF队列 | 通过SDN控制器给不同产线的机器人下发微小的时间相位偏移(Phase Offset),错峰发送。 | | 单点故障 | 边缘网关宕机 | 部署双网关+VRRP热备,利用DetNet的“包复制与消除”(1+1冗余)功能,即数据包同时发往两条路径,接收端选先到的那个。 |

6. 结论

针对该汽车制造商的全球化工厂网络,在无法升级终端协议栈且核心网受限的情况下,IP化确定性网络(DetNet over IP)是唯一可行的路径。

本方案通过边缘网关的协议代理解决了IPv4设备的兼容性问题,通过核心层的DiffServ+SP调度解决了商用交换机的延迟问题,并通过SDN控制器的全局流控规避了2Gbps突发对控制流的冲击。

虽然该方案缺乏物理层TSN的绝对确定性(如纳秒级抖动控制),但计算表明,其足以满足1ms周期、50μs延迟的工业控制指标,实现了低成本、平滑演进的工业互联升级。