常 琦,魏晓磊,茅智星,潘纯娣,杨 惠,王 粤
(1.火箭军装备部装备项目管理中心，北京 100085；
2.中国电子科技集团 第15研究所,北京 100083)
目前，云时代和物联网高速发展，云计算、边缘计算技术飞速演进，满足交换节点接入时更大表项、更低时延、更灵活流水线需求的新一代交换机研制迫在眉睫。新一代交换机需要具有线速的增强特性能力和更高的集成度，更好服务于边缘的多业务接入场景，满足网络未知、业务需求不断融合的网络技术发展趋势[1]。
从国家层面看，网络信息已经成为一种重要的战略资源，信息安全直接决定军事行动的成败[2]。目前交换机大部分以国外产品或芯片为主导，存在极大的安全隐患，而且很多交换机产品无法适应军用现场复杂的电磁环境和恶劣的温度环境。目前国家确立了基于国产软硬件的自主可控发展战略，在政策的引导下，国产处理器、交换芯片、电源模块、操作系统等基础软硬件得到飞速发展，全国化的生态体系已经越来越完善。
基于技术的驱动，结合现阶段军用指控系统对网络交换性能和安全方面的要求，研发了一款基于CTC7132交换芯片和VPX 体系架构的可扩展交换板。该交换板的所有软硬件均采用国产化产品，实现了从芯片到硬件再到系统的完全自主可控。交换板将所有交换和控制资源展现给机箱，机箱可根据实际使用需求裁剪网络端口的数量、形式、速率。该交换机能适应-40～+60 ℃高低温环境，抗电磁干扰性强。本文详细描述了交换板的总体架构、各功能模块的设计与实现，进行了热设计并仿真，对功能、性能、环境适应性进行了测试，验证了设计的合理性，为高性能自主可控交换平台的发展奠定了坚实的基础，提供了高价值的参考依据。
VPX总线是是新一代高速串行总线，采用时钟打包和时钟恢复技术、信号的预加重和均衡处理技术，成功解决了时钟和数据之间的偏移和抖动问题；
采用低压差分电平的传输协议，大大减小了总线位宽，规避了并行总线的缺点，降低了系统成本，是目前最具潜力的总线技术[3]。VPX标准定义了模块结构、连接器、散热、通信协议、电源定义，能够提高模块间的互操作能力，保证多个厂家产品可彼此兼容，并较好地支持系统升级换代[4]。本文设计的交换板采用3U VPX板卡形式，适合任何一款3U结构形式的VPX设备机箱(交换槽接口协议需一致)，即插即用，避免了外接交换机设备繁杂的线缆数量和庞大的系统体积。
盛科是目前少数能够提供从高性能以太网设备核心芯片到 SDN 交换平台全套解决方案，且拥有完整自主知识产权的创新公司[5]。CTC7132芯片是盛科推出的第六代核心交换芯片，芯片支持L2/L3层交换，提供MPLS、VXLAN特性，集成ARM双核A53处理器，支持最高I/O带宽可达440 Gbps，支持QSGMII和USXGMII等端口形态，提供从100 M～100 G的全速率端口能力[6]。本设计考虑到军用设备对网络交换性能和安全方面的要求，选用盛科公司的CTC7132芯片。
考虑到交换芯片的功耗高，散热要求严格，同时为了便于系统的后续升级换代，同时提高交换板的可扩展性，将交换板设计为底板搭载核心板的形式。交换板总体设计方案如图1所示，由CTC7132最小系统核心板(核心板)和接口扩展底板(底板)组成，最小系统核心板是一块87 mm*80 mm的小板，接口扩展底板采用3U VPX标准形式，两个板卡通过板间高密连接器互联。本设计首次提出CTC7132最小系统的概念，即配置CTC7132芯片必须的辅助电路(如时钟电路、电源电路、存储电路等)，利用最小系统实现网络信息交换的核心功能[7]。最小系统核心板一方面完成整个交换系统的初始化、协议处理、配置管理和维护等功能；
另一方面实现数据交换的功能，对外提供32路高速SerDes Lanes。利用2对板间连接器，将CTC7132芯片的所有网络交换信号、控制及管理信号、GPIO信号等全部资源引出来。CTC7132最小系统核心板是交换板实现网络信息交换功能的核心单元，接口扩展底板是交换板可扩展特性的具体展现形式。接口扩展底板根据机箱的实际使用需求，利用核心板引出来的资源，灵活配置网络端口的形式、数量、速率。接口扩展底板还提供智能平台管理控制(IPMC)功能，对板卡进行健康管理，同时通过VPX MultiGig RT2 连接器将机箱所需的SerDes高速串行交换接口和控制资源分派到背板各槽位。
这样设计的好处是将网络信息交换功能聚焦在核心板上，便于系统的升级换代；
采用双层板结构，有利于散热；
底板根据机箱所需的网络端口进行动态扩展，合理裁剪CTC7132资源，降低功耗，同时降低二次开发时间和成本，提高了板卡的复用率。
图1 板卡总体设计方案
2.1 CTC7132最小系统核心板设计
CTC7132最小系统核心板(简称核心板)配置CTC7132芯片工作必须的辅助电路，结合驱动软件实现网络交换核心功能，同时实现整个交换板的初始化、协议处理、配置管理和维护等功能。
CTC7132最小系统核心板由CTC7132芯片、存储模块、时钟模块、电源模块、复位模块、I2C总线模块组成，如图2所示。CTC7132芯片实现数据交换核心功能。存储模块保存系统程序、启动程序、操作系统等信息。时钟模块产生交换系统所需的时钟。电源模块产生CTC7132芯片需要的多种电压。复位模块在需要的时候对整个交换系统进行复位操作。I2C模块连接多个不同功能的I2C设备。
图2 CTC7132最小系统核心板原理框图
CTC7132芯片主要功能模块分为两大部分：CPU子系统和交换内核[8]。CPU子系统内置ARM双核A53处理器，主频最大支持1.2 GHz；
集成16位DDR3、PCIE、QSPI、I2C、34路GPIO等接口；
提供2路网络带外管理接口、2路以太网物理芯片(PHY芯片)管理接口(SMI接口)。交换内核提供3组8路低速SerDes Lanes，速率为1.25～12.5 Gbps；
2组4路高速SerDes Lanes，速率为1.25～28 Gbps；
每路SerDes Lane都可以配置为SGMII/1000Base-X/QSGMII等模式[9]。CTC7132单芯片支持48x1 G/48x2.5 G/ 24x5 G下行，上行支持10 G/40 G/ 25 G/ 50 G/100 G 上联，并可以使用 40 G/50 G/100 G 等任意速率进行堆叠[10]。本设计将CPU子系统的所有接口以及交换内核的32路SerDes Lanes都配置使用上。
图3 AST4644I电压转换模块原理图
存储模块包括内存和存储单元。本设计中，CTC7132芯片外挂2颗DDR3 SDRAM作为内存，总容量为1 024 MB；
通过SPI接口连接4 MB NORFlash，通过eMMC接口连接8 GB NandFlash，这三者供CTC7132芯片保存bootload程序、系统程序、操作系统等信息。系统上电时，CTC7132芯片从NORFlash把bootload文件装入到内存，CPU子系统执行内存里的bootload程序，将操作系统从NandFlash装入到内存里面，装载完成后，bootload把CPU的控制权交给操作系统，CPU在内存里执行操作系统，执行交换系统初始化指令，交换系统启动完成。
时钟模块产生核心板所需的时钟。本设计涉及到32.768 kHz、12 MHz、100 MHz、156.2 MHz、125 MHz等多种时钟。PCIE总线要求的100 M时钟输入，对抖动要求较高，选用宁波奥拉公司的国产PLL时钟芯片AU5315来实现。AU5315芯片是可编程高性能去抖动频率合成器，支持四路差分或单端输入，10路差分输出或20路单端输出，输出时钟RMS抖动<150 fs。本设计采用48 MHz的单端时钟作为输入，通过编程实现需要的时钟输出，一片芯片解决所有的时钟输入问题。本设计还生成125 MHz的时钟，引到底板上，供底板扩展网口时PHY芯片选用。在电路设计时，时钟线路尽量靠近交换芯片的时钟管脚，同时通过严格控制时钟线路的电路阻抗，包地处理等技巧，减小干扰，提高时钟线路的屏蔽性能[11]。
电源模块负责产生CTC7132芯片需要的多种类电压。根据芯片手册提供的最大功耗数值预估核心板最大功耗为40 W，所以设计时输入电压为12 V，电流为5 A。对各种电压的电流需求分析如表1所示，利用这些数据来指导电源芯片的选型，重点关注电源芯片在高温下的降额指标[12]。
表1 各电压需求表
为了避免交叉干扰，同时保证核心板功能的完整性，核心板的电源和底板的电源进行了隔离设计，两者分别独立工作，互不影响。VPX模块P0连接器输入的12 V电压经过滤波处理后，直接转送给核心板，核心板将输入的12 V电压分别转为3.3 V、1.8 V、1.5 V、1.2 V、0.9 V电压供核心板使用。3.3 V、1.8 V、1.5 V、1.2 V电压要求的最大电流都不超过4 A，选用AST4644I国产电源模块实现这三路电压的转换。AST4644I是四通道 DC/DC 降压型微型模块稳压器，输入电压范围内为4～14 V，输出电压范围为0.6～5.5 V，自带过压、过流和过热保护，每路输出可提供 4 A 连续电流(5 A峰值)，输出可通过并联形成一个阵列以提供高达16 A的电流能力，原理设计如图3所示。0.9 V电压要求的最大电流约为39 A，采用AST4650I模块合路输出50 A来满足设计要求。
转换后的电压输入到CTC7132芯片内部的时候，在靠近每种电压的BGA输入引脚处放置2.2 uF、0.47 uF、0.1 uF三种旁路电容，以此来消除高频噪声，保证电源信号完整性。
复位模块为交换系统提供复位指示信号。系统采用看门狗复位电路作为系统的主复位，在板卡上电后，看门狗电路会给出一个200 ms的低电平复位信号，此信号用来复位CPU和管理口PHY。接口扩展底板的IPMC管理模块(具体功能描述见3.2.3)也可对核心板进行复位操作，IPMC管理模块控制的复位信号与看门狗的WDG_OUT信号进行“或”操作，然后送给看门狗电路，这两个复位信号中的任何一个信号为低，均会导致交换系统复位启动。
I2C模块连接多个不同功能的I2C器件。根据系统需要，CPU子系统下搭载了3个不同功能的I2C器件，包括温度传感器器件、E2PROM器件、GPIO接口扩展芯片。3种器件的地址及具体功能如表2所示。
表2 I2C设备表
温度传感器实时采集CTC7132交换芯片附近的环境温度，将温度信息传送给交换芯片的CPU子系统，当交换芯片过热时，CPU子系统会及时给出警告并关闭芯片功能，进入关机状态。E2PROM负责存储交换芯片的初始化、配置等信息供系统查询使用。GPIO扩展芯片扩展出系统需要的GPIO接口，例如芯片复位信号、中断信号等，为接入多个以太网物理层芯片做预留。
2.2 接口扩展底板设计
接口扩展底板(以下简称底板)根据设备机箱的实际使用环境，利用核心板引出的交换资源以及CPU子系统提供的管理控制资源，扩展出机箱所需的网络接口、光口、串口等形式的通信端口。根据机箱整体功能规划，底板采用3U VPX形式，核心板一共提供32对SerDes链路，本次设计共引出19对SerDes 总线，其中16对直接连接到P2连接器，通过背板为业务槽位提供数据交换；
2路SerDes连接到千兆以太网PHY转换为8路1000Base-T网络接口；
1路连接到光模块，转为光信号供机箱使用。底板还预留一路1000Base-T系统管理网口，一路RS232管理串口。底板VPX槽位定义符合VITA48标准，VPX连接器P0上分布IPMC管理总线、时钟总线、测试总线和电源等信号；
P1上分布8路1000Base-T网络差分信号、RS232信号、复位信号等；
P2上分布16路高速SerDes差分信号、SMI单端信号等。底板原理如图4所示，由以太网转换模块、光电转换模块、IPMC管理模块、指示灯模块、电源模块组成。
图4 接口扩展底板原理框图
以太网转换模块将核心板的SerDes Lanes转为1000BASE-T物理网口引到P1连接器上。以太网转换模块原理如图5所示，将2路SerDes信号配置为QSGMII模式，通过以太网物理层芯片YT8618H和网络变压器HS4P01，转为8路1000Base-T网络接口。YT8618H是一款八通道千兆以太网PHY芯片，支持标准5类UTP以太网电缆和以太网光纤的所有物理层功能，包括1000BASE-T、100BASE-TX等，芯片的上行接口可支持SGMII和QSGMII。YT8618H PHY 芯片通过SMI 接口、SGMII 接口与核心板连接， 用以完成配置与传输数据；
与网络变压器通过 MDI 接口相连，用以对外接收或传输数据；
外接 25 MHz 晶体提供时钟信号；
通过配置信号完成地址、工作 状态等配置；
对外引出 LED 信号，以此显示网络传 输状态。HSP401是四路千兆网络变压器，隔离电压高达1 500 Vrms，网络变压器电路设计使得 PHY 芯片和外部隔离，并具有信号增强，阻抗匹配、波形修复、信号杂波抑制等作用，在保护核心芯片的同时使得传输距离和抗干扰能力增强。
图5 以太网转换模块原理框图
光电转换模块将核心板的SerDes Lanes转为光信号利用光缆进行远距离传输。根据要求，本设计选用速率1.25 G的光模块，该光模块功耗低，传输距离高达120 km，光传输具有高带宽、大容量、易集成、损耗低、电磁兼容性好、无串扰、重量轻、小体积等优点，被广泛应用于数字信号传输中。
IPMC管理模块完成整板上电和复位控制、电流及电压实时测量与显示、温度监测等功能[13]。模块原理如图6所示，选用GD32F103芯片作为核心处理器，通过 IPMB-A、IPMB-B 双冗余总线与位于机箱内的管理控制器实现信息交互。当板卡上电时，处理器通过温度传感器的I2C总线获取板卡温度情况，通过分压电路读取各路电压的数值，通过状态位获取交换板目前的运行状态，然后处理器将获取到的信息打包成私有协议，通过IPMB-A、IPMB-B 双冗余总线以及地址总线汇报给机箱IPMC管理控制器。机箱管理控制器根据GD32上报的数据，对管理的交换板发送相应的指令，比如进行上下电操作，给出告警提示等[14]。为了实时监测板卡的状态，实现全动态管理，IPMC管理模块的电源单独供应，只要机箱一上电，管理模块就对板卡进行实时监测和管理。
图6 IPMC管理模块原理框图
指示灯模块显示每路网络的连接状态和速率，同时也可显示整个板卡的运行状态。CTC7132芯片串行指示灯接口由编码比特流组成，包括2个信号：LED_CLK和LED_DATA，通过交换芯片内部寄存器编程控制端口时序[15]，时序图如图7所示。每路指示灯可设置为两种模式：常亮/常灭模式、闪烁模式，通过内部寄存器配置每路指示灯的模式。为了减小布线数量，降低设计难度和成本，本设计采用FPGA芯片来解析比特流信息并控制每路LED的状态。核心板控制点灯的两根串行线、一路复位线直接接入FPGA芯片内，FPGA芯片在LED_CLK时钟的上升沿采样LED_DATA数据，然后进行串并转换，并控制每路指示灯的状态。前文已介绍过，交换芯片最大支持32路SerDes链路，局限于板卡尺寸限制，选用16路指示灯分时显示32路SerDes链路的连接状态和速率，轮询时间可通过FPGA芯片编程设置。板卡还有另外2路指示灯，一路指示板卡电源状态，一路指示交换系统运行状态。选用可编程逻辑门阵列(FPGA芯片)取代移位寄存器来实现串行点灯的功能，简化了电路设计，减小了PCB 布局布线工作量，还便于板卡根据不同的机箱进行软件升级换代，进一步增强了交换板的可扩展特性。
图7 LED接口时序图
电源模块负责将VPX连接器P0模块输入的12 V电压转为多种电压分配给底板各功能模块使用。底板需要的电压一共分别6种，分别为IPMC模块3.3 V、PHY芯片3.3 V、PHY芯片1.2 V、光电转换模块3.3 V、FPGA串行指示灯模块3.3 V、FPGA串行指示灯模块1.2 V。为了避免各功能模块电源交叉串扰，同时保证各模块的功耗需求，底板PHY芯片的3.3 V电源、光模块的3.3 V电源、FPGA芯片的3.3 V电源分别采用电压转换芯片独立提供[16]。PHY芯片的1.2 V电源、FPGA芯片的1.2 V电源也分别提供。电路设计时，在电源、地线之间添加去耦电容，尽量加宽电源线、地线宽度，大电流通道采用铺铜、阵列孔等方式来增加过流能力，同时兼顾电源芯片的散热设计。
交换芯片自身功耗比较高，机箱又采用全封闭的形式，因此交换板散热条件有限，需要进行热设计工作。设计要求交换板能耐受60 ℃高温环境，并正常工作，本次选用的元器件均为军用标准级别，能在-40～125 ℃环境下正常工作，因此热设计的目的是确保交换板的最高温度不超过125 ℃。交换板的热量分布如图8所示，主要发热器件为交换芯片CTC7132，最高功耗40 W，电源转换模块功耗也比较高，最高35 W。
机箱采用导冷加风冷联合的方式进行散热，且在大功率元器件与壳体内壁间放置导热硅胶垫，以增强外壳体的散热效果。
图8 交换板温度截面图
依据板卡的热量分布情况建立热量分布模型，环境温度设置为60 ℃，进行仿真计算分析。仿真结果见图8，由温度截面图可以看出芯片最高温度99 ℃，满足芯片最高结温要求，与壳体温度相差不超过5 ℃，结构散热良好。仿真中元器件发热功率均设为理论最大发热功率，在实际使用中，发热功率很难达到理论最大值，故实际温度会小于仿真时得到的温度[17]。对交换板的散热设计合理有效，可以满足环境适应性的设计要求。
给交换板烧录专门开发的驱动程序，搭载Linux嵌入式操作系统，进行单板调试，通过交换芯片初始化、以太网接口与计算机通信接口、串口状态查询等测试手段，验证了交换板的基本功能；
然后将交换板插入到 VPX 设备机箱中，交换板通过背板与其他板卡数据通信正常，进一步验证了国产交换芯片的接口特性；
最后对交换板进行环境适应性测试与性能测试[18]，验证交换板是否可在恶劣环境中正常工作。环境测试根据 GJB150.1A-2009军用装备实验室环境试验方法进行[19]，篇幅有限，本文仅展示高温试验的结果，测试互联如图 9所示。交换板置于机箱中，通过背板与机箱中的其它业务板卡通信，机箱放置在高低温试验温度箱中，温度设置为 60 ℃。
图9 交换板高温试验平台
如图10所示，经过各项热设计措施处理之后，在高温环境下，交换芯片温度稳定在91℃，符合要求，交换芯片可正常工作。测试过程中，光口通过光交换机与对端设备正常通信，无异常。如图11所示， 5、8、11槽的SerDes总线状态均为up，验证了交换板与其他业务板卡互连正常。
通过专用测试软件进行网络丢包率和速率测试[20]，交换板所有端口支持全双工线速交换，最高速率可达984 Mbps，而且在不同包大小、不同速率的情况下，均没有发生丢包，如图12所示。由此可见，国产化器件在生产工艺、集成度方面已经取得了长足的进步，在稳定性、可靠性方面可满足实际使用需求。
图10 交换芯片温度
图11 各路SerDes链路状态
图12 网络互联及性能测试结果
本文设计的自主可控交换板具有高性能、模块化、可扩展性强等特点。该板卡目前已应用于多种环境苛刻的指控系统中，功能与性能稳定，较好地支持系统升级换代，提高了装备的自主保障能力，为军工、航空航天等领域的国产化器件应用与验证奠定了坚实的基础，提供了参考依据。
猜你喜欢板卡机箱以太网基于1500以太网养猪场的智能饲喂控制系统的设计与实现装备制造技术(2020年1期)2020-12-25基于PCI9054的多总线通信板卡的研制测控技术(2018年3期)2018-11-25基于FPGA的多通道模拟量采集/输出PCI板卡的研制测控技术(2018年12期)2018-11-25谈实时以太网EtherCAT技术在变电站自动化中的应用电子制作(2017年24期)2017-02-02一种基于光纤数据传输的多板卡软件程序烧写技术火控雷达技术(2016年3期)2016-02-06一种90W高功率以太网供电系统的设计电源技术(2015年7期)2015-08-22浅谈EPON与工业以太网在贵遵高速公路中的应用中国交通信息化(2015年11期)2015-06-06一种通用模拟量及开关量信号采集板卡的设计铁路通信信号工程技术(2014年5期)2014-02-28NI发布两款NI CompactRIO扩展机箱电子测试(2012年10期)2012-03-31大学ＭＭ你爱谁迷你机箱Ｐａｒｔｙ Ｓｈｏｗ现代计算机(2009年9期)2009-12-02
