【高清演示】PCIe 6.0 不是插上线就完事： Broadcom Gen6 Retimer演示

我们最近刚拿到Broadcom PCIe 6.0 retimer 板该板为2个MCIO x8 in, 2个MICO x8 out感兴趣的可以可以参考我们之前写的文章【专题】全球最全面的 PCIe 6.0/CXL 3.0 测试工具方案探讨汇总https://mp.weixin.qq.com/s?__bizMzI1NTY0ODI2Mwmid2247486573idx1sn7cb45d94e5688f291ac65796380520f8scene21#wechat_redirect一文里面的4.2 PCIe 6.0 Retimer 重定时中继卡里面有详细的内部结构核图片我们今天演示的用外壳封起来的该卡。感兴趣的可以看下面视频演示没有时间的可以参考下面的文字总结核心围绕 “Gen6 Switch 单板回环 → 串入 Gen6 Retimer → showport 确认 Gen6 x16” 这条演示主线展开本次演示分两个环境一个是单 Switch MCIO 口回环另一个是用四根线把 Retimer 串在中间再验证 Gen6 链路同时也记录了红灯/蓝灯指示、Tera Term 管理、showport 结果、Retimer 的 clockselect/conrst 等关键操作。【高清演示】PCIe 6.0 不是插上线就完事 Broadcom Gen6 Retimer演示PCIe 6.0 不是插上线就完事一次 Gen6 Switch Retimer 回环测试看懂高速链路到底怎么验证很多工程师第一次接触 PCIe 6.0 测试环境时心里都会有一个很朴素的问题线插上了灯也亮了那是不是就说明链路已经没问题了答案当然没这么简单。到了 PCIe Gen6 这个速度等级事情已经不再是“能点亮”那么简单了。你看到一根 MCIO 线缆、一张 Switch 卡、一个 Retimer 小盒子好像都是普通硬件但在 64GT/s 的高速链路下面它们每一个连接器、每一段走线、每一根 cable、每一个 lane 的顺序都可能影响最终能不能稳定建链。今天这段演示表面上看只是一个很简单的回环测试先把 Gen6 Switch 的 MCIO 口左右回环看它能不能跑到 Gen6 x16 再把一张 Gen6 Retimer 卡串到中间看经过 Retimer 以后链路还能不能稳定跑到 Gen6 x16。但这件事背后其实非常适合拿来给刚入门的工程师讲清楚三个问题第一PCIe Gen6 Switch 的 MCIO 口到底怎么测 第二Retimer 串在链路中间到底起什么作用 第三为什么高速 PCIe 测试不能只看“灯亮”还要进管理口看 showport这篇文章就按照现场演示的步骤把这件事讲清楚。一、先把场景说清楚这不是普通“插线测试”而是 Gen6 链路验证这次演示使用的是一张新款 Gen6 Switch 卡。这张卡上带有多个 MCIO 接口。MCIO 是现在高速 PCIe 连接里非常常见的一种小型高速连接器尤其是在 PCIe Gen5、Gen6 服务器、SSD、Switch、GPU 扩展和测试平台中经常会看到它。如果用一个形象的比喻PCIe Switch 像一个高速立交桥。 MCIO 接口就是立交桥上的匝道。 线缆就是匝道之间的高速路。 Retimer 则像高速路中间的信号再生站。在低速时代线稍微长一点、连接器损耗大一点系统可能还能勉强跑起来。 但到了 PCIe Gen6链路信号已经非常敏感。信号从 A 点跑到 B 点途中经过连接器、PCB 走线、线缆、转接板每经过一段都会有损耗、反射、串扰和抖动。所以工程师做 Gen6 测试不是为了证明“线能插上”而是为了证明插上以后能不能 link link 以后是不是 Gen6 是不是 x16 加了 Retimer 以后还能不能稳定 链路状态在管理软件里是否能真实确认。这才是这段演示真正有价值的地方。二、第一个测试环境单 Switch MCIO 口回环演示一开始先做的是比较基础的环境单 Switch 的 MCIO 口回环。简单说就是不用外部设备也不用 endpoint只把 Switch 卡上的 MCIO 口用线缆“自己接回自己”。这听起来有点像自己和自己打电话但在 PCIe 测试里这种 loopback 很有用。它可以帮助工程师先排除很多变量Switch 本身端口是否正常 MCIO 连接器是否正常 线缆是否支持目标速率 lane 顺序是否对应正确 端口之间能不能形成预期链路 管理软件能不能正确读到链路状态。这一步相当于高速测试里的“先检查路有没有通”。演示里使用两根线从 Switch 左边接到右边。这里特别提醒了一点对应的 lane 顺序要注意。这句话对新工程师非常重要。因为高速 PCIe 不是普通电源线不是正负极接上就行。PCIe 有 lane每个 lane 里面有 TX/RX 差分对x8、x16 又由多条 lane 组合起来。如果 lane 顺序、方向或者连接关系不对轻则降速降宽重则根本 link 不起来。所以单 Switch 回环测试的第一条经验就是线缆不是“随便接通”就可以而是要按正确 lane mapping 接。三、新款 Switch 卡有哪些变化演示中也顺手介绍了这张新款 Switch 卡和老款相比的一些变化。我们后续看时间允许也会再专门拍摄一下两张新Gen6 switch互联以及和CX-8连接的视频。第一硬件尺寸有轻微变化。 新卡比老款稍微长一点。如果之前没有接触过老款这个差异其实不需要特别在意但对于已经有旧测试架、旧机箱、旧固定结构的客户来说尺寸变化还是值得提前确认。第二左侧接口布局调整了。 原来两个 MCIO 口和下面两个 Type-C 管理口的位置现在做了调换。也就是说新卡的接口排布更改过。第三MCU 管理口位置调整。 之前 MCU 管理口放在上面的 Type-C 口现在移到了下面。对于现场调试人员来说这种变化很实际因为你插管理线的时候不能再按老习惯找口。第四新卡功耗更小。 演示中提到在空载状态下这张新卡可以通过 PCIe 插槽取电。也就是说如果只是像演示这样没有挂很多设备、没有大功率负载可以不接外部供电。但这里有一个非常重要的工程建议如果平时研发测试要接多个 device或者要挂一些功耗比较大的设备还是建议把外接供电口一直接上。这不是多此一举而是工程现场的经验。因为研发测试最怕的不是“理论上能工作”而是现场反复插拔、换设备、加负载以后供电状态变得不可控。外接供电提前接好至少可以减少一个不必要的变量。高速链路调试本来就已经够麻烦了不要让供电再来添乱。四、看灯不是玄学红灯和蓝灯分别代表什么上电以后演示里看到一开始有四个红灯在闪烁。很多人看硬件板卡容易把灯当成“玄学信号”亮了就高兴灭了就紧张。其实每个灯都有明确含义。这张 Switch 卡上红灯代表对应 MCIO 口没有 link。 也就是说如果某个接口旁边有红灯说明这个接口当前没有建立 PCIe 链路处于空载或者未连接状态。如果这个口成功 link红灯就会消失。蓝灯则表示当前的建链状态。 演示里提到如果蓝灯稳定不变就表示当前已经稳定在 Gen6 速率。所以在现场调试时可以先用灯做第一层判断红灯还在说明对应端口没 link 红灯消失说明端口开始进入有效连接状态 蓝灯常亮说明链路稳定在 Gen6。但这里也要强调一句灯只能做快速观察不能作为最终验收。真正确认链路状态还要进管理软件看端口信息。五、进入 Tera Term用 showport 看真实链路状态演示中使用 Tera Term 作为管理软件通过管理口进入 Switch 的管理界面然后执行 showport 查看端口状态。这一步非常关键。因为硬件灯只能告诉你“大概连上了没有”但 showport 可以告诉你更具体的信息当前端口速率是多少 当前端口宽度是多少 哪些端口是 Gen6 哪些端口是 Gen5 upstream 在哪里 downstream 或 loopback 端口状态如何。在第一个单 Switch 回环环境里showport 结果显示 MCIO 回环相关链路已经是 Gen6 x16。这说明什么说明两根 MCIO x8 线缆组合起来以后形成了一个 x16 宽度的 Gen6 链路。 也就是说单 Switch 自回环环境下MCIO 口、线缆、lane mapping、Switch 端口状态都达到了预期。与此同时showport 里还看到 upstream 是 Gen5 x16。这个地方也很适合给初级工程师解释一下。为什么同一张卡上有的地方是 Gen6 x16有的地方是 Gen5 x16原因很简单upstream 是连接 host 的那一侧也就是通过金手指插到主机上的那一侧。如果当前主机平台本身只支持 Gen5那么 upstream 显示 Gen5 x16 就是正常现象。这不是 Switch 不能跑 Gen6也不是 MCIO 回环失败而是 host 这一侧的能力决定了 upstream 只能到 Gen5。工程调试里这种判断非常重要。不能看到一个 Gen5 就马上说“板卡不支持 Gen6”。 要先看清楚这是哪一侧端口、连接了什么设备、对端能力是多少。六、第二个测试环境把 Gen6 Retimer 串到链路中间完成单 Switch 回环以后演示进入第二个环境Switch Gen6 Retimer。这一次线缆连接方式变了。前面单 Switch 回环时只用了两根线直接从 Switch 左边回到右边。 现在把线缆改成四根其中两根接到 Retimer 盒子的左侧另外两根接到 Retimer 盒子的右侧。也就是说原来是Switch 左侧 → 线缆 → Switch 右侧现在变成Switch 左侧 → 线缆 → Retimer → 线缆 → Switch 右侧Retimer 被串到了链路中间。这一步的目的很明确验证当 Gen6 Retimer 插在中间以后Switch 左右两边回环是否仍然可以稳定跑到 Gen6。这比单纯 Switch 回环更接近真实工程环境。因为在真实 PCIe Gen6 系统里链路往往不会只有一块板和一根短线。它可能经过主板走线 连接器 线缆 转接板 Retimer Switch endpoint 测试夹具 协议分析仪插入点。每多一个中间环节就多一个可能影响链路的因素。Retimer 的作用就是在高速链路中间对信号进行恢复、重定时、再驱动。它不是简单的被动转接线而是主动参与链路质量改善的器件。用一个形象的比喻PCIe 信号像一队高速奔跑的运动员。 跑得太远以后队形会散节奏会乱。 Retimer 像中途补给站不只是给运动员递水而是重新整理队形、重新校准节奏让队伍继续按正确节拍跑下去。所以 Retimer 对 PCIe Gen5/Gen6 长距离连接、复杂拓扑、线缆扩展非常重要。七、这个“黑砖头”一样的 Gen6 Retimer 到底是什么演示里这个 Gen6 Retimer 外观看起来像一个黑色小盒子甚至有点像一块砖。但它不是普通盒子里面其实是一张 Gen6 Retimer 转板。外面之所以包起来是因为做了风扇散热设计。这也说明一个事实到了 PCIe Gen6Retimer 不是一个可以随便裸放、随便忽略散热的小器件。 它本身也是高速芯片有功耗有热量也需要稳定供电和风扇散热。演示中提到这张 Retimer 卡基于 Broadcom 的 Gen6 Retimer 芯片。盒子上主要有几个接口一个 12V 供电口 一个 Type-C MCU 管理口 一个 I2C 串口 左右两侧的 MCIO Gen6 x8 接口。其中12V 供电口和 MCU 管理口是日常比较常用的。 I2C 串口一般不太常用更像是研发调试时使用。Retimer 的 MCU 管理命令也不复杂。演示里提到比较常用的主要是两个一个是 clockselect用来修改 clock 模式比如 CC 或 SRNS 另一个是 conrst用来做 reset。其他命令比如升级、系统信息、风扇调节等在普通演示和常规测试里不一定高频使用。这也说明Retimer 并不是一个完全“黑盒”的东西。真正做测试时工程师有时候需要进入它的管理界面确认它的 clock 模式、复位状态、工作状态是否符合当前拓扑要求。八、CC 和 SRNS 是什么为什么 Retimer 要改 clock 模式这里稍微补充一点背景让没接触过 PCIe 时钟架构的工程师也能理解。PCIe 链路除了有数据线还要有时钟体系。不同系统里设备之间的参考时钟关系可能不同。CC 通常可以理解为 Common Clock也就是链路两端使用共同参考时钟。 SRNS 可以理解为 Separate Reference Clock No Spread也就是链路两端使用独立参考时钟并且没有 SSC 展频。不同拓扑、不同设备、不同测试环境对时钟模式的要求可能不同。如果 clock 模式配置不对链路可能表现为不 link 只能降速 偶发掉线 训练不稳定 Retimer 两侧状态不一致。所以 Retimer 管理命令里保留 clockselect 很重要。它让工程师可以根据当前环境把 Retimer 切到正确时钟模式。这也是高速测试和普通低速接口测试最大的差别之一很多时候问题不是线没插好而是时钟架构、链路训练、equalization、Retimer 配置没有匹配。九、上电顺序先 Switch再 Retimer第二个环境中演示也强调了上电顺序。先给 Switch 上电。 再给 Retimer 上电。这看起来是个小细节但在实际调试里很有用。高速 PCIe 系统里很多问题都发生在上电、复位、链路训练的早期阶段。如果某个设备还没准备好另一个设备已经开始训练链路就可能出现链路状态异常。演示中也提到新款 Switch 卡空载时可以通过 PCIe 插槽供电如果平常接多个 device 测试建议外接供电口也一直接着。它会自己判断使用哪种供电方式不会产生电流冲突。这个设计对实验室很友好。因为工程师不需要每次根据测试环境反复插拔供电线只要按照推荐方式把外接供电接好就可以减少现场不确定性。对于客户现场演示、研发验证、反复换设备的环境来说这种细节很重要。十、Retimer 串入以后灯的状态发生了什么上电以后演示中观察到一个明显变化刚刚左边和右边有四个红灯表示这些接口没有 link 上电并完成连接后红灯都没有了 取而代之的是两个蓝灯 蓝灯常亮说明链路稳定在 Gen6 速率。这一步其实已经给出一个初步判断Retimer 串入以后链路不是断的。 Switch 左右两侧通过 Retimer 能够形成有效连接。 从硬件指示灯看Gen6 链路状态是 OK 的。但还是那句话灯只是第一层判断。下一步必须进入管理口继续看 showport。十一、再次 showport确认 Gen6 x16没有问题演示最后通过 Type-C 管理口连接到新款 Switch 卡。这里也提醒了一下新卡的管理口位置放到下面了。进入管理界面后执行 showport。结果显示Gen6 x16没有问题。这就是整个演示的最终结论。也就是说单 Switch MCIO 回环可以跑到 Gen6 x16 Switch Gen6 Retimer 串联回环也可以跑到 Gen6 x16 Retimer 串在中间以后没有把链路拖垮 MCIO 线缆、Retimer、Switch 端口组合起来能够完成 Gen6 x16 建链。对客户来说这个结果非常直观。因为很多客户真正关心的不是某颗芯片 datasheet 写了什么也不是宣传材料说“支持 Gen6”。他们更关心线接上以后实际能不能跑 Retimer 串进去以后实际能不能跑 管理软件里能不能看到 Gen6 x16 现场工程师能不能复现这个结果这次演示回答的就是这些问题。十二、为什么这个演示对 PCIe 6.0 测试很有代表性这段视频虽然时间不长但它覆盖了 PCIe Gen6 测试里很典型的几个关键动作。第一先做单板回环。 这是把问题简化到最小先确认 Switch 和 MCIO 口本身是否工作正常。第二再加入 Retimer。 这是在基础链路跑通以后逐步增加复杂度验证中间主动器件是否影响链路。第三看灯但不只看灯。 红灯、蓝灯可以帮助快速判断端口状态但最终还是要通过 showport 确认速率和宽度。第四注意供电。 空载可以用 PCIe 插槽供电但真实研发测试建议接外部供电尤其是接多个 device 或高功耗设备时。第五注意管理口。 Switch 有管理口Retimer 也有管理口。高速测试不是纯硬件插拔有时候必须进入管理界面修改 clock、reset、查看端口状态。第六注意 lane 顺序。 MCIO 回环不是随便两根线接上就行lane mapping 必须正确。这些动作看起来很基础但它们恰恰是高速接口测试的基本功。十三、给初级工程师的一点现场经验Gen6 调试不要急着下结论如果一个刚入门的工程师在现场遇到 PCIe Gen6 link 不起来很容易马上怀疑是不是 Switch 坏了 是不是 Retimer 坏了 是不是线缆不行 是不是板子设计有问题但成熟的调试思路不是这样。更合理的顺序应该是先确认供电。 再确认线缆方向和 lane mapping。 再看红灯是否表示 no link。 再看蓝灯是否稳定。 再进 Switch 管理口看 showport。 再确认 upstream 和 downstream 各自速率。 再确认 host 本身支持 Gen几。 再确认 Retimer clock 模式。 必要时做 Retimer reset。 最后再判断是否需要更换线缆、端口、板卡或设备。尤其要记住一点看到 Gen5 不一定是失败。 要看它出现在哪个端口上。如果 upstream 连接的是 Gen5 host那 upstream 显示 Gen5 x16 是正常的。 如果 MCIO 回环目标是 Gen6而 showport 显示 Gen6 x16那说明回环链路已经达到预期。 如果某个端口应该 Gen6 x16却只显示 Gen5 或 x8那才需要继续排查。高速 PCIe 测试最怕“一眼看错”。因为一个错误判断可能让工程师在错误方向上浪费一整天。十四、这套 Switch Retimer 环境能用于哪些测试这套环境不只是为了演示好看它在实际研发中很有价值。它可以用于Gen6 MCIO 线缆验证 Gen6 Switch 端口验证 Gen6 Retimer 功能验证 Switch Retimer 串联拓扑测试 x8/x16 lane 组合验证 不同 clock 模式下的链路训练测试 host 为 Gen5、downstream 为 Gen6 的混合代际测试 后续连接 Gen6 SSD、GPU、NIC、DPU、endpoint EVB 的前置验证。尤其是对于做 PCIe 6.0 设备研发的团队来说这类平台非常关键。因为客户经常不是单独测一张卡而是要测完整系统主机到 Switch Switch 到 Retimer Retimer 到 endpoint endpoint 再返回数据 中间还可能插协议分析仪、故障注入设备、不同长度线缆、不同转接板。如果没有一个可控的 Switch Retimer 测试环境很多问题只能在整机里碰运气。而一旦进了整机变量太多BIOS 变量 主板变量 线缆变量 散热变量 供电变量 endpoint 变量 驱动变量 操作系统变量。最后很可能看到的只是“系统不稳定”却不知道到底哪里不稳定。这就是测试平台的意义把复杂系统拆开一段一段验证。 先确认 Switch。 再确认 Retimer。 再确认线缆。 再确认 endpoint。 最后再做系统集成。十五、结语PCIe Gen6 的门槛不是“能插上”而是“能证明”PCIe Gen6 时代测试工程师要习惯一个事实看起来很简单的一根线背后可能是 64GT/s 的信号完整性问题。 看起来很普通的一个小盒子里面可能是一颗高速 Retimer 芯片。 看起来只是两个蓝灯常亮背后其实是 link training、clock mode、lane mapping、equalization、供电和管理配置共同完成的结果。这次演示最有价值的地方不是它展示了一堆复杂设备而是它把一个正确的调试流程讲清楚了先做单 Switch 回环 确认 MCIO 口能到 Gen6 x16 再把 Retimer 串到中间 确认经过 Retimer 后仍然能到 Gen6 x16 最后通过管理口和 showport 给出软件层面的证据。这才是高速接口验证应该有的样子。不是靠猜。 不是靠灯。 不是靠宣传页。 而是靠真实连接、真实上电、真实链路、真实 showport 结果。对于刚接触 PCIe Gen6 的工程师来说这样的演示很值得反复看。因为它告诉我们PCIe 6.0 测试从来不是“插上线看亮灯”这么简单。 真正的测试是一步一步把链路里的每个环节都验证清楚。 只有这样当未来客户把 Gen6 SSD、GPU、NIC、DPU 或自研 endpoint 接上来时我们才知道问题该从哪里查也知道结果该怎么证明。