起源:::刀疤哥退赛 荒野求生决赛还
平头哥颁布首款智能网卡「磐脉 920」,,,补齐 AI 算力最后一块短板
GPU 买了那么多,,,跑起来却像「堵车」???
作者|苏子华
编纂|郑玄
最近两年,,,AI 行业最热的词一向绕不开「算力」。
从大模型训练,,,到今年 Agent 的火热,,,再到各家云厂商不休扩建智算中心,,,行业会商最多的,,,险些都是 GPU、、、芯片和算力规!::H缤挥锌ü欢,,,AI 就能持续往前跑。
但现实并不是。
不少做大模型训练和推理的人,,,已经越来越显著地感触到另一层问题:::机械越来越贵,,,GPU 越来越强,,,但模型训练和推理的效能,,,却没有同步提升。
问题不愿定出在算力自身,,,而可能出在另一件持久被忽视的事件上——网力。
平头哥产品总监李旭慧打了个譬喻:::「若是把算力比作 AI 时期的石油,,,网力就是输油管道。算力提供动力,,,网力保险效能!
4 月 28 日,,,在数字中国建设峰会上,,,平头哥颁布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡,,,最大支持 400Gbps 吞吐带宽,,,可利用于万卡智算集群、、、通算集群和高机能存储等场景,,,目前已经量产,,,并将率先部署在阿里云数据中心。
磐脉 920 想要解决的就是「网力」问题。
今天的大模型训练,,,一个训练工作,,,往往必要几千甚至上万张 GPU 同时合作。单张 GPU 机能再强,,,也必须跟整个集群维持同步。
问题在于,,,只有其中一部门节点慢下来,,,其他节点就只能期待。他观察到,,,目前行业里好多万卡级智算集群,,,GPU 现实利用率较低,,,「能做到 60%,,,已经算行业顶尖水平!
从前行业更容易关注「有几多卡」,,,但现着实 AI 训练场景中,,,系统运行效能并不是由最强的硬件决定,,,而是受限于集群里最慢的那个节点!傅毕冉诘愕乃懔岢中兄闷诖,,,造成大规模算力浪费!
磐脉 920 的颁布现实上也指了然一个方向:::当 GPU 已经足够强之后,,,下一步到底该补哪里。
一张网卡,,,盘活整个智算集群
当 AI 智能体起头进入真实业务场景,,,推理业务的占比越来越高。
「在 Agent 利用发作的布景下,,,推理业务的增长速度显著快于训练!估钚窕郯凳尽
大模型训练强调强同步,,,而推理面对的是大量突发、、、小包、、、高频要求,,,对低时延和不变性的要求更高,,,这也意味着对「网力」的要求更高。
而概括一下磐脉 920 在做的事,,,就是尽量削减整系统里的「堵」和「等」,,,通过网力的提升来开释 AI 算力。
其背后的实现道理,,,有三个关键。
首先是支持多蹊径 RDMA,,,突破单一蹊径的局限。
通俗理解,,,就是正本只能走一条高速,,,此刻造成多条路同时辰流。更关键的是,,,这些数据固然分隔走,,,但最终还能按挨次正确拼回来。
李旭慧诠释,,,磐脉 920 通过支持逐包喷洒、、、乱序接管和选择性重传,,,实现 RDMA 多蹊径。
从了局来看,,,这套规划带来的改善比力直接。
依照官方实测,,,磐脉 920 支持单 QP 打满 400G 带宽,,,而同类主流产品带宽约莫只有其一半。同时,,,多蹊径能力能够把互换机端口缓冲区水线降低 90%,,,削减丢包和重传。
第二个关键设计,,,是把「绕路」造成「直连」。
磐脉 920 最大的亮点之一,,,是内置 PCIe Switch。这也是国内首个做到这一点的 400G 智能网卡。
传统服务器架构里,,,PCIe Switch 通常部署在主板上,,,数据必要绕多个节点转发。了局就是,,,有的蹊径长,,,有的蹊径短,,,时延不一致。
对于必要高度同步的 AI 训练工作来说,,,这种「不整齐」会直接影响效能。
李旭慧打了个譬喻:::传统架构里,,,经;;岢鱿帧杆母鱿滦型ǖ兰芬桓錾闲型ǖ馈沟那榭觥
这很像四条支路同时汇入一条主干道,,,梗塞险些不成预防。
磐脉 920 把 PCIe Switch 直接集成进芯片内部,,,让网卡与 CPU、、、GPU 形成更直接的衔接关系。
少绕路,,,意味着更低时延;;蹊径更统一,,,则意味着更不变的同步效能。
凭据平头哥实测,,,在一样集群规:::凸ぷ髑疤嵯,,,部署磐脉 920 后,,,大模型训练和推理工作实现功夫可缩短 14%。
第三个关键,,,是让网络具备自己判断的能力。
传统网卡更多像搬运工。收到数据,,,搬从前,,,仅此而已。
据相识,,,磐脉 920 参与了细粒度网络感知和可编程拥塞节制能力。直白讲,,,就是它能自动避堵。让网络起头从被动传输,,,造成自动调度。
对于越来越复杂的 AI 集群来说,,,这种能力的重要性会越来越显著。
从这些设计能看出来,,,磐脉 920 并不是在追求参数上的单一提升,,,它做的事件很求实,,,让已经很贵的算力,,,少浪费一点,,,从而引发最大的潜能。
为何是阿里在界说 AI 基础设施???
除了机能自身,,,磐脉 920 背后更值得关注的,,,是平头哥和阿里的整体布局。
从前几年,,,好多公司做芯片,,,往往集中在单一环节,,,好比 GPU、、、AI 加快卡或者 CPU。
但平头哥的思路是做全栈。
目前,,,平头哥已经形成四条产品线:::真武系列 AI 芯片、、、倚天服务器 CPU、、、镇岳存储主控芯片,,,以及这次颁布的磐脉系列智能网卡。
对应的,,,正好是数据中内心的几个关键环节:::算力、、、存力和网力。
李旭慧在采访中暗示:::「单一芯片产品无法解决全链路问题,,,只有买通算力、、、存力、、、网力,,,能力最大化开释 AI 硬件机能!
这也是平头哥融洽多单点芯片公司的区别。它不是只做一块机能更强的芯片,,,而是试图从整个系统角度去看问题。
好多芯片公司做产品,,,先做出来,,,再去找客户和落地场景。
但平头哥不是。
李旭慧通知极客公园,,,磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断,,,将来 AI 肯定会推动数据中心网络能力升级。
「一线业务场景的现实需要,,,是芯片技术迭代与产品优化的主题驱动力!瓜扔邪⒗镌频拇蠊婺R滴癯【,,,再从现实场景需要里倒推产品界说。
这就是磐脉 920 的贸易蹊径。据泄漏,,,和平头哥倚天、、、真武、、、镇岳系列芯片一样,,,它会先部署在阿里云数据中心。
从这个角度看,,,磐脉 920 的颁布,,,自身就是阿里「通云哥」协同能力的一次体现。
通义掌管模型,,,阿里云掌管场景,,,平头哥掌管底层硬件。模型需要推动云基础设施升级,,,云场景又反向推动芯片演进。
这种全栈自研的闭环,,,在国内科技公司里并不多见!竿ㄔ聘纭沟哪J焦倘磺捌谕度氪、、、周期长,,,但一旦走通,,,护城河也极深。
AI 竞争走到今天,,,比拼的已经不是单点能力,,,而是这一整套系统能否顺畅运行。
随着 AI 越来越多从训练走向推理,,,模型、、、云与芯片之间形成的持续反馈循环,,,整体优势的显露可能才刚刚起头。
*头图起源:::平头哥
本文为极客公园原创文章,,,转载请联系极客君微信 geekparkGO
极客一问
你若何对待「磐脉 920」???
@姜于羽:::qy千亿官网,,,吴艳妮曾鼓起勇气找苏炳添合影@杨佩芬:::小时辰和伴侣一路玩过家家
@蔡美惠:::追忆贺娇龙
热点排行
- 1 bc网址
- 2 腾讯投注世界杯
- 3 巴黎人怎么注册
- 4 亚洲必赢在哪里
- 5 九五至尊最新登录网址
- 6 大富豪棋牌贴吧官网
- 7 篮球投注平台
- 8 m6米乐体育官方
- 9 博奥体育app在线下载