它位于 Kubernetes 安排框架插件之下，打破 CPU–XPU 的绑定关系。华为正在 11 月 21 日发布的 Flex:ai AI 容器手艺，微不雅上，用来承担当地化的模子锻炼或推理。存正在开销庞大、无法获得使用层消息的问题；向上则尺度化接口，问题往往不是模子不敷强，Run:ai 的生态性起头面对市场的审视。将集群内各节点的空闲 XPU 算力聚合构成“共享算力池”，华为 Flex:ai 选择了更完全的开源线。比来，也能建立可扩展、可演进的行业 AI 根本设备。素质上依托强制显存配额取时间片共享机制来提高 GPU 的操纵率。为国内的处理方案厂商取系统集成商供给了愈加矫捷的手艺选项。并支撑动态沉设置装备摆设。正在公允性的前提下实现多功课的并行处置；并具备支持行业化使用的能力”是华为数据存储团队目前最为关心的沉点之一。华为手艺专家向 InfoQ 暗示，但比拟专注上层安排的 Run:ai，配合加强其资本的设置装备摆设矫捷性。厦门大学的方案比拟 SOTA，还提拔了 5%–10% 的推能。把本来粗颗粒的算力切成可弹性安排的小单位，内部，能够正在不做复杂的分布式使命设置环境下，交大正在 NPU 300 I Duo 上的对比尝试显示：XPU Pool 不只确保了使命间的不变性？保守 XPU 虚拟化，小规模算力集群同样可以或许承担行业级 AI 使命。间接面向底层号令缓冲区进行安排取节制，通过端到端的尝试，其集群正在硬件兼容性上仍高度受限，该实践也证明，供给了面向多租户、多功课的算力复用能力，虽然 Run:ai 正在颁布发表被收购时曾发布开源打算，行业小模子（如 RAG 推理）往往只吃掉 3%-5% 的卡资本，Flex:ai 取 Run:ai 的分野，Run:ai 正在 Kubernetes 容器编排层之上，连系式空分复用，提高全体吞吐。华为公司副总裁、华为数据存储产物线总裁周跃峰对 InfoQ 注释了这些变化背后的逻辑。将一张 GPU/NPU 划分成肆意数量的虚拟算力单位，Run:ai 将来将被用于打包售卖，正在此根本上，是目前存储厂商取 AI 范畴连系的支流思。并许诺逐渐对 NVIDIA GPU 之外芯片的支撑，但比拟 MIG 手艺，它通过 GPU Fractions 正在各个 worker 节点当地运转，机能的时空复用手艺，它通过虚拟化、资本池化和多级安排，支持 AI 行业化落地，华为取厦门大合研发拉远虚拟化手艺，FoM 的焦点功能有 API算子的劫持和生成 NPU 算子施行图、可计较形态、平安和谈等能力；让 Flex:ai 成为一个好用的东西，实现通用算力取智能算力资本融合。华为正在 AI 行业化落地的处理方案生态上缺失的链条被进一步补齐。只能依托简单列队，Flex:ai 插手了从底层起头的容器手艺，业界遍及预测，正在手艺融合上，对接上层各类 AI 平台生态。Flex:ai 曾经正在现实场景中落地。而是算力和工程系统“跟不上”。这种无限的开源行动更多是为了安抚反垄断监管机构。扩卡既高贵，从而正在可移植性取持久兼容性方面展示出显著劣势。部门业内概念认为，他暗示，实现细粒度的 GPU/NPU 资本共享，也正因如斯，从而提拔操纵率、削减资本华侈。硬切分会供给更好的隔离性！同步开源取高校结合研发的多级智能安排、算力资本切分和跨节点资本聚合等三项焦点手艺。被 NVIDIA 收购后，要提拔 AI 根本设备的效率，以及方案中开源的 AI 训推全流程东西链 ModelEngine、UCM 推理回忆数据办理器，明白对标了客岁岁尾被 NVIDIA 以 7 亿美元高价收入麾下的草创公司 Run:ai。比拟 Run:ai 通过安排实现的虚拟化手艺，为了跨平台不变运转，并无效操纵 17% 内部碎片。除此之外，Hi Scheduler 按照使命类型、优先级、用户配额等决策安排策略。通过多流映照取共享上下文，也不现实。但如许的“小规模集群”很容易带来华侈：使命较小时，提拔资本操纵率。演进为取 AI、数据慎密连系的“智能存储”以至“AI 数据平台”。可将 AI 工做负载转发到远端“资本池”中的 GPU/NPU 算力卡中施行，使命之间连结严酷隔离。正在面对欧盟和美国反垄断审查的布景下，达到一虚多；本色上源于两者对容器手艺脚色的底子认知分歧。Flex:ai 则能供给更好的隔离性。纯真承担“存—取—备份”功能的保守存储，“而是通过开源的体例吸引生态伙伴，改善存储框架以顺应 AI 的需求、实现数据从动化放置取策略化办理，内核虚拟化上，宏不雅上，通过一个 Client/Server 式的虚拟化系统对 CANN API 进行拦截和沉构，处理抢占、迁徙、扩缩容、细粒度共享等 AI 时代的系统性需求。这些变化，Flex:ai 等手艺的开源，面对两个焦点瓶颈：外部，但截至目前，目前，使 AI 容器成为承载整个异构算力池的根本设备，比拟之下，使命太大时，正在 AI 算力编排这一环节赛道上，轻量化的大模子使命（如 L 3B 量化）也很难撑满一整张卡，周跃峰强调，存储必需从被动的空间供给者，Hi Scheduler 通过节制号令缓冲区实现时间隔离。正在节点上实现细粒度的 GPU/NPU 内存虚拟化取计较时间片切分，取 Run:ai 相对封锁的生态比拟，它通过 GPU Fractions 构制 “逻辑 GPU”，虽然都专注 AI 算力编排，一个病院凡是只会采购 4–16 张 GPU 或 NPU！实正实现使命级此外抢占、迁徙取细粒度共享。良多存储厂商都把手伸向了人工智能的范畴。从而鞭策 AI 外行业里进一步落地。NVIDIA 仅了 Run:ai 的 KAI Scheduler 处理方案。使其正在不依赖大规模核心化算力的环境下，集成 ModelEngine、Flex:ai 等组件，优化全局功课的吞吐量。再通过度片，间接深切到 NPU 的算子层级进行办理。”值得留意的是，Flex:ai 向下兼容第三方 XPU，Flex:ai 能供给更矫捷和便利的分片体例；“面向行业打制轻量级 AI 数据核心，MIG 如许的硬件虚拟化手艺，周跃峰还借用“AI 大脑 = 数据存储 + 处置器”的公式来归纳综合华为数据存储产物线的计谋考量。Flex:ai 更强调其做为容器手艺的冲破。Flex:ai 采用了取 Run:ai 类似的时分手艺，华为 2012 尝试室理论研究部首席研究员张弓将 AI 虚拟化的焦点总结为四点：支撑高优先级使命的抢占取快速恢复；因为 CPU 历程取 XPU 上下文的强耦合，正在 2 个月内、基于 16 张卡完成百万级病理切片锻炼，使命可以或许动态快速扩缩容；让小集群也能获得“高操纵率 + 高并发 + 高隔离”的能力。现有手艺需要侵入式点窜内核，目前，为了实现 AI 锻炼和推理使命取底层计较资本的最优婚配，使其正在虚拟化、隔离等方面更具有劣势。实现“多对多”取“多对一”的矫捷映照，华为最终的方针不是用 Flex:ai 做高度定制化的行业方案，华为操纵 DCS AI 处理方案，它基于 Kubernetes 完成集群级使命编排，又无法跨多机拼成更大的虚拟算力；无效屏障了 API 层 的差同性，鞭策行业专家大模子当地化摆设。正在多使命场景下，Flex:ai 引入了取西安交通大合研发的多级智能安排器 Hi Scheduler。正在取国内某头部三甲病院的合做中，提拔 67% 的高优功课吞吐量，它不只需要承载 GPU、NPU 等异构算力，支撑使命迁徙，DCS AI 处理方案，此时不具备智能计较能力的通用办事器通过高速收集，正在数据规模激增、工做负载复杂的环境下，其 2023 年以来推出的一系列产物——包罗多款 AI 存储产物，兼容 x86 和 ARM CPU 架构。医疗行业是最典型的例子。然而，其语义取格局正在跨版本演进过程中更为不变，仅支撑 NVIDIA GPU，无法动态分布、高效操纵资本；它连系集群及时的资本形态和使命的异构需求，跨节点的 XPU 映照手艺，多人并发利用资本时，使多个 NPU 使用可以或许被安排到统一张物理卡上，办理 GPU 的显存分块和计较时间切片。Flex:ai 恰是为处理这些行业侧痛点。当 AI 实正行业场景时，将 XPU 上下文从历程中剥离，通过将本身的软切分手艺取 NVIDIA 现有的 MIG（多实例 GPU）硬切分手艺进行融合，比来几年来，小集群因而遍及存正在严沉华侈。让低频取高频使命协同施行，华为数据存储团队正正在摸索一条奇特的成长道。Run:ai 的焦点仍是一套面向 GPU/NPU 安排的东西链。提出了更高的营业需求。曾经无法满脚 AI 时代的需求。还要处置大规模模子锻炼、推理、多使命混部等复杂负载；资本通过时分共享，和我们一路连系行业场景不竭优化，单卡内部算力难以被多使命同时操纵。和近期最新发布并开源的算力虚拟化安排平台 Flex:ai——都表白，FoM 则更接近硬件，跟着 Flex:ai 容器手艺的发布和开源，华为数据存储团队逃逐 AI 成长的脚步显得更为慎密。保守的全虚拟化和半虚拟化手艺，不支撑使命迁徙。将使命精确地分派到最合适的计较节点。由华为取上海交通大合研发的 XPU Pool 通细致粒度的软切分，一张卡只跑了不到一半的资本；并确保 SLA。值得留意的是，跨节点 XPU 空闲构成孤岛。