跳转到文档内容

「你的算力用的好么?」李孟轩 vLLM Meetup 分享回顾:vLLM 推理集群优化的三个阶段

· 阅读需要 11 分钟
HAMi 维护者,密瓜智能联合创始人兼 CTO

vLLM 推理集群优化的三个阶段|李孟轩

2026 年 7 月 16 日,密瓜智能(Dynamia)联合创始人兼 CTO、HAMi 作者 李孟轩 在 vLLM Meetup 上做了一场关于 vLLM 部署与算力优化 的技术分享。围绕一个直击痛点的问题:「你的算力用的好么?」,他系统梳理了 vLLM 推理集群从"能跑起来"到"把算力榨干"的演进路径,把整个优化过程拆解为清晰的三个阶段。

本文结合分享 PPT 与现场纪要,带大家完整回顾这场干货满满的分享。

HAMi 晋升 CNCF 孵化项目

· 阅读需要 3 分钟
HAMi 社区

我们很高兴地宣布:2026 年 7 月 2 日,HAMi 正式晋升为 CNCF Incubating(孵化)项目,CNCF 技术监督委员会以全票赞成通过了本次孵化投票

这是 HAMi 继 2024 年 8 月作为 Sandbox 项目加入 CNCF 后的又一个重要里程碑,意味着 CNCF 技术监督委员会(TOC)认可 HAMi 已具备成熟的技术与安全实践、活跃的社区、真实的生产采用与开放的生态集成。

HAMi 亮相 KubeCon + CloudNativeCon India 2026:将 GPU 共享带给社区

· 阅读需要 7 分钟
HAMi 社区

2026 年 6 月 18-19 日,KubeCon + CloudNativeCon India 2026 在印度孟买举行,来自云原生生态的实践者、平台工程师、AI 基础设施团队和开源贡献者齐聚一堂。随着 AI 成为本届大会最重要的主题之一,HAMi 展示了 Kubernetes 原生 GPU 共享如何帮助组织提升加速器利用率,同时保持工作负载隔离和运维灵活性。

从开场 Keynote 到展台现场演示,再到与工程团队的技术讨论,本次活动凸显了一个越来越明确的行业关注点:让昂贵的 GPU 基础设施真正适用于多租户 AI 工作负载。

HAMi-core 被 NVIDIA KAI Scheduler 采用:GPU 共享正式迈入硬隔离时代

· 阅读需要 11 分钟
HAMi 社区

本文中的集成对象严格来说是 HAMi-core,而非完整 HAMi 平台。KAI Scheduler 保留自身调度能力,引入 HAMi-core 提供 GPU Memory Isolation 能力。

2026 年 6 月,两项核心 PR 正式合并进入 NVIDIA KAI Scheduler 主干。HAMi 的 GPU 显存硬隔离能力已作为内置特性随 KAI Scheduler v0.16.4 发布,云原生 GPU 资源调度正式从「软共享」迈入「硬隔离」时代。

HAMi v2.9.0 发布:昇腾用户态切分、DRA 正式可用与调度生态扩展

· 阅读需要 14 分钟
HAMi 社区

HAMi 社区正式发布 HAMi v2.9.0。这是一个在异构设备虚拟化深度、调度器生态扩展与 Kubernetes 原生标准落地层面具有里程碑意义的版本。

v2.9.0 引入了昇腾 910C HAMi-core 模式、HAMi-DRA 正式可用、项目发布以及 Volcano vGPU 升级至 v0.19 等重磅特性,同时在可观测性、安全性、稳定性等方面进行了系统性增强,共有 19 位新贡献者首次参与。

本文将对 v2.9.0 的主要更新进行详细说明。

第三届 HAMi Meetup 深圳站回顾

· 阅读需要 7 分钟
HAMi 社区

HAMi Meetup 深圳站

4 月 25 日,HAMi 社区在深圳成功举办第三场线下 Meetup。来自 CNCF、顺丰科技、招商银行、燧原科技、深信服、博维智慧科技及密瓜智能的七位技术专家,围绕 AI 基础设施云原生演进、GPU 算力池化、异构调度、DRA 技术展望等前沿话题,为现场观众带来了一场深度技术盛宴。

本次活动由 HAMi 社区发起,由密瓜智能主办,顺丰科技协办并提供场地支持。

HAMi WebUI 正式发布:Kubernetes GPU 监控仪表盘

· 阅读需要 6 分钟
HAMi 社区

在 Kubernetes 中管理 GPU 资源,长期以来存在一个"盲区"。你知道 GPU 在被使用,但要回答"哪个节点还有空闲?"、"这个工作负载是否真的在用分配到的 GPU?"、"集群整体 GPU 利用率趋势如何?"这些问题,往往需要在 kubectl get、Prometheus PromQL 和日志输出之间反复切换。

今天,HAMi 社区正式推出 HAMi WebUI,一款将整个 GPU 集群呈现在单一可视化界面中的开源 GPU 监控仪表盘。

HAMi WebUI v1.1.0 现已作为首个正式主要版本发布,邀请你试用。

与 HAMi 核心调度器配合,WebUI 实现了完整的闭环:从 GPU 调度到可视化可观测性

KubeCon EU 2026 回顾:HAMi 从展台到主论坛 Keynote Demo

· 阅读需要 11 分钟
HAMi 社区

刚刚结束的 KubeCon + CloudNativeCon Europe 2026,释放出一个越来越明确的行业信号:

云原生正在快速从“应用运行平台”演进为 AI 基础设施的运行底座。

在阿姆斯特丹,围绕 Kubernetes、GPU、推理服务、Agentic AI 和异构算力调度的讨论,已经不再停留在概念层面,而是进入到更具体的工程实践、社区协作与基础设施范式演进阶段。

CNCFHAMi 是 CNCF 孵化项目