跳转到文档内容

6 篇文章 文档包含 "GPU Virtualization"

查看全部标签

「你的算力用的好么?」李孟轩 vLLM Meetup 分享回顾:vLLM 推理集群优化的三个阶段

· 阅读需要 11 分钟
HAMi 维护者,密瓜智能联合创始人兼 CTO

vLLM 推理集群优化的三个阶段|李孟轩

2026 年 7 月 16 日,密瓜智能(Dynamia)联合创始人兼 CTO、HAMi 作者 李孟轩 在 vLLM Meetup 上做了一场关于 vLLM 部署与算力优化 的技术分享。围绕一个直击痛点的问题:「你的算力用的好么?」,他系统梳理了 vLLM 推理集群从"能跑起来"到"把算力榨干"的演进路径,把整个优化过程拆解为清晰的三个阶段。

本文结合分享 PPT 与现场纪要,带大家完整回顾这场干货满满的分享。

第三届 HAMi Meetup 深圳站回顾

· 阅读需要 7 分钟
HAMi 社区

HAMi Meetup 深圳站

4 月 25 日,HAMi 社区在深圳成功举办第三场线下 Meetup。来自 CNCF、顺丰科技、招商银行、燧原科技、深信服、博维智慧科技及密瓜智能的七位技术专家,围绕 AI 基础设施云原生演进、GPU 算力池化、异构调度、DRA 技术展望等前沿话题,为现场观众带来了一场深度技术盛宴。

本次活动由 HAMi 社区发起,由密瓜智能主办,顺丰科技协办并提供场地支持。

HAMi WebUI 正式发布:Kubernetes GPU 监控仪表盘

· 阅读需要 6 分钟
HAMi 社区

在 Kubernetes 中管理 GPU 资源,长期以来存在一个"盲区"。你知道 GPU 在被使用,但要回答"哪个节点还有空闲?"、"这个工作负载是否真的在用分配到的 GPU?"、"集群整体 GPU 利用率趋势如何?"这些问题,往往需要在 kubectl get、Prometheus PromQL 和日志输出之间反复切换。

今天,HAMi 社区正式推出 HAMi WebUI,一款将整个 GPU 集群呈现在单一可视化界面中的开源 GPU 监控仪表盘。

HAMi WebUI v1.1.0 现已作为首个正式主要版本发布,邀请你试用。

与 HAMi 核心调度器配合,WebUI 实现了完整的闭环:从 GPU 调度到可视化可观测性

第二届 HAMi Meetup 北京站回顾

· 阅读需要 4 分钟
HAMi 社区

HAMi Meetup 北京站

12 月 27 日,HAMi Meetup 北京站在近百位技术伙伴的参与下圆满落幕。作为 HAMi 社区的第二场线下活动,本次 Meetup 聚焦国产算力的生产实践与异构调度工程落地,来自贝壳、海光信息、第四范式、昆仑芯等企业的工程师分享了他们的一线经验。

CNCFHAMi 是 CNCF 孵化项目