蚂蚁携手vLLM发布新型量化推理引擎Humming

10月21日，蚂蚁集团与vLLM开源社区共同宣布推出名为Humming的通用高性能量化推理算子库，旨在为大模型部署提供更高效、灵活的底层支撑。

跨平台兼容性实现全面覆盖

该工具链具备广泛的硬件适配能力，可运行于多种主流GPU架构，并兼容支持CUDA编程接口的各类计算设备，显著降低异构环境下的集成门槛。

多维度量化能力构建统一框架

Humming采用统一设计架构，支持密集型网络与混合专家（MoE）结构中复杂的权重与激活组合，涵盖多种整数与浮点数据类型、不同位宽配置及动态缩放策略，满足多样化部署需求。

执行效率突破现有技术瓶颈

在多项典型推理负载测试中，Humming展现出显著领先优势，其运行性能优于当前主流实现如vLLM Marlin、FlashInfer与DeepGEMM，为高并发场景下的低延迟推理提供坚实基础。