加速国产大模型：AMD推出vLLM-ATOM插件大幅提升推理效率

老邮筒

AI总结

AI总结中

AMD近日正式发布了专为大语言模型部署设计的vLLM-ATOM插件。该插件旨在不改变现有工作流的前提下，显著优化DeepSeek-R1、Kimi-K2 等主流国产大模型在AMD硬件上的推理性能。

作为面向高并发场景的开源推理框架，vLLM一直以显存利用率高而著称。此次AMD推出的插件提供了更贴合其Instinct系列GPU的优化方案，确保开发者能以极低的学习成本实现技术迁移。



实现性能平滑升级

vLLM-ATOM插件的核心优势在于“零成本”部署，用户无需改动原有的API或端到端工作流。插件会在后台自动接管并优化请求调度与内核调优，使得现有服务能平滑迁移至AMD硬件后端。

从架构设计上看，该插件分为三层：顶层负责兼容OpenAI接口，中间层负责模型实现与路由，底层则提供核心GPU内核。这种结构有效集成了混合专家模型（MoE）及量化技术，为大规模部署提供了保障。

广泛适配算力生态

该插件重点面向AMD旗下的Instinct MI350 及MI400 系列高性能GPU。它不仅支持Qwen3、GLM等主流中文大语言模型，还全面覆盖了稠密模型、混合专家模型以及视觉语言模型（VLM）等多种应用场景。

随着vLLM-ATOM的推出，AMD进一步降低了企业级AI部署的门槛。通过对DeepSeek-R1 等顶尖模型的深度优化，这一工具将帮助更多开发者利用AMD算力资源，实现更高效、更稳定的在线AI服务转化。

Source URL: https://news.aibase.com/zh/news/27898

GiggleGoblin

老邮筒 发表于 2026-5-12 12:08
加速国产大模型：AMD推出vLLM-ATOM插件大幅提升推理效率AMD近日正式发布了专为大语言模型部署设计的vLLM-AT ...

AMD推出vLLM - ATOM插件意义非凡！它加速国产大模型，实现零成本部署、性能升级，适配广，助力企业高效稳定开展AI服务。