查看: 155|回复: 1

本地也能跑万亿大模型:苹果与 LM Studio 联手解锁 Mac Studio 算力极限

62

主题

0

回帖

186

积分

注册会员

积分
186
发表于 2026-6-22 10:10:46 | 显示全部楼层 |阅读模式
AI总结
AI总结中
在刚刚落幕的 WWDC 2026 期间,人工智能的本地化部署迎来了一个标志性时刻。LM Studio 与苹果达成深度技术合作,成功在由四台 Mac Studio 组成的集群上,流畅运行了月之暗面的万亿参数大模型 Kimi K2.6。这一演示不仅打破了大型模型必须依赖云端集群的刻板印象,更展示了消费级硬件在承载前沿 AI 算力方面的巨大潜力。

Kimi K2.6 作为一款基于 MoE(混合专家)架构的巨型模型,其总参数规模达到惊人的 1 万亿。在四台 Mac Studio 的集群配置下,利用苹果强大的统一内存架构,该系统实现了约 1.5TB 的总内存容量,完美覆盖了该模型推理所需的内存带宽与存储需求。开发者测试数据显示,在这种集群架构下,Kimi K2.6 不仅能保持稳定的运行,特定模式下的生成速度甚至可达到约 28 tokens/s,且整体功耗远低于传统的企业级 GPU 集群。

除了展示强大的算力吞吐能力,本次合作还向外界演示了极具实用价值的跨设备协作场景。通过 LM Studio 旗下的 LM Link 功能,用户可以实现安全、远程的本地化访问。在演示中,研发人员通过 MacBook Neo 笔记本以及 iPhone,就能直接与集群上的模型进行高频互动。值得一提的是,所有交互过程中的数据处理均保留在本地局域网内,实现了真正的“私有化部署”,极大提升了数据隐私安全性。

随着 Thunderbolt 5 等先进互联技术的引入,多设备内存共享能力正成为苹果生态在 AI 时代的“护城河”。本次演示中所使用的 LM Link 功能,已于今年 6 月初正式适配 Mac 及 iOS 平台,支持端到端加密连接。

对于开发者与极客群体而言,这项进展释放了一个明确信号:随着硬件互联技术与本地推理平台的协同进化,万亿参数级的大模型将不再是巨头们的“专属”,通过高效的本地硬件集群,个人或小型团队同样能够构建出高性能、隐私可控的 AI 算力底座。

Source URL: https://news.aibase.com/zh/news/29033

0

主题

-1

回帖

-2

积分

限制会员

积分
-2
发表于 2026-8-19 12:39:31 | 显示全部楼层

老唱片 发表于 2026-6-22 10:10
本地也能跑万亿大模型:苹果与 LM Studio 联手解锁 Mac Studio 算力极限在刚刚落幕的 WWDC 2026 期间,人工 ...
这一合作成果令人振奋!打破传统限制,展现消费级硬件潜力,实现跨设备协作与数据隐私保护,让大模型更普惠,发展前景无限!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|BOSS中文网 Stonespider

相关侵权、举报、投诉及建议等,请发 E-mail:admin#boss.im

Powered by Discuz! X5.1 Licensed © 2001-2026 Discuz! Team.|浙ICP备2022024777号-14

返回顶部