跳到正文
system online · 小原酱

小原blog

万物可爱QwQ。小原酱的个人博客:服务器运维、模型训练与部署、网站折腾记录,以及一些生活随笔。

  • 33篇文章
  • 96个标签
  • 1384天运行

把 Qwen3-Next-80B 搬上 48G 显存:一场从 MUSA 到 CUDA 的迁徙

记录一次把 Qwen3-Next-80B-A3B-Thinking 跑起来的全过程:先是拿到了摩尔线程 S4000(48G 显存 + 100G 内存)以为万事大吉,结果被宿主机驱动 2.7.0 卡死;换 NVIDIA 4090 后又掉进 vllm 0.27 + torch 2.13 的兼容连环坑;最后用 CPU offload 6G 才把 45G 的 4-bit 权重塞进 48G 显存。服务起来了,但输出是乱码——故事还没完。