Mar 24, 2025

Play with ROCm, PyTorch, Ollama on Ubuntu 24.04 and 780m

最近买了个 8845HS 的小主机，但因为 780m 的显卡并没有被 ROCm 列为官方支持的卡，所以目前需要很多 trick 来运行

最主要的就是通过 HSA_OVERRIDE_GFX_VERSION 来假装成受支持的显卡。虽然我用的都是 HSA_OVERRIDE_GFX_VERSION=11.0.2 但实际上因 ROCm 版本的不同，到底哪个能在你的显卡上工作需要自己测试下。

你可以通过 AMD 官网的 Supported GPUs 中的 Architecture 和 LLVM target 来查找，比如 gfx1101，那就是 HSA_OVERRIDE_GFX_VERSION=11.0.1

除此之外，ls /opt/rocm/lib/rocblas/library 命令也会列出一些没显示在官网上的支持，比如 11.0.2

ROCm

ROCm 是 AMD 显卡玩机器学习的基础组件，现在安装起来很简单，amdgpu-install 这个包就可以很好的解决

sudo apt install amdgpu-install
amdgpu-install --usecase=rocm

简而言之，直接通过这个命令就可以运行

HSA_OVERRIDE_GFX_VERSION=11.0.2 ollama serve

目前 Ollama 对 igpu 的显存支持有些问题，不能够将所有共享内存计算在内，解决方案可以参考这里 AMD integrated graphic on linux kernel 6.9.9+, GTT memory, loading freeze fix #6282

我的主要场景并非用 8845HS 来跑 LLM，所以就跑个简单的测试下吧，gemma3:12b 这个量化模型的速度大概是 8.44 tokens/s 可以说堪用

使用 ollama ps命令可以查看模型是分配在哪个设备上运行的。

PyTorch 直接通过AMD 官网提供的命令来安装即可，需要注意的是我使用 PyTorch 官网的命令安装稳定版并不能成功运行，AMD 官网给出的 nightly 版本可以。

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.2.4/

同样，需要使用 HSA_OVERRIDE_GFX_VERSION=11.0.2 来运行，可以创建一个 .env 文件在 ipynb 里动态载入，如果是 vscode 的话，.env 文件会自动加载，不需要下述步骤

pip install python-dotenv

在 ipynb 顶部加入一个 code block 每次运行一下即可

%load_ext dotenv
%dotenv

其它内容无需修改

配置完成后，如果有时候不确定有没有跑在 GPU 上，可以用 radeontop 来监控

sudo apt install radeontop

8845HS 还带了个 16 TOPS 的 NPU，不过要等到 Linux 6.14 才会合并进去，暂时还没折腾，等到时候也会测试一下再写一篇折腾的博客