F2 · Edge AI & Agents
llama.cpp on DGX Spark
導讀
在 NVIDIA DGX Spark 的 Grace–Blackwell 平台上分別建置 CUDA 與 CPU-only llama.cpp，使用量化 GGUF 模型驗證 GPU inference 與 Arm CPU execution paths。工作流透過 runtime output 與指令分析觀察 Grace CPU 的 Armv9 SIMD 使用情況，確認指定 workload 主要使用 Neon 而未呈現 SVE／SVE2 activity。這套雙後端流程串接 llama.cpp、開源 GGUF 生態與 DGX Spark heterogeneous platform，為開發者提供檢查 backend portability 與 CPU execution behavior 的基線。
驗證範圍
- 定位為單一 DGX Spark 上的 llama.cpp backend reference workflow，驗證 CUDA 與 CPU-only builds 可執行指定量化模型，並觀察 CPU workload 的 SIMD instruction activity。
- 硬軟體依賴包括 Grace Blackwell GB10、相符的 NVIDIA software stack、llama.cpp 版本、CUDA／CPU build configuration、量化 GGUF model 與一致的 runtime parameters。
- 範圍聚焦於 backend execution 與指令活動觀察；Neon／SVE 結果只適用於指定 workload，不構成 CPU–GPU hybrid benchmark，亦未涵蓋其他 kernels、模型、功耗、thermal behavior 或 production serving。
原文出處: https://learn.arm.com/learning-paths/laptops-and-desktops/dgx_spark_llamacpp/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。