F1 · Edge AI & Agents
ERNIE MoE on Armv9
導讀
在 Radxa Orion O6 的 Armv9 CPU 上以 llama.cpp 部署 ERNIE-4.5 MoE，分別驗證一般與 Thinking 模型輸出，並觀察 token-level expert routing。工作流比較 baseline 與啟用 Armv9 instruction features 的 build，透過 pp512、tg128 與合併測試呈現 prompt processing 和 token generation 的執行差異。這套流程串接開源 MoE 模型、llama.cpp 與 Armv9 optimization，為開發者提供同時檢查模型行為與平台執行特徵的評估基線。
驗證範圍
- 定位為單一 Radxa Orion O6 上的 ERNIE-4.5 MoE deployment and evaluation workflow，驗證模型輸出、expert routing 與指定 benchmark parameters 下的執行結果。
- 硬軟體依賴包括 Armv9 Linux、指定 llama.cpp 與 compiler configuration、ERNIE-4.5 model assets、足夠記憶體，以及相同的 build flags、context 與 benchmark parameters。
- 範圍聚焦於指定裝置、模型與 pp512／tg128 測試；頁面中的效能提升不適用於所有 Armv9 或 MoE workloads，亦未涵蓋模型品質、功耗、thermal behavior、長時間 serving 或 production deployment。
原文出處: https://learn.arm.com/learning-paths/cross-platform/ernie_moe_v9/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。