F2 · Edge AI & Agents
Multimodal VLM with MNN on Armv9
導讀
在 Radxa Orion O6 的 Armv9 CPU 上原生建置啟用 KleidiAI 最佳化的 MNN，並載入預先封裝的 Qwen2.5-Omni-7B-MNN 模型，驗證本機文字、影像與音訊推論。工作流將貨架影像與語音補貨指令合併為單次多模態推論，產生包含覆蓋率、補貨區域、數量、期限與替代政策的結構化 ticket。此 CPU-first 策略串接可攜式 MNN runtime、Armv9 最佳化與實際邊緣應用，為開發者提供不依賴 GPU／NPU 的本機多模態開發基線。
驗證範圍
- 定位為單一 Radxa Orion O6 上的 CPU-only reference workflow，使用預先封裝的 Qwen2.5-Omni MNN 模型與本機素材，驗證多模態推論與結構化產出。
- 硬軟體依賴包括 Armv9 Linux、原生 MNN／KleidiAI build、約 15 GB 模型資產與至少 32 GB 可用儲存空間；實際輸出內容與品質仍受模型、prompt 及輸入素材影響。
- 範圍聚焦於 runtime 建置與 application-level 多模態驗證；未涵蓋模型 export、格式轉換、量化、GPU／NPU 異質調度、跨平台 benchmarking 或 production integration。
原文出處: https://learn.arm.com/learning-paths/cross-platform/multimodel_mnn_v9/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。