F1 · Edge AI & Agents
CPUs in AI: A Practical RAG
導讀
在 DGX Spark 上建立 local RAG pipeline，將文件清理、chunking、embedding、FAISS indexing 與 retrieval 配置於 Grace Arm CPU，並透過 llama.cpp 使用 Blackwell GPU 執行 language-model generation。此架構以明確的 CPU／GPU workload mapping 串接 private-data processing、vector search 與回答生成。本專案的生態價值在於具體界定 CPU 在 heterogeneous AI system 中的資料處理與 orchestration 角色，並提供可理解的 end-to-end RAG baseline。
驗證範圍
- 工作流使用特定 DGX Spark、embedding／generation models、FAISS 與 sample corpus，驗證從文件處理到 retrieved-context generation 的完整路徑；未提供通用 CPU／GPU performance comparison。
- 此 workload mapping 不必然適用所有 RAG systems；retrieval-quality evaluation、資料更新、access control、observability、concurrency、high availability 與 production serving 仍未涵蓋。