F1 · Edge AI & Agents
DGX Spark RAG Pipeline
導讀
在 NVIDIA DGX Spark 上使用 e5-base-v2、FAISS、Llama 3.1 8B 與 llama.cpp REST server，建立從文件清理、分段、embedding、索引、檢索到生成的本機 RAG pipeline。工作流將文件處理與向量檢索配置於 Grace CPU，並使用 Blackwell GPU 執行 LLM generation，產生以樣例 corpus 為依據的回答。這套 reference implementation 串接 Hugging Face models、開源向量搜尋與 Grace–Blackwell unified-memory platform，為私有資料 RAG 提供可觀察的端到端開發基線。
驗證範圍
- 定位為單一 DGX Spark 上的 local RAG reference workflow，使用指定 corpus、embedding model、FAISS index 與 Llama 3.1 8B，驗證 retrieval-to-generation path。
- 硬軟體依賴包括 Grace Blackwell GB10、可用的 llama.cpp REST server、e5-base-v2、FAISS、模型與文件資產，以及一致的 chunking、indexing 和 retrieval parameters。
- 範圍聚焦於端到端功能整合；未涵蓋 retrieval quality evaluation、資料權限、prompt injection 防護、增量更新、observability、HA、長時間服務可靠性或 production RAG operations。
原文出處: https://learn.arm.com/learning-paths/laptops-and-desktops/dgx_spark_rag/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。