Technology Integration
Important
Medium
90% Confidence
思科联合英伟达验证私有AI基础设施快速微调能力
内容摘要
思科IT与英伟达合作，基于Nemotron RAG配方在单颗H200 GPU上实现2-5小时端到端嵌入模型微调。该方案通过120B参数本地LLM生成合成数据，无需人工标注，使NDCG@1指标提升7.3个绝对点。验证了企业私有AI基础设施快速优化领域知识检索的技术路径。
核心要点
思科IT使用英伟达Nemotron RAG微调配方评估嵌入模型微调，包含合成数据生成、数据准备、对比微调、BEIR评估和ONNX模型导出五个阶段。
实验在思科AI Pod（Cisco UCS 885A系统）的单颗NVIDIA H200 143GB GPU上完成，耗时仅2-5小时。使用120B参数本地LLM生成合成数据，无需人工标注且无外部API成本。
在925份文档数据集上对英伟达10亿参数NV-EmbedQA模型微调后，NDCG@1提升7.1-7.3个绝对点（相对提升9.9%-11.1%），Recall@10最高提升6.8点（8.5%），MAP@10最高提升6.5点（9.7%）。
实验在思科AI Pod（Cisco UCS 885A系统）的单颗NVIDIA H200 143GB GPU上完成，耗时仅2-5小时。使用120B参数本地LLM生成合成数据，无需人工标注且无外部API成本。
在925份文档数据集上对英伟达10亿参数NV-EmbedQA模型微调后，NDCG@1提升7.1-7.3个绝对点（相对提升9.9%-11.1%），Recall@10最高提升6.8点（8.5%），MAP@10最高提升6.5点（9.7%）。
重要性说明
验证了企业私有化AI基础设施快速微调的技术可行性，强化思科AI Pod在企业AI部署中的价值定位，推动行业向本地化AI优化解决方案发展。...