在一天內構建領域特定的嵌入模型
nvidia和hugging face發布了一個配方，允許在單gpu上不到一天的時間內針對領域文檔微調嵌入模型。該管道使用llm生成合成qa對和硬負樣本挖掘，消除了人工標註。在jira數據上的內部測試使recall@60提高了26%，nvidia文檔數據則將recall@10提高了10%以上。
NVIDIA 和 Hugging Face 發布了一份指南，教導如何在 24 小時內使用單顆 GPU 訓練特定領域的嵌入模型（embedding models）。該流程利用 NeMo Data Designer 從領域文件中生成合成的問答對，利用大型語言模型（LLMs），消除了手動標記的需求。它還實施了硬負採礦（hard negative mining），以提高模型在困難檢索任務上的精度。在實際應用中，Atlassian 在 JIRA 資料集上應用該模型後，Recall@60 提高了 26%；而 NVIDIA 的文檔測試顯示，Recall@10 和 NDCG@10 均提高了 10%以上。該教程對開源模型 Llama-Nemotron-Embed-1B-v2 進行了微調。