AI Price MemoryAI Price Memory
关注清单申请收录

按品牌查看报价

OpenAIClaudeGeminiGrokX
返回技能与实验室
经验博文

「检索」这门隐形开销：NVIDIA 今天放出 5 款开源检索模型，Agent 的账单能砍 14%

RAG 最不被疼爱的一环，终于有了像样的开源新选项

原作者: AI Price Memory
5 次浏览
0 次复制
适用模型: Nemotron-3.5-Embed-8B / Nemotron-3.5-Rerank-8B / Nemotron-3.5-Parse

今天 NVIDIA 往 Hugging Face 上放了一批新模型，名字叫 Nemotron 3.5 Retriever。一共五个，一次把 RAG 流水线里最不显眼的三个环节配齐了：embedding、rerank、文档解析。开源，可商用。

为什么值得看？NVIDIA 在公告里把话说得很直白：检索质量差，Agent 会反复搜索、反复读文档，多烧掉的推理 token 全是你的钱。这话不新鲜，但敢把"检索"和"账单"直接挂钩的厂商公告不多。按它自家的实验数字，加了 rerank 之后，单个 query 的 Agent 推理 token 花费能降大概 14%。

先说清楚：下面所有跑分和降本数字都来自 NVIDIA 官方公告，还没有第三方独立验证。你可以当作厂商数据看，但方向是对的，检索确实是 Agent 成本里最被低估的一块。

我自己的判断是，这批模型真正的目标用户，是已经在生产环境跑 RAG 和 Agent、每个月为推理 token 付钱的团队。embedding 和 rerank 的 API 调用本身很便宜，贵的是下游大模型被迫多读的上下文。把检索这环做好，等于给整个 Agent 流水线装了个节流阀。

上图是 NVIDIA 公告里的 Figure 1：横轴是每个任务消耗的 Agent 推理 token，纵轴是任务成功率。加了 rerank 的配置（深色点）在差不多的 token 开销下成功率更高，或者说达到同样成功率花的 token 更少。

今天到底发布了什么

五个模型，四个做检索，一个做文档解析：

模型干什么的适合谁
Nemotron-3.5-Embed-8B-BF16文本加文档图像的向量检索，83.8 亿参数，4096 维向量，32768 上下文要质量的搜索场景，文本和图文混排文档一起查
Nemotron-3.5-Embed-1B-BF168B 蒸馏下来的小版本，多模态检索能力基本保留索引量和查询量大、但机器预算有限的团队
Nemotron-3.5-Embed-1B-NVFP41B 的量化版，文本和图像编码器都压成 NVFP4GB200 一类硬件上跑高吞吐索引
Nemotron-3.5-Rerank-8B-BF16cross-encoder，对 query 和候选文档逐对打分重排RAG 和 Agent 工作流里挑证据的第二阶段
Nemotron-3.5-Parse63.1 亿参数，把文档图片转成 Markdown、HTML 表格和结构化块PDF、扫描件这类"像素文档"的预处理

有个细节挺实在：embedding 模型的语言部分在训练全程冻结，所以纯文本向量和上一代 Nemotron 3 Embed 保持一致。你手里如果已经有旧向量索引，升级不用重建，这省的是真金白银的算力。

8B 的语言底子来自 Mistral 的 Ministral-3-8B-Instruct，1B 则是从 8B 蒸馏下来的，蒸馏用了余弦加均方误差的混合损失去对齐学生和老师的向量。许可证是 Linux 基金会的 OpenMDW 1.1，允许微调、再分发和商用，企业法务看得懂的那种。权重已经上了 Hugging Face，NVIDIA 还给了 Transformers、Sentence Transformers 和 vLLM 的示例，基本等于开箱即用。

这也不是 NVIDIA 第一次做检索模型。上一代 Nemotron 3 Embed 是纯文本的，这次 3.5 直接把文档图像吃进来了：表格、图表、信息图、数据表、示意图，带着版式信息一起向量化。以前的做法是先 OCR 转文字再检索，图表里的趋势、表格的行列关系经常在转换里丢掉。这次是模型直接"看"页面，检索的时候图文混排一起算分。

为什么这事跟你的账单有关

RAG 的账单一般有两笔：检索本身花不了几个钱，真正贵的是大模型反复读文档、反复推理。检索召回一堆不相关的东西，Agent 就得多跑几轮，多跑几轮就多烧 token。NVIDIA 公告里举的例子很典型：问"下个季度哪些产品可能缺货"，Agent 得同时看需求预测的图表、库存表、供应商交付周期的报告，证据找不全就只能一轮一轮加搜。

这次发布里，我最在意的数字是这组成本数字：加了 8B rerank，单 query 的 Agent 推理 token 花费降约 14%；配 1B embedding 的版本降约 13%。同样预算下，rerank 还比 Qwen3-VL-Reranker-8B 的 nDCG@10 高约 0.9 个点。rerank 这一步花的小钱，帮你在大模型推理上省了大钱。

算笔粗账就明白了。假设你的 Agent 平均每个任务要烧 20 万 token 上下文，按主流模型每百万 token 输入几美元算，一个任务几毛到几美元。检索拉胯导致多跑两三轮搜索，token 直接翻倍。rerank 模型的推理成本跟大模型比可以忽略不计，14% 的 token 节省在规模化之后是实打实的预算。这也是 NVIDIA 敢在公告里直接谈钱的原因：它卖的就是"帮你把推理账单压下来"的故事。

另外两个部署数字也值得记：1B 的 NVFP4 版在 GB200 上吞吐比 BF16 版高 27.1%，从每秒 101.3 篇文档提到 128.8 篇，精度保留了 99.85%；NVIDIA NIM 在 RTX PRO 6000 Blackwell 上跑 embedding，每秒 6031 个查询请求，大约是 vLLM 同配置的 2.9 倍。这些都是厂商自测，但至少说明这批模型从发布第一天就奔着生产部署去，姿态挺实在。

跑分先看，但别全信

NVIDIA 报的成绩单：

评测成绩对比
ViDoRe v3.1（图文检索）Embed 8B BF16 拿 61.17 nDCG@10，dense 检索第一比上代 Llama Nemotron Embed VL 1B 高 8.94 个点
ViDoRe v3.1 蒸馏保持率Embed 1B BF16 拿 58.38保留了 8B 老师的 95.4%
MIRACL Vision（18 语言视觉检索）Embed 8B 拿 72.6比 Qwen3-VL-Embedding-8B 高 4.3 个点
ViDoRe v3.1 rerank 榜Rerank 8B BF16 拿 60.49比 Qwen3-VL-Reranker-8B 的 59.17 高

上图是公告里的 Figure 2，ViDoRe v3.1 榜单截图，Embed 8B BF16 排在 dense 检索第一。

文本检索覆盖 34 个语言，视觉检索在 MIRACL Vision 的 18 个语言上测过，KoViDoRe 韩语基准也测了，两个版本都超过了 Qwen 的基线。中文用户可以留意：34 语言的文本检索评测里一般包含中文，公告没单独列中文分数，等 MTEB 这类第三方榜单更新再看更准。

我个人的看法：embedding 榜单这两年卷得厉害，第一名换来换去，单看名次意义有限。真正值得盯的是两个东西，一是这批模型对"文档图像"（表格、图表、信息图、数据表、示意图）的原生支持，不用先 OCR 再检索，少了一层信息损失；二是 NVIDIA 这次连微调配方一起开源了，在自家图表数据集上微调一轮，1B 模型 nDCG@10 相对涨 18%。企业自己的文档术语怪，通用模型水土不服是常事，有现成配方能自己调，这比榜单数字实用。

上手要多少钱、要多少机器

权重免费，许可证允许商用，这是确定的。成本主要看你怎么跑：

Python
# NVIDIA 给了 Transformers / Sentence Transformers / vLLM 示例
# 下面是 sentence-transformers 的典型用法（以官方模型卡为准）
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("nvidia/Nemotron-3.5-Embed-8B-BF16", trust_remote_code=True)
docs = ["Q3 库存周转表……", "供应商交付周期说明……"]
query = "下个季度哪些产品可能缺货？"

doc_vecs = model.encode(docs, convert_to_tensor=True)
q_vec = model.encode([query], convert_to_tensor=True)
# 余弦相似度取 top-k，再丢给 rerank 做第二阶段精排

几个实在的建议：文档量不大、追求质量，直接上 8B BF16；索引已经到百万级文档，先试 1B BF16，精度损失很小（95.4% 保持率）；手里有 GB200 或者 Blackwell 卡且 QPS 压力大，再考虑 NVFP4。Parse 那个 631M 的小模型适合放在流水线最前面，专门啃扫描版 PDF 和图片型文档，输出结构化内容再进索引。

上图是公告里的 Figure 6：精度和吞吐的权衡曲线。NVFP4 的 1B 版本在右上角区域，意思是精度几乎没掉，吞吐上去了。

顺带一提，NVIDIA 同一天还扩了别的产品线，Kumo（结构化业务数据的预测模型）、Cosmos 3.5、BioNeMo 这些，但那是另一篇故事了，今天先把检索这条线讲清楚。

跟今天早上的 DeepInfer 是什么关系

今天早上我们发过一篇 DeepSeek 开源 DeepInfer 推理引擎的文章，讲的是推理侧怎么把算力成本打下来。晚上的这篇是同一枚硬币的另一面：DeepInfer 解决的是"模型跑起来有多贵"，Nemotron Retriever 解决的是"Agent 要跑多少轮"。一个压单价，一个压用量，两边都压住了，RAG 应用的账单才真正下来。这周开源社区的风向很明显，大家不再只卷模型本身，开始卷模型周围一整套省钱的基础设施了。

一句话总结

RAG 流水线里最不被疼爱的一环，终于有了像样的开源新选项；省钱的逻辑也讲通了：检索准一度，Agent 少烧一轮，大模型的账单直接变薄。

来源：

  • NVIDIA 官方公告（Hugging Face 博客，2026-10-21）：https://huggingface.co/blog/nvidia/nemotron-retriever-world-class-agentic-retrieval
  • Unite.AI 报道：https://www.unite.ai/nvidia-debuts-open-nemotron-3-5-models-for-embedding-reranking-parsing/
  • Daily AI Brief 报道：https://dailyaibrief.com/news/nvidia-releases-nemotron-3-5-retriever-models-curSnNOq
  • AI Affairs 报道（同日整体产品线扩张）：https://www.aiaffairs.com/technology/nvidia-open-models-nemotron-cosmos-bionemo-ising/

注：本文跑分与降本数字均引自 NVIDIA 官方公告的自测结果，尚未有第三方独立验证；模型权重与许可证信息以 Hugging Face 模型卡为准。