Neon 开源 4B 模型：文档搜索能力超 GPT-5.6 Sol，成本仅为 1/100

IT之家 8 月 7 日消息，Neon 昨日（8 月 6 日）发布博文，宣布携手 Castform 公司，披露一套面向检索模型的训练方案。IT之家注：Neon 是一款完全托管的无服务器（Serverless）PostgreSQL 数据库。它分离计算与存储，支持自动扩展、按需缩容至零以及类似 Git 的数据库分支功能，非常适合现代云原生应用和 AI 智能体。而 Castform 主要提供面向企业和开发者的 AI 语音智能体与模型训练平台。它通过高度拟真的语音交互和自动化工作流，帮助企业处理日常通话、销售跟进及客户支持。博文指出一个好的 AI 智能体，需要具备以下 2 种能力：一是通过工具找到正确的上下文数据；二是路由判断该搜索使用什么模型。因此 Neon 团队携手 Castform 公司使用强化学习，后训练 1 个 4B 参数开源模型。在搜索任务中，该模型的准确率与 OpenAI 的 GPT-5.6 Sol 相当、甚至更高，而成本约为后者的 1/100。Neon 团队指出在文档搜索方面，目前主流做法是嵌入式搜索（embedded search），通常把文档转换为数值化数据，再查找相似内容。而伴随着 AI 智能体的普及，搜索流程开始转向智能体式搜索。在这类系统中，AI 模型会把大型问题拆成多个小问题，自主决定搜索查询，查看搜索结果，并基于结果发起下一次搜索，直到收集到所需信息。Neon 表示，智能体式搜索更适合处理复杂问题，但每次搜索都需要调用高性能模型，因此会增加耗时和成本。按 Neon 给出的典型请求口径，使用 GPT-5.6 Sol 的一次搜索请求耗时超过 10 秒，成本约为 $0.03。Castform 选择训练相对较小的开源模型，让模型学习如何从特定数据中找到所需信息。Neon 负责提供文档存储位置和搜索功能，Castform 负责训练模型判断“该搜索什么”。训练流程中，模型会尝试完成任务，系统会给结果打分，并把评分结果纳入后续试验。评估维度包括：是否找到正确文档、是否引用合适段落、最终答案是否正确。在 Neon 的验证中，经 Castform 后训练的模型平均评估分为 1.447，超过 GPT-5.6 Sol 的 1.369，也高于作为对照的 GPT-5.4 的 1.377，刷新该验证中的最高纪录。成本方面，后训练模型的单次推理成本为 0.000929 美元（现汇率约合 0.0063 元人民币）；GPT-5.6 Sol 的单次推理成本为 0.087338 美元（现汇率约合 0.59 元人民币）。