搜索与 AI
候选召回是什么?
Candidate Retrieval
候选召回是从较大的内容或工具集合中,取回可能相关项目的阶段。正确工具必须先进入模型可用的候选范围,才有机会被选用;被召回、被首选与执行成功,分属不同观测。
召回不是最后选择
系统可能使用 BM25 字面检索、Embedding 语义检索或混合方法找候选,再进行重排序或交给模型选择。也有应用直接加载完整工具清单,没有独立的检索阶段。
因此,“没有调用”不能直接解读成模型比较后不喜欢某个工具。应先保存实际加载给模型的候选清单,再检查选择。
Recall@5 的分母要先定义
一般信息检索中的召回率,是取回的相关项目占全部相关项目的比例。Recall@5 只检查前五个结果。
若每道题只有一个指定目标工具,便可逐题记录它是否进入前五名,再统计命中题数占全部题数的比例。如果一道题有多个相关工具,或分母改用全部相关文档,就必须另行交代,不能混成同一指标。
参考资料
最近查核: