PROBE基准：大模型蛋白功能注释F1仅9.3%

BMC Bioinformatics 研究团队发布 PROBE 基准，零样本测试通用大语言模型能否把蛋白功能的自然语言描述映射到 Gene Ontology（GO）术语。基准含五个物种的 1,000 个 UniProt Swiss-Prot 蛋白，仅用有实验证据的注释；10 个开源模型在五种提示格式下共产生 150,000 条预测。 结果显示能力有限：表现最好的 Mistral Large 123B 宏平均 F1 仅 9.3%，而“最频繁 5 个术语”的启发式规则超过了 10 个模型中的 4 个。团队另对 4 个闭源模型与最佳开源模型做了 50 个蛋白的初步比较，F1 为 0.081–0.127 对 0.099，团队称这提示但未证实局限不限于开源模型。 基准、评测流程及全部 150,000 条预测记录已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。