Anshul Kundaje· anshulkundaje·· 2 小时前精选AI 评分43
Kundaje 评 Carbon-X:开源 DNA 模型之外,基准评测问题仍在
Nice model and great that it's open source. But we continue to have very serious problems with folks lifting completely flawed, useless &...
AI 导读
Anshul Kundaje 回应 HuggingFaceBio 发布的开源 DNA 模型 Carbon-X,认可模型本身,但指出有人直接搬用文献中完全有缺陷、无用且无意义的 DNA 与变异基准做评测比较并据此下结论,这一问题依然严重。被引内容称 Carbon-X 是在 DNA 与文本上中等训练的 14B 模型,宣称超过所有开源语言模型、在成本低 1000 倍的情况下与 GPT-6.1 Sol 相当,可用于询问序列、突变效应或生成新 DNA。
阅读原文
来源:Anshul Kundaje · x.com
推荐理由
在开源 DNA 模型发布之际,作者指出领域内直接沿用文献中有缺陷的 DNA 与变异基准来比较和宣称性能的问题。