CodonRoBERTa在mRNA优化中击败ModernBERT
openmed 推出了 codonroberta-large-v2，这是一种用于 mrna 优化的 transformer，性能优于 modernbert。该模型在 25 个物种上训练，耗时 55 gpu 小时，成本仅 165 美元，实现了 4.10 的困惑度和 0.40 的斯皮尔曼 cai 相关性。
OpenMed 发布了一个端到端的蛋白质 AI 管道，特点是 CodonRoBERTa-large-v2，一种针对 mRNA 序列优化的新型变换器架构。该模型实现了 4.10 的困惑度和 0.40 的斯皮尔曼 CAI 相关性，超过了 ModernBERT 处理 64-token 密码子字母的统计特性的能力。团队在 25 个物种上扩展训练，总成本为 165 美元，仅需 55 GPU 小时。