CodonRoBERTa在mRNA優化中擊敗ModernBERT
openmed 推出了 codonroberta-large-v2，這是一種用於 mrna 優化的 transformer，性能優於 modernbert。該模型在 25 個物種上訓練，耗時 55 gpu 小時，成本僅 165 美元，實現了 4.10 的困惑度和 0.40 的斯皮爾曼 cai 相關性。
OpenMed 發布了一個端到端的蛋白質 AI 流程，採用了 CodonRoBERTa-large-v2，一種針對 mRNA 序列優化的新變換器架構。該模型實現了 4.10 的困惑度和 0.40 的斯皮爾曼 CAI 相關性，超越了 ModernBERT 處理 64 個 token 的密碼子字母表的統計特性的能力。團隊在 25 個物種中擴大了訓練，總成本為 165 美元，僅需 55 個 GPU 小時。