CodonRoBERTa、mRNA最適化でModernBERTを上回る
openmedが、modernbertを上回る性能を持つmrna最適化用transformer、codonroberta-large-v2を発表しました。25種の生物種を対象に、165ドル・55 GPU時間を使って学習されたこのモデルは、perplexity 4.10とspearman cai相関0.40を達成しています。
OpenMedは、CodonRoBERTa-large-v2と呼ばれる新しいトランスフォーマーアーキテクチャを特徴とする、エンドツーエンドのタンパク質AIパイプラインをリリースした。このモデルは、64トークンのコドンアルファベットの統計的特性の処理においてModernBERTを上回り、4.10のperplexityと0.40のSpearman CAI相関を達成した。チームは、合計165ドルのコストで25種にわたってトレーニングをスケールし、わずか55 GPU時間しか必要としなかった。