CodonRoBERTa, mRNA 최적화에서 ModernBERT 능가
openmed가 modernbert를 능가하는 mrna 최적화용 transformer인 codonroberta-large-v2를 공개했습니다. 55 gpu-hours를 사용해 $165의 비용으로 25개 종에 걸쳐 학습된 이 모델은 4.10의 perplexity와 0.40의 spearman cai 상관관계를 달성했습니다.
OpenMed는 코돈로버타-large-v2(CodonRoBERTa-large-v2)라는 새로운 트랜스포머 아키텍처를 특징으로 하는 종단 간 단백질 AI 파이프 라인을 출시했습니다. 이 모델은 4.10의 퍼플렉서티와 0.40의 스피어맨 CAI 상관 관계를 달성하여 64 토큰 코돈 알파벳의 통계적 특성을 처리하는 ModernBERT를 능가했습니다. 팀은 총 165달러의 비용으로 25 종에 걸쳐 훈련을 확장했으며 55 GPU 시간 만이 소요되었습니다.