AI strength score 175가 LLM 이면의 데이터에 대해 드러내는 것
새로운 도구 'in the weights'는 웹 검색 없이 AI 모델이 특정 인물을 얼마나 강하게 기억하는지 측정하며, 점수는 0에서 996까지 분포한다. 이는 어떤 인물들이 모델 웨이트에 인코딩되어 있는지 드러내고, 소형 모델이 높은 연관성을 지닌 학습 데이터에 의존한다는 점을 부각한다.
조이 플린(Joey Flynn)과 토마스 딤슨(Thomas Dimson), 둘 다 전 오픈AI 출신, 이 '인 더 웨이트(In the Weights)'라는 검색 도구를 출시했다. 이 도구는 특정한 사람이 모델의 가중치 내에 저장되어 있는지 아니면 검색을 통해 검색되는지 탐지하기 위해 여러 LLM에 쿼리를 한다. 이 도구는 결과를 집계하여 리더보드에서 '강도 점수'를 생성하는데, 테일러 스위프와 같은 유명한 인물은 996 근처에 랭크되는 반면, 평균적인 저널리스트는 175의 점수를 얻을 수 있다. 제작진은 메타의 라마(LLaMA)와 같은 작은 모델은 더 엄격한 용량 제약을 가지고 있어서 훈련 중에 고도로 관련 있다고 여겨지는 개인들만 저장한다고 언급했다. 이 유틸리티는 기초 모델 훈련 데이터에 누가 포함되어 있는지에 대한 투명성을 제공하고 다양한 모델 아키텍처 전반에 걸쳐 다른 기억 용량을 보여준다.