2026년 11월 23일 월요일
aipado
AI가 스미는 모든 곳, 종합 AI 미디어
AI 테크

METR 시간 지평 그래프 갱신, AI가 설계한 평가 중 연구에 쓸 만한 것 0건

aipado 편집국 2026-11-22 5분 분량
METR 시간 지평 그래프 갱신, AI가 설계한 평가 중 연구에 쓸 만한 것 0건

AI가 직접 설계한 평가 가운데 연구에 쓸 만하다는 판정을 받은 것은 하나도 없었습니다. AI 평가 비영리단체 METR가 널리 인용되던 '시간 지평' 그래프에 판단이 드는 새 과제를 더해 갱신하면서 나온 결과입니다. 자동으로 채점되는 일이 빠르게 발전한다고 해서 판단이 드는 일까지 그대로 따라오지는 않는다는 점이 이번 갱신의 핵심입니다.

AI가 짠 평가, 합격작은 0건

이번에 METR가 새로 넣은 과제 가운데 하나는 꽤 까다롭습니다. METR가 실제 연구에 쓸 AI 평가를 모델이 직접 설계하고, METR 직원이 그 결과를 채점하는 방식이죠. AI가 만든 평가 중 직원들이 연구에 쓸 만하다고 본 것은 하나도 없었습니다. 같은 보고서에서 모델들은 코딩과 최적화 과제에서는 숙련된 사람과 대개 비슷하거나 앞섰습니다. 코드를 잘 짜는 능력과 무엇을 시험할지 고르는 판단력이 따로 움직인다는 뜻입니다.

철학 논증을 채점하게 한 과제에서도 모델은 사람에 못 미쳤습니다. 같은 방향의 신호는 다른 곳에서도 나왔습니다. 오픈AI는 자사 블로그에서 자기 회사 모델이 직원들이 맡긴 실제 업무에서는 METR의 원래 과제만큼 잘 해내지 못한다고 밝혔습니다. 오픈AI가 자사 모델을 두고 스스로 내놓은 평가입니다. UC 버클리 임용을 앞둔 컴퓨터과학자 사이아시 카푸어 연구팀도 지난 8월 프리프린트에서 AI가 아직 사람의 컴퓨터과학 연구를 혼자 재현하지 못한다고 보고했습니다.

앤트로픽 수학자가 클로드로 리만 가설 증명 주장, 25만 쪽 검증은 이제 시작
함께 읽을 글
앤트로픽 수학자가 클로드로 리만 가설 증명 주장, 25만 쪽 검증은 이제 시작

1년 새 '분명히 아래'에서 '간신히 위'로

그렇다고 제자리걸음은 아닙니다. METR는 평가 설계 결과를 여러 단계로 나눠 매겼습니다. 오퍼스 5.5 같은 최신 모델은 '간신히 기준선 위'라는 칸에 자주 들었습니다. 불과 1년 전에는 모든 모델이 '분명히 기준선 아래'였죠. 다만 기준선을 간신히 넘었다는 말이 연구에 바로 쓸 수 있다는 뜻은 아닙니다. 아직 쓸 수는 없지만 가능성은 보인다는 평가. 이번 보고서는 오퍼스 5.5와 GPT-6 아스트라까지 공개된 모델을 대상으로 했습니다.

과제 몇 개로 추세를 말하기는 이르다

판단형 과제는 만들기도 채점하기도 어렵습니다. 그래서 이번 보고서에도 몇 개만 들어 있습니다. 보고서에는 철학 논증 과제가 연구개발 자동화와 얼마나 관련 있는지를 두고 METR 직원들 사이에서도 의견이 갈린다고 적혀 있습니다. 표본이 얇으니 지금의 개선을 앞으로의 속도로 늘려 잡기는 어렵습니다. 보스턴대의 언어학자이자 컴퓨터과학자 김나정도 관찰된 개선이 지금에 대해서는 무언가를 말해 주지만 앞으로 어떻게 이어질지는 아직 판단하기 어렵다고 말했습니다.

발표한 쪽의 관점도 함께 봐야 합니다. METR는 공개된 증거만으로는 앞으로 2년 안팎에 사람이 위험을 이해하고 대응하기 어려울 만큼 빠른 연구개발 가속을 배제할 수 없다는 입장입니다. 위험 평가를 본업으로 하는 단체의 시각입니다. 이달 초 METR가 상당 부분을 가린 채 낸 다른 보고서는 앤트로픽에서 AI가 AI 발전 속도를 두 배로 높이고 있을 수 있다고 봤습니다. 1년 걸릴 진전이 반년 만에 온다는 이야기여서, AI가 사람 손 없이 다음 모델을 설계하는 '재귀적 자기개선'에 대한 우려를 키웠죠.

4개월마다 두 배, 그 그래프가 재 온 것

원래 그래프는 사람이 과제를 푸는 데 걸린 시간을 그 과제의 난이도로 삼고, AI가 어느 길이의 과제까지 해내는지로 모델의 등급을 매겼습니다. AI가 몇 시간 동안 일한다는 뜻이 아닙니다. 사람이 그만큼 걸리는 일을 해낸다는 뜻이죠. 이 기준으로 가장 앞선 모델이 해내는 과제 길이는 4개월마다 두 배가 됐습니다. 1년이면 약 8배가 되는 속도. 이번 갱신에서도 일부 능력은 이 지수적 흐름을 이어 갔습니다.

문제는 원래 과제 대부분이 기계가 성공과 실패를 바로 가릴 수 있는 일이었다는 점입니다. 코드가 돌아가는지, 답이 맞는지를 확인하는 종류입니다. 이런 일은 여러 번 시도하게 한 뒤 성공으로 이어진 경로를 강화하는 강화학습으로 가르치기 쉽습니다. AI가 코딩과 수학에서 유독 빨리 늘어난 이유죠. 반면 새 연구 방향을 고르는 일처럼 판정이 흐리거나 오래 걸리는 일은 가르치기도 재기도 어렵습니다. 이번 갱신에서 사람이 훨씬 오래 걸리는 과제와 정답이 열린 과제를 더한 것도 이 때문입니다.

채점되는 일과 판단하는 일 사이의 간격

카푸어는 "AI 평가가 더 창의적으로 변해야 하는 지점에 와 있다"며 이번 시도를 반겼습니다. 그는 유망한 질문과 가설, 실험을 골라내는 '연구 안목'이 AI 연구개발 자동화의 큰 병목이 될 것으로 봅니다. 반대로 검증하기 쉬운 과제로 훈련한 모델이 결국 열린 과제도 해낼 것이라는 견해도 있습니다. 검증 가능한 과제에서의 발전은 아직 느려질 기미가 보이지 않습니다.

이번 결과를 업무에 비춰 보면 이렇게 나눠 생각해 볼 수 있습니다. METR가 직접 내린 결론은 아니지만, 코드나 계산처럼 맞고 틀림을 바로 확인할 수 있는 일과 무엇을 할지 고르고 결과가 쓸 만한지 따지는 일은 AI에 맡길 때 기대치를 달리 두는 편이 무난해 보입니다. 지켜볼 지점은 두 가지입니다. 하나는 '간신히 기준선 위'가 '분명히 기준선 위'로 바뀌는 시점이고, 다른 하나는 METR가 판단형 과제를 얼마나 늘려 다시 재는지입니다.

참고자료

  1. 원문MIT Technology Review, The most misunderstood graph in AI just got a major update 링크
  2. 1차 출처METR, AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure 링크
  3. 1차 출처arXiv, preprint from August 링크
#METR#시간 지평#AI 평가#앤트로픽#오픈AI#AI 연구개발