코볼 이식 정확도 5%에서 87%로, 오픈AI ‘소수 언어’ 코딩 성적 공개

오픈AI(OpenAI)가 10월 19일 코볼(COBOL)·포트란(Fortran)·비주얼 베이직처럼 공개된 코드가 적은 ‘저자원’ 프로그래밍 언어에서 최신 모델의 코딩 능력이 크게 나아졌다는 평가 결과를 내놨습니다. 평가는 두 가지로, 20개 언어로 데이터베이스 엔진을 직접 만들게 하는 새 벤치마크와 코볼 프로그램을 다른 언어로 옮기는 평가입니다. 금융·공공 시스템에 남은 오래된 코드를 AI로 옮기는 일이 현실적인 선택지인지 가늠해 볼 수 있는 결과입니다.

무슨 일인가

오픈AI가 새로 만든 평가는 ‘MultiLangBench’입니다. 모델에게 지정한 언어로 SQLite와 호환되는 데이터베이스 엔진을 만들게 한 뒤, 결과로 나온 데이터베이스 파일을 원본 SQLite 구현과 비교해 채점합니다. 테스트는 SQLite의 기존 테스트 묶음을 고쳐 썼습니다. 대상 언어는 C, 파이썬, 러스트 같은 주류 언어부터 코볼, 포트란, OCaml, 커먼 리스프, 린(Lean), 지그(Zig)까지 20개입니다. 오픈AI는 이 평가 환경과 테스트, 언어별 결과를 깃허브에 공개했습니다.

세부 내용

최대 추론 강도에서 GPT-6 아스트라(Astra)의 평균 테스트 통과율은 87.4%였습니다. 이전 모델 GPT-5.6 솔(Sol)은 26.8%였습니다. 언어별로는 코볼이 10.9%에서 72.1%로, OCaml이 25.6%에서 85.8%로, 포트란이 21.4%에서 83.5%로, 비주얼 베이직이 27.5%에서 89.4%로 올랐습니다. 아스트라는 20개 언어 중 19개에서 83%를 넘었고, 가장 어려운 언어는 여전히 코볼이었습니다. 값싼 모델인 GPT-6 루나(Luna)도 평균 40.3%로 GPT-5.6 솔을 앞섰습니다. 샘플당 추정 API 비용은 0.77달러로 GPT-5.6 솔(3.48달러)보다 약 78% 낮다는 것이 회사 설명입니다(자체 발표 기준). 다만 루나의 코볼 점수는 17.1%에 머물러, 작은 모델에서는 소수 언어의 벽이 여전히 높았습니다.

코볼 이식 평가

두 번째 평가는 코볼 프로그램을 C++, 자바, 코틀린, 파이썬, 러스트로 옮기는 과제입니다. 숨겨진 테스트가 바깥으로 드러나는 출력이 원본과 바이트 단위까지 같은지 확인하고, 테스트를 모두 통과해야 성공으로 칩니다. GPT-6.1 솔은 낮은 추론 강도에서 86.6%를 맞혀 GPT-5.6 솔(5.4%)을 크게 앞섰고, 비용은 39% 적게 들었습니다. 추론 강도를 높이면 정확도가 97.9%까지 올라 회사는 평가가 거의 포화됐다고 표현했습니다.

왜 중요한가

코볼과 포트란은 금융·공공·과학 계산 분야의 오래된 시스템에서 여전히 돌아갑니다. 인터넷에 공개된 코드가 적어 AI 모델이 약했던 영역입니다. 이번 숫자가 실제 업무에서도 재현된다면, 다룰 줄 아는 개발자가 줄어든 레거시 시스템을 옮기는 비용이 크게 내려갈 수 있습니다. 다만 두 평가 모두 오픈AI가 직접 설계하고 측정했습니다. 평가 세트가 공개된 만큼 다른 회사 모델과의 비교와 외부 재현 결과가 나와야 일반화할 수 있습니다. 바이트 단위 일치를 요구하는 엄격한 채점이라도, 실제 이식 프로젝트에서 문제가 되는 데이터 이전이나 운영 환경 차이까지 재지는 않습니다.