오픈AI ‘디시전스 API’ 정식 출시…입력 100만 토큰당 0.1달러, 출력은 무료

오픈AI(OpenAI)가 10월 22일 앱과 에이전트가 거의 실시간으로 판단을 내리도록 돕는 ‘디시전스 API(Decisions API)’를 정식 출시했습니다. 긴 답을 만들어 내지 않고 미리 정해 둔 답 가운데 하나를 확률과 함께 돌려주는 방식입니다. 문의 분류나 다음 행동 선택처럼 수없이 반복되는 작은 판단을 싸고 빠르게 처리하려는 개발자를 겨냥했습니다.

무슨 일인가

개발자는 질문과 허용되는 답을 정하고 맥락을 함께 넘깁니다. 입력으로는 텍스트, 이미지, JSON 형태의 구조화 데이터를 받습니다. 돌아오는 답은 세 종류입니다. 조건이 참일 확률을 0~1 사이로 주는 ‘프레디킷’, 개발자가 준 보기 중 하나를 확률·신뢰도와 함께 고르는 ‘초이스’, 채점 기준표의 등급을 확률로 가중 평균한 ‘스코어’입니다. 바탕 모델은 GPT-6 루나이고 전용 엔드포인트로 호출합니다. 베타 이후 음성 모델 GPT-라이브 연동, 프롬프트 캐싱, 미국·EU 지역 처리가 더해졌고, 요청당 질문 수 한도는 400개로 두 배가 됐습니다.

고객사가 밝힌 숫자

오픈AI는 고객 사례로 속도를 강조했습니다. 시에라(Sierra)는 p95 응답 시간이 280밀리초 미만이고, 이전 방식보다 약 3배 빠르며 호출당 비용이 90% 낮다고 했습니다. 데이터독(Datadog)은 다른 프런티어 모델보다 p95 기준 40배 빠르면서 정확도는 비슷했다고 밝혔습니다. 언어 학습 앱 스픽(Speak)은 다음 동작까지 걸리는 시간이 1.4초에서 0.13초로 줄었다고 했습니다. 박스(Box)는 보험 증명서 30건에서 경로 선택이 약 5배 빨라지면서 정확도는 응답 API와 같았다고 했고, 램프(Ramp)는 AI 비용을 실제 업무에 배분하는 작업이 4배 빨라지고 30% 싸졌다고 했습니다. 모두 오픈AI 발표문에 실린 고객 측 수치입니다. 오픈AI도 사내에서 금융 거래 분류, 언론 보도의 핵심 메시지 분류 등에 이 API를 쓰고 있다고 밝혔습니다.

왜 중요한가

에이전트가 일하는 시간의 상당 부분은 긴 글을 쓰는 데가 아니라 ‘이 문의는 환불인가’, ‘다음에 어떤 도구를 부를까’ 같은 짧은 판단에 쓰입니다. 지금까지는 이런 판단에도 범용 대화 모델에 답을 쓰게 하고 그 글을 다시 해석해야 했습니다. 디시전스 API는 답의 형태를 미리 묶어 두고 확률로 돌려주므로 출력 토큰 요금이 없고, 응답을 해석하는 코드도 단순해집니다. 확률값이 나오니 ‘확신이 낮으면 사람에게 넘긴다’ 같은 규칙을 짜기도 쉽습니다. 음성 쪽 쓰임새도 있습니다. GPT-라이브 대화 도중 아바타의 표정을 고르는 식의 판단을 맡기면 결과가 이벤트로 바로 전달됩니다. 덕분에 대화를 끊지 않고도 화면이나 동작을 바꾸는 서비스를 만들 수 있습니다.

남은 쟁점

바탕 모델이 GPT-6 루나 하나뿐이라 어려운 판단에는 맞지 않을 수 있습니다. 돌려주는 확률이 실제 정답률과 얼마나 맞는지도 공개 자료로는 확인되지 않습니다. 고객사 수치는 저마다 비교 대상이 달라 서로 견주기 어렵습니다.