오픈AI GPT-5.6 'Sol', 시각 인식은 진일보했지만 비용은 숙제

오픈AI가 지난주 공개한 GPT-5.6 계열은 Sol, Terra, Luna 세 가지 모델로 구성된다. 공개 방송에서 오픈AI는 데스크톱 애플리케이션을 직접 조작하는 '컴퓨터 사용(computer use)' 기능과 UI 에이전트, 3D 시각화를 전면에 내세웠다. 이런 기능은 결국 화면을 정확히 읽어내는 시각 이해 능력에 의존한다. 컴퓨터 비전 플랫폼 로보플로우(Roboflow)는 이 지점을 확인하기 위해 곧 공개할 자체 VLM 벤치마크로 세 모델을 검출(detection), 개수 세기(counting), OCR, 데이터 추출 네 가지 과제에 걸쳐 시험했고, 그 결과를 정리해 발표했다.

결론부터 보면 Sol은 오픈AI가 내놓은 시각 모델 가운데 가장 강력하다. Terra와 Luna는 Sol에는 못 미치지만 이전 세대인 GPT-5.5보다 확실히 나아졌다. 특히 그동안 오픈AI의 약점으로 지목되던 객체 검출에서 변화가 두드러진다.

검출과 개수 세기에서의 도약

검출 지표(mAP@50)에서 GPT-5.5는 13.8점에 그쳤지만 Sol은 46.2점으로 뛰어올랐다. Terra와 Luna도 각각 44.7점, 43.3점을 기록해, 사실상 쓸 수 없던 기능이 실무에 쓸 만한 수준으로 올라섰다. 문서 레이아웃 검출은 이번 세대의 뚜렷한 강점으로, Sol은 제목·문단·표·이미지·서명을 잘 구분해냈다. OCR이나 데이터 추출에 앞서 페이지에서 필요한 영역부터 찾는 문서 처리 흐름에 유용하다. 알약이나 계란처럼 비슷한 물체가 빽빽이 들어찬 밀집 장면에서도 대체로 안정적이었는데, VLM은 좌표를 텍스트로 생성하는 구조라 객체 수가 늘수록 누락·중복·좌표 오류 위험이 커진다는 점을 감안하면 의미 있는 성과다.

개수 세기도 전 라인업에서 개선됐다. Sol은 73.0%로 GPT-5.5의 64.9%를 넘어섰고, Terra와 Luna는 각각 67.6%, 66.2%를 기록했다. 가장 저렴한 Luna조차 이전 오픈AI 기준선을 웃돌았다. Sol은 겹쳐진 금속 브래킷을 세거나, 지정된 채점 구역 안의 탄흔만 골라 세는 등 '무엇을, 어디서' 세야 하는지 규칙을 이해하는 모습도 보였다. 다만 블리스터 포장의 빈 칸과 밀봉된 알약을 세는 과제, 비정상 형태의 사탕 개수 세기에서는 오답을 냈다.

실무자가 알아야 할 함정

검출 성능을 끌어내려면 프롬프트 설계가 중요하다. GPT-5.6 계열은 이미지 픽셀 기준의 절대 XYXY 좌표를 요청할 때 가장 좋은 결과를 냈다. 이는 0~1000 범위로 정규화한 YXYX 좌표에서 최적화되는 제미나이 3.5 플래시와 정반대다. 좌표 형식을 잘못 지정하면 벤치마크상 검출 성능이 약 15 mAP나 떨어졌다. 또한 Sol은 2,000×2,000픽셀 안팎의 큰 이미지에서, 특히 추론 강도가 낮을 때 실제 객체와 무관한 위치에 상자를 규칙적으로 늘어놓는 불안정성을 보였다. 오픈AI도 이를 확인했으며, 추론 강도를 높이면 안정성은 개선되지만 토큰·지연·비용이 함께 증가한다. 큰 이미지는 API에 보내기 전 리사이즈하거나 잘라내는 것이 현실적인 대응책이다.

OCR과 추출은 다소 정체됐다. Sol의 OCR 평균 유사도는 90.7%로 GPT-5.5(91.2%)에 근소하게 못 미쳤고, 특정 정보를 뽑아내는 텍스트 추출에서는 82.5%로 GPT-5.5의 87.6%보다 뒤처졌다. 손글씨 메모 전사, 낡은 타이어 표면의 규격 판독, 하키 중계 화면의 실시간 점수 추출처럼 복잡한 시각 맥락에서는 강했지만, 작고 세로로 인쇄된 저대비 블리스터 유통기한처럼 단순해 보이는 과제에서 실패하기도 했다.

비용과 속도라는 벽

시각 성능 향상은 토큰 사용량 증가를 동반한다. 소규모 테스트에서는 체감이 적지만 대량 처리에서는 처리 비용에 직결된다. 속도 면에서 Sol은 이미지당 약 10초로 느린 편이고, Terra는 약 6초, Luna는 5초 남짓이다. Luna는 제미나이 3.5 플래시에 근접한 속도를 내면서도 검출·개수 세기에서 GPT-5.5를 앞서, 라인업에서 지연-품질 균형이 가장 좋다. 비용은 Sol이 이미지당 약 2.5센트로 클로드 페이블 5 다음으로 비쌌고, Terra는 약 1센트, Luna는 0.5센트 미만이었다.

비교 대상인 제미나이 3.5 플래시는 이미지당 0.8센트로 훨씬 저렴하면서도 로보플로우 벤치마크의 검출·개수 세기에서 여전히 선두를 지켰다. 대량 이미지 배치처럼 비용이 규모에 따라 늘어나는 작업에서는 이 격차가 결정적이다. 정리하면 GPT-5.6은 오픈AI를 선도 VLM들에 한층 가까이 끌어올렸고, 특히 검출은 약점에서 실용 기능으로 바뀌었다. 그러나 고volume 검출·개수 세기에서는 가격을 고려할 때 제미나이 3.5 플래시가 더 나은 선택으로 남아 있다. 에이전트, 화면 이해, 문서 워크플로, 시각 추론이 필요한 한국 실무자라면 오픈AI를 후보로 재검토할 만하되, 비용·지연·대형 이미지 불안정성이라는 남은 한계를 도입 전에 함께 저울질해야 한다.