“코딩 AI 비용 폭탄 막는다” IBM 작업 쪼개 최적 모델 골라주는 ‘밥’으로 코딩 시장 정조준

기존 AI 코딩 서비스가 우수한 자체 모델을 기반으로 코딩 실력을 내세웠다면, IBM은 여러 회사의 모델을 종합적으로 가져와 ‘비용 효율’을 내세웠다. AI 코딩 및 IT 업무에 사용량 기반 과금이 보편화되면서 기업의 비용 관리 부담이 커진 상황 에서, IBM의 ‘밥’은 작업 난이도에 따라 최적의 모델을 실시간으로 선택·전환해 비용을 통제한다. 또한 보안 기능을 강화해 단순한 AI 코딩 도구를 넘어 엔터프라이즈 AI 플랫폼으로 자리매김하겠다는 구상이다. IBM 밥 솔루션 부사장 겸 캐나다 연구소장 마이클 쿽 (Michael Kwok)은 “기존 AI 코딩 도구들이 코드 작성이나 코드 조각 생성에 집중했다면, 실제 기업 환경에서는 테스트, 보안, 거버넌스, 레거시 시스템 의존성 등 보이지 않는 요소들이 개발 속도를 결정한다”며 “밥은 SDLC 전 과정을 지원하는 파트너로 설계됐다”고 설명했다. IBM에 따르면 밥은 코드 생성뿐 아니라 코드 분석, 문서화, 아키텍처 다이어그램 작성, 테스트, 보안 취약점 분석, 애플리케이션 현대화(modernization)까지 수행한다. 개발자가 작업 중인 IDE나 터미널 환경에서 동작하며, 전체 코드베이스를 이해해 맥락 기반 작업을 지원한다. 이미 IBM 내부에서는 매일 10만 명 이상의 개발자가 밥을 사용하고 있다. IBM에 따르면 밥의 코드 가운데 약 40%도 밥이 직접 작성했다. 자체 평가 결과, 소프트웨어 개발 사이클 전반에서 평균 45% 이상의 생산성 향상을 달성한 것으로 나타났다. IBM 사내 400개 이상의 제품에 밥을 적용하고 있으며, 외부에서도 지난 반년여 동안 50곳 이상의 고객사가 밥을 도입했다. IBM 밥 선임 기술 책임자 제이 탈레카 (Jay Talekar)는 밥의 경쟁력으로 비용 효율성을 강조했다. 그는 “밥은 입력·출력·캐시 토큰을 기준으로 과금하며, 보통 이 중 출력 토큰이 가장 비싸다”고 말했다. 밥은 개발자가 작업 하나를 맡기면 이를 여러 하위 작업으로 분할한다. 복잡한 하위 작업은 프런티어(최신 대형) 모델로 보내고, 테스트 케이스 생성처럼 고성능 모델이 필요 없는 작업은 IBM의 그래니트(Granite) 같은 소형 모델로 처리한다. 덕분에 간단한 작업까지 비싼 최신 모델로 무조건 처리하는 상황을 피해 토큰 비용을 줄인다는 것이다. 동시에 밥은 비용 관점에서 모델 선택에 따르는 고민의 부담을 더는 데도 집중했다. 그는 “밥에는 모델을 고르는 드롭다운 메뉴가 없다. 어떤 모델을 쓸지는 런타임에 결정되며, 개발자에게는 투명하게 처리된다”고 설명했다. 밥은 클로드 계열 모델, 오픈AI 계열 모델, IBM의 그래니트, 메타의 라마(Llama), 미스트랄(Mistral) 계열 모델 등 주요 모델을 끌어다 쓰지만, 어떤 작업에 어떤 모델을 배정할지는 IBM의 자체 기술로 정해진다. IBM 10만 개발자의 실사용 데이터를 바탕으로 ‘같은 결과를 더 낮은 비용에 내는 모델’을 지속적으로 평가해 결정하는 식이다. IBM은 이들 모델을 개별적으로 사용했을 때와 비교해 어느 정도의 비용 효율성을 확보할 수 있는지에 대한 구체적인 수치는 공개하지 않았다. 다만 쿽은 “고객들이 직접 ‘밥이 훨씬 비용 효율적’이라고 말한다”고 강조했다. 탈레카는 “항상 프런티어 모델을 쓰는 것은 아니다. 소형 언어모델이나, 자바(Java)용으로 우리가 직접 학습시킨 자체 모델처럼 다른 곳에는 없는 모델도 쓴다”고 했다. 우수연 IBM 전문위원은 시연을 통해 밥의 실제 활용 사례를 소개했다. 가상의 은행 시스템 ‘IBM 뱅크’를 개발하는 시나리오로 진행된 데모에서는 신규 개발자가 기존 코드베이스를 분석하고 문서를 생성한 뒤 신규 기능 개발, 테스트, 깃허브 풀 리퀘스트(PR) 생성까지 수행하는 과정을 보여줬다. 밥은 전체 코드베이스를 분석해 자동으로 문서를 생성하고 이를 웹 기반 아키텍처 다이어그램으로 시각화했다. 이후 깃허브 이슈에 등록된 요구사항을 기반으로 개발 계획을 수립하고, IBM의 디자인 시스템 ‘카본(Carbon)’을 적용해 코드를 생성했다. 이어 브라우저 기반 자동 테스트를 수행하고, 기업 규칙에 맞는 커밋 메시지와 PR까지 자동으로 작성했다. 우 전문위원은 “기존에는 신입 개발자가 수주에서 수개월에 걸쳐 익혀야 했던 업무를 30분 안에 수행하는 시나리오”라며 “AI 네이티브 방식으로 개발 업무를 위임할 수 있다는 점이 큰 변화”라고 설명했다. “배포 직전은 늦다” 개발 시작부터 취약점 잡는 ’시프트 레프트’ 보안 IBM이 강조한 밥의 또 다른 차별점은 ‘시프트 레프트(Shift-Left) 보안’이다. 기존에는 코드 배포 단계에서 보안 취약점을 점검하는 것이 일반적이었지만, 밥은 개발 시작 단계부터 보안을 설계에 내재화한다. 탈레카는 “밥에는 가드레일과 거버넌스가 내장돼 있어 모든 작업에 대해 감사(auditability)와 추적(traceability)이 가능하다”고 밝혔다. 이를 보여주는 사례로 IBM은 미국 정부기관 대상 클라우드 보안 인증 제도인 페드램프(FedRAMP)를 들었다. IBM 제품 중 하나인 ‘콘서트(Concert) 제품’이 페드램프를 인증을 획득하는 데 기존에는 30일이 걸렸지만 밥 도입 후 2일로 단축됐으며, 비용도 8만 4,000달러 이상 절감됐다고 소개했다. 우수연 전문위원의 데모에서는 취약점 분석 기능이 시연됐다. 코드에 하드코딩된 패스워드 등 14개의 보안 취약점을 밥이 자동으로 탐지하고, 클릭 한 번으로 수정까지 진행하는 흐름이 소개됐다. 그는 “기존에는 PR을 올린 뒤 리뷰어가 지적하거나 정적 분석 툴이 돌아야 발견됐던 문제를, 개발 환경 안에서 미리 잡아낼 수 있다”고 설명했다. 쿽 부사장은 AI 코딩 도구의 한계도 지적했다. 그는 개발자들이 생산성 향상을 기대하지만, 실제 대규모 코드베이스에서는 AI 활용이 반드시 개발 속도 향상으로 이어지지 않는다는 연구 결과도 있다고 소개했다. AI가 개별 작업은 빠르게 처리하더라도 인프라, 텔레메트리, 보안 정책, 레거시 시스템 의존성 등 기업 환경의 복잡한 요소들로 인해 배포 단계에서 병목이 발생할 수 있다는 설명이다. 그는 “AI는 맥락이 명확할 때 힘을 발휘하지만, 엔터프라이즈 환경은 맥락이 불명확하고 가려진 영역이 많다”고 덧붙였다. 밥은 현재 SaaS 형태로 체험·이용할 수 있으며, 방화벽 내부에 설치하는 온프레미스·에어갭 버전은 올해 9월 출시된다. 한국어를 포함해 12개 이상의 언어를 지원한다. jihyun.lee@foundryco.com