AI 에이전트는 늘어나는데 통제는 없다…CIO 덮친 거버넌스 공백

IT 리더들은 에이전트 시대의 거버넌스가 어떤 모습일지 미리 경험하고 있다. 그리고 그 모습은 결코 밝지 않다. IBM 기업가치연구소(IBM Institute for Business Value)가 CIO와 CTO를 대상으로 실시한 조사 에 따르면 응답자의 3분의 2는 자신이 완전히 통제하지 못하는 AI 시스템에 대한 책임을 지고 있다고 답했다. 직원과 각 사업부가 새로운 AI 에이전트를 자체적으로 구축·배포하고 있기 때문이다. 또한 응답한 IT 리더의 70%는 자사 조직이 IT 부서가 추적할 수 있는 속도보다 더 빠르게 기술 시스템을 도입하고 있다고 밝혔다. CIO들은 내년까지 조직 내 AI 에이전트 수가 38% 증가할 것으로 예상했지만, 예상되는 에이전트 확산 규모에 대비가 돼 있다고 답한 IT 리더는 10명 중 1명에 불과했다. IBM 기술혁신 CIO인 맷 라이테슨 은 이번 조사 결과가 AI 거버넌스에 대한 우려가 커지고 있음을 보여준다고 설명했다. 직원들이 IT 부서의 관여 없이 새로운 에이전트를 구축하면서 많은 IT 조직이 결과물, 보안, 비즈니스 가치 등을 추적하는 데 어려움을 겪고 있다는 것이다. 라이테슨은 “많은 기업이 더 많은 직원이 에이전트를 개발할 수 있도록 지원하는 정책을 운영하고 있다”라며 “이제는 IT 부서의 소수 인력만이 이런 솔루션을 개발하는 구조가 아니다”라고 말했다. IT 리더에게 닥친 위험 전문가들은 직원들이 AI를 자유롭게 실험하도록 장려하는 것은 분명 가치가 있지만, 동시에 IT 리더에게는 상당한 문제를 초래할 수 있다고 지적한다. 데이터 플랫폼 기업 도모(Domo)의 최고 AI·애널리틱스 책임자 벤 샤인 은 CIO와 CTO가 통제하지 못하는 AI 도구에 대한 책임까지 지게 되면서 조직 내 긴장이 커지고 있다고 분석했다. 그는 많은 조직에서 AI 도구가 IT 부서의 관리 체계에 편입되는 속도보다 더 빠르게 현업 부서에서 도입되고 있다고 설명했다. 샤인은 “문제는 AI가 무분별하게 배포되고 있다는 점이 아니다”라며 “AI 도입 속도가 거버넌스 체계가 적응하는 속도보다 훨씬 빠르다는 데 있다”라고 진단했다. 또한 상당수 AI 도입 사례는 직원들이 업무 효율성을 높이기 위해 합리적으로 판단한 결과이지만, CIO와 CTO는 이런 일이 벌어지고 있다는 사실조차 인지하지 못하는 경우가 많다고 설명했다. 그는 “마케팅 부서는 콘텐츠 제작 프로세스에 대규모언어모델(LLM)을 연결하고, 재무 부서는 예측 데이터를 챗GPT에 입력해 정리하며, 제품 부서는 새로운 에이전트에 고객 데이터셋 접근 권한을 부여한다”라며 “이런 활동이 조직 전체에서 동시에 이뤄져도 CIO에게는 보이지 않는다”라고 말했다. 샤인은 AI 거버넌스와 가시성이 현재 많은 조직에서 IT 리더가 우선적으로 해결해야 할 핵심 과제라고 평가했다. 그는 “AI가 실제로 무엇을 하고 있는지 볼 수 있는가”라고 반문하며 “AI 에이전트를 직원처럼 관리해야 한다. 누가 어떤 데이터를 사용했는지, 무엇을 생성했는지, 비용은 얼마나 발생했는지, 어떤 문제가 있었는지를 파악해야 한다”라고 설명했다. 이어 “AI 거버넌스는 선택적인 관리 체계가 아니라 기본 인프라”라며 “향후 24개월 동안 성공할 CIO는 데이터가 존재하는 동일한 계층에 가시성과 정책 집행 기능을 구축하는 사람이다. 사후적으로 별도의 AI 거버넌스 프로젝트를 덧붙이는 방식으로는 충분하지 않다”라고 말했다. 커지는 AI 거버넌스 공백 소프트웨어 테스트 기업 어플로즈(Applause)의 CTO 아티시 살비 도 AI 거버넌스 공백이 존재한다는 데 동의했다. 살비는 “모든 산업에서 에이전트 기반 워크플로와 AI, 다양한 제품이 매우 빠른 속도로 개발되고 있다”라며 “하지만 CIO나 CTO가 AI 시스템을 완전히 통제하지 못하는 상황에서 이를 어떻게 관리하고 통제하며 평가할지에 대한 이해는 개발 속도를 따라가지 못하고 있다”라고 설명했다. 그는 샤인과 마찬가지로 많은 조직이 IT 부서 외부 직원의 에이전트 배포를 장려하거나 허용하면서도 CIO나 CTO에게 이를 알리지 않는 점을 문제로 지적했다. 결과적으로 통제권은 에이전트를 구축한 사람에게 귀속된다. 살비는 “그 사람이 이를 관리하고 거버넌스를 수행하며 평가할 기술적 전문성을 갖췄을 수도 있고 그렇지 않을 수도 있다”라며 “누군가 업무 효율을 높이기 위해 무언가를 만들었지만, 그 대가로 토큰 비용과 보안, 규제 준수 등 다양한 문제가 발생할 수 있다”라고 말했다. 그는 많은 기업이 심각한 AI 거버넌스 과제에 직면해 있다고 진단했다. 살비는 “기업들이 수십 개의 에이전트 시스템을 구축하고 이를 조직 전반으로 확산시키면서도 제대로 된 평가 체계를 마련하지 못하고 있다”라며 “업무 속도를 크게 높이는 대신 직원들이 생산하는 결과물의 품질을 희생하고 있다는 사실을 인식하지 못하는 경우가 많다”라고 설명했다. 이어 “결국 이들은 평범한 수준의 결과물을 매우 빠르게 만들어내고 있으며, 결함까지 함께 생산하고 있을 가능성이 높다”라고 평가했다. 또한 에이전트 통제권이 IT 부서 밖에 있는 경우 위험은 더욱 커진다고 경고했다. 그는 “그 사람은 통제권을 적절하게 행사하는 데 필요한 도구와 노하우, 기술적 경험을 갖추지 못했을 수 있다”라고 말했다. 반면 데이터 보안 기업 마인드(MIND)의 공동 설립자 겸 CTO 이타이 슈워츠 는 IT 부서 외부에서 배포된 에이전트의 경우 아예 통제 체계 자체가 없는 사례도 많다고 주장했다. 적절한 가드레일이 마련되지 않으면 에이전트는 사실상 감독 없이 운영된다는 설명이다. 슈워츠는 “모든 AI 도구에는 책임을 지는 비즈니스 담당자가 있어야 하며 일반적으로 문서상으로는 그렇게 지정돼 있다”라며 “하지만 대부분의 시스템은 자율적으로 작동하고 결과가 항상 동일하지 않은 비결정론적 특성을 갖고 있다. 정해진 스크립트를 따르지 않기 때문에 실제로는 도구가 스스로를 통제하는 셈”이라고 설명했다. 슈워츠는 해결책이 AI 도입 속도를 늦추는 데 있는 것이 아니라 IT 리더에게 충분한 가시성과 정책 집행 도구를 제공하는 데 있다고 강조했다. 그는 “내가 만난 어떤 기술 리더도 AI 도입 속도를 늦추길 원하지 않는다”라며 “그들은 빠르게 혁신하면서도 안전성을 확보할 수 있는 더 나은 도구를 원한다. 필요한 것은 더 많은 경계가 아니라 더 나은 도구”라고 말했다. 통제된 AI 플랫폼 구축 라이테슨은 IBM이 하나의 해법으로 통제된 환경에서 직원들이 자체 AI 도구를 개발할 수 있는 에이전트 플랫폼을 구축했다고 소개했다. 새롭게 생성되는 에이전트는 보안과 개인정보 보호 기준을 충족하는지 점검받으며, 기존 IBM 도구와 기능이 중복되는지도 검토된다. 라이테슨은 “우리는 매우 초기 단계부터 엔터프라이즈 플랫폼을 구축하고 직원들이 그 안에서 솔루션을 개발하도록 했다”라며 “신뢰할 수 있다고 판단한 특정 모델만 사용하고 데이터를 보호함으로써 CISO와도 안심하고 협력할 수 있는 환경을 마련했다”라고 설명했다. 이어 “해당 시스템이 실제로 무엇을 하는지 알고 싶다”라며 “개인의 생산성을 높이는 기능인지, 전체 업무 프로세스를 지원하는 것인지 파악해야 하며, 조직에 어떤 비용이 발생하고 어떤 가치를 창출하는지도 확인할 수 있어야 한다”라고 말했다. dl-ciokorea@foundryco.com