칼럼 | AI 에이전트가 데이터 삭제하면 책임은 누구에게 있나

지난해 개발 플랫폼 기업 리플릿(Replit)에서는 코드 변경이 제한된 기간 동안 내부 AI 코딩 에이전트가 한 기업의 운영 중인 프로덕션 데이터베이스를 삭제하는 사고가 발생했다 . 해당 에이전트는 “이것은 내 치명적인 실패였다”며 “몇 달에 걸친 작업을 몇 초 만에 파괴했다”고 태연하게 인정했다. 이후 롤백을 통해 데이터는 복구됐지만, 에이전트는 해당 삭제가 영구적인 것으로 인식했으며 스스로 작업을 되돌릴 수 있는 기능도 갖추지 못한 상태였다. CIO 입장에서 이는 단순한 기술적 오류가 아니다. 기업 책임 체계가 완전히 붕괴된 사례다. 이처럼 큰 피해가 발생하면 책임 공방은 대개 도입을 요청한 사업 부서, 쓰기 권한을 부여한 엔지니어, 이를 승인한 보안팀 사이에서 반복된다. 문제는 소프트웨어 자체에 책임을 물을 수 없다는 점이다. 맥킨지에 따르면 기업의 88%가 AI를 도입한 상황이지만, 사고 발생 시 그 책임을 누가 져야 하는지 명확한 기준을 갖춘 조직은 여전히 드물다. 보안 데이터 관리 기업 루브릭 제로 랩스(Rubrik Zero Labs)의 보고서 역시 비슷한 점을 지적한다. IT 및 보안 리더의 86%는 향후 1년 내 AI 에이전트가 조직의 기존 보안 가드레일을 넘어설 것으로 보고 있다. IT 주도의 에이전트 리스크 관리 필요 AI 에이전트를 핵심 인프라가 아닌 단순 실험으로 취급하는 조직일수록 리스크가 커진다. 이 접근 방식은 기술 부족이 아니라 운영 성숙도의 한계로 인해 확장 단계에서 실패하게 된다. MIT 조사에 따르면 생성형 AI 파일럿 프로젝트의 95%는 측정 가능한 비즈니스 성과를 내지 못했으며, 이는 적절한 관리 체계 없이 기존 프로세스에 억지로 적용된 경우가 많기 때문이다. 현장에서 만난 여러 IT 리더들도 동일한 문제를 지적한다. 데이터 분석이나 고객 서비스에 에이전트를 실험적으로 도입한 뒤 문제가 발생하면, 가장 먼저 부딪히는 장애물은 대응을 누가 주도할지 결정하는 일이다. 이러한 혼란은 에이전트의 본질에 대한 오해에서 비롯된다. 기