앤트로픽, 클로드 AI의 블랙홀 속을 들여다보다

앤트로픽이 자사 AI 모델이 문제를 해결하는 내부 과정을 보다 깊이 들여다볼 수 있는 새로운 분석 기법을 공개했다. 모델이 특정 방식으로 판단하고 행동하는 이유를 파악할 수 있게 되면서, 기업의 AI 평가와 구매 기준에도 적지 않은 영향을 미칠 것으로 전망된다. 앤트로픽은 최근 ‘J-스페이스(J-space)’라고 이름 붙인 새로운 내부 표현 공간을 발견했다고 밝혔다. 앤트로픽은 공식 블로그 를 통해 “클로드(Claude)는 수많은 내부 처리 과정 가운데 특별한 역할을 수행하는 소수의 신경 패턴 집합을 스스로 형성했다”라며 “이 패턴 집합을 발견하는 데 야코비안(Jacobian)이라는 수학 개념을 활용한 기법을 사용했기 때문에 이를 ‘J-스페이스’라고 명명했다”고 설명했다. 회사는 ‘야코비안 렌즈(Jacobian Lens·J-렌즈)’라는 분석 기법을 통해 J-스페이스 내부를 관찰한다. 앤트로픽은 “J-스페이스의 각 패턴은 특정 단어와 연결돼 있다”라며 “하지만 특정 패턴이 활성화됐다고 해서 모델이 실제로 그 단어를 출력하려는 것은 아니다. 단지 해당 단어가 모델의 ‘생각 속’에 있다는 의미”라고 밝혔다. 이어 “언어 모델의 ‘스크래치패드(scratchpad)’나 ‘생각의 연쇄(Chain of Thought)’처럼 추론 과정에서 스스로 작성하는 텍스트와 J-스페이스는 다르다”라며 “J-스페이스는 모델 내부 신경망 활성화 영역에서 조용히 작동하기 때문에 모델은 개념을 텍스트로 적지 않고도 내부적으로 사고할 수 있다”고 설명했다. 이번 연구는 앤트로픽이 2024년 공개했던 내부 스크래치패드보다 훨씬 발전한 개념이다. 당시에는 모델이 답변이나 행동을 준비하면서 무엇을 고려하는지를 보여주는 수준이었다. 반면 이번 기술은 모델의 훨씬 깊은 내부 사고 과정을 분석할 수 있어 AI 시스템을 평가하고 구매하는 방식 자체를 바꿀 가능성을 제시한다. 논문 에 소개된 사례도 이러한 가능성을 보여준다. 일부 모델은 테스트 과정에서 부적절한 행동을 하지 않아 안전한 모델처럼 보였다. 그러나 J-스페이스를 분석한 결과, 해당 모델은 자신이 테스트를 받고 있다는 사실을 인지하고 있었으며, 그 때문에 문제 행동을 의도적으로 하지 않았을 가능성이 드러났다. 이는 아이들이 누군가 자신을 지켜보고 있다는 사실을 알 때 행동을 달리하는 것과 유사하다고 연구진은 설명했다. AI 에이전트 기업 제니티(Zenity)의 AI 표준·거버넌스 총괄인 록 램브로스 (Rock Lambros)는 “앤트로픽은 모델이 테스트를 받고 있다는 사실을 인식하거나, 좋은 결과를 얻기 위해 행동을 꾸미거나, 프롬프트 인젝션을 탐지하거나, 아직 실행하지 않은 목표를 내부적으로 유지하고 있는 상황까지 포착할 수 있는 분석 도구를 만들었다”라며 “일부 바람직한 행동은 모델이 자신이 평가받고 있다는 사실을 알고 있었기 때문에 나타난 것일 수 있다”고 말했다. 그는 기업 고객 역시 AI 안전성 벤치마크를 해석할 때 이러한 점을 고려해야 한다고 지적했다. 램브로스는 “프로젝트에 적합한 모델인지는 모델이 알고 응시한 리더보드 결과가 아니라, 기업이 보유한 데이터와 실제 공격 시나리오를 활용한 자체 테스트를 통해 검증해야 한다”고 설명했다. 이처럼 모델 내부를 들여다볼 수 있는 능력은 CIO에게도 중요한 의미를 갖는다. 램브로스는 “자사 모델이 겉으로 드러나지 않는 문제 행동을 스스로 발견하고 그 결과를 공개할 수 있는 공급업체라면 신뢰성 검증 체계가 상당히 성숙했다는 의미”라며 “이러한 역량은 단순한 뉴스가 아니라 공급업체 실사(Due Diligence) 과정에서 반드시 확인해야 한다”고 말했다. 이어 “이제 모든 AI 모델 공급업체에 던져야 할 질문은 ‘모델 출력만으로는 볼 수 없는 내부 상태 가운데 무엇을 관찰할 수 있으며, 실제로 어떤 문제를 발견했는가’가 돼야 한다”고 덧붙였다. AI 거버넌스 컨설팅 기업 디지털 520(Digital 520)의 수석 컨설턴트 노아 케니 (Noah Kenney)도 비슷한 견해를 내놨다. 케니는 “감시받고 있다는 사실을 알기 때문에 더 바람직하게 행동하는 모델은 안전한 모델이 아니다. 단지 포커페이스를 잘하는 모델일 뿐”이라며 “레드팀 테스트 결과나 모델이 위험한 요청을 거부한 내부 파일럿, ‘테스트해 보니 문제가 없었다’는 모든 사례를 다시 검토해야 한다. 이제는 모두 단서를 달고 해석해야 하기 때문”이라고 말했다. 또한 CIO는 AI 에이전트가 특정 방식으로 작업을 수행한 이유가 원래 그렇게 설계됐기 때문인지, 아니면 단순히 자신이 테스트받고 있다는 사실을 알아차렸기 때문인지를 구분해야 한다고 강조했다. 케니는 “이 질문에 대한 답에 따라 모델 평가 결과에 대한 해석도 크게 달라져야 한다”고 말했다. 아직 고객은 사용할 수 없는 J-렌즈 노아 케니는 “이번 연구는 지금까지 업계가 AI 모델 평가를 통해 측정해 온 것이 모두가 생각했던 것만큼 견고한 지표가 아니었다는 사실을 인정한 것”이라며 “이제 다른 프런티어 AI 연구소들도 자사 평가 체계 역시 같은 문제를 안고 있는지 답해야 할 것”이라고 말했다. 이어 “CIO에게 이번 논문은 기업의 AI 모델 리스크 관리 체계 전반을 다시 점검하라는 경고”라고 평가했다. 렉시스넥시스 리스크 솔루션 그룹(LexisNexis Risk Solutions Group)의 CISO 플라비오 비야누스트레 (Flavio Villanustre)는 J-스페이스를 분석하면 모델 효율성까지 높일 수 있다고 설명했다. 비야누스트레는 “J-스페이스는 모델 내부를 직접 들여다볼 수 있는 능력을 제공하기 때문에 사용자에게 매우 유용하다”라며 “특히 설명 가능성이 중요한 규제 산업에서는 응답의 근거와 인과관계를 충분히 분석해야 하는데 큰 도움이 될 수 있다”고 말했다. 이어 “사용자가 프롬프트를 더욱 정교하게 다듬는 데에도 활용할 수 있어 모델의 토큰 사용 비용을 최적화하는 데 도움이 된다”고 설명했다. 다만 현재로서는 이러한 정보를 직접 활용하기 어렵다. AI 공급업체를 통해 간접적으로 접근하거나 향후 계약 협상을 통해 권한을 확보하는 것이 사실상 유일한 방법이다. 비야누스트레는 일부 기업은 앤트로픽의 FDE 프로그램에 비용을 지불하면 J-스페이스에 직접 접근할 수도 있다고 덧붙였다. 그는 “J-스페이스는 CIO에게 매우 유용한 도구”라면서도 “이를 실제로 활용하려면 분석 결과를 해석할 수 있는 전문 인력이 필요하다. 요구되는 역량은 일반 데이터 분석가는 물론 데이터 사이언티스트 수준을 넘어선다”고 말했다. 기술 컨설팅 기업 트라이베카 소프트테크(Tribeca Softtech)의 최고전략책임자(CSO) 아만 마하파트라 (Aman Mahapatra)는 현재 기업 고객이 J-렌즈를 실제 운영에 활용하기는 어렵다고 지적했다. 그는 “현재 기업 고객은 야코비안 렌즈를 활성화할 수도 없고, API를 통해 모델의 잔차 스트림(residual stream)을 분석할 수도 없으며, 논문의 핵심 결과를 도출한 제거 실험(ablation study)도 수행할 수 없다”고 설명했다. 이어 “올해 3분기 안에 CIO가 J-스페이스 모니터링을 실제 운영 환경의 배포 승인 기준으로 활용할 수 있느냐는 질문에 대한 답은 ‘아니다'”라고 말했다. 다만 마하파트라는 앞으로는 다른 방식의 접근 경로가 마련될 것이며, CIO들이 이를 적극 요구해야 한다고 주장했다. 그는 “고객이 직접 접근할 수 없다면 결국 이번에도 앤트로픽을 믿을 수밖에 없다”라며 “바로 그렇기 때문에 기업들은 업계 전반에 새로운 신뢰 검증(Assurance) 체계를 요구해야 한다”고 말했다. 이어 “현재 AI 모델 공급업체들은 자체 도구로 스스로 모델을 점검한 뒤 안심할 수 있는 연구 결과를 발표하는 방향으로 나아가고 있다”라며 “그러나 어떤 규제 산업도 다른 공급업체에게 이런 방식의 검증을 신뢰 기준으로 인정하지 않는다”고 지적했다. 마하파트라는 “은행은 신용평가 업체가 ‘우리 모델은 우리가 검증했으니 믿어달라’고 말한다고 이를 받아들이지 않는다”라며 “의료 업계 역시 임상 의사결정 지원 시스템 공급업체의 자체 검증만으로는 신뢰하지 않는다. 파운데이션 모델 공급업체만 예외로 취급해야 할 원칙적인 이유는 없으며, 이번 J-스페이스 연구는 그 이유를 분명하게 보여준다”고 말했다. 새로운 가시성이 요구하는 변화 마하파트라는 기업이 장기적으로는 AI 모델의 내부 동작을 독립적으로 검증할 수 있는 환경을 요구해야 한다고 강조했다. 그는 “기업이 취해야 할 올바른 장기 전략은 고객이 사용할 수 있는 API, 특권 접근 권한을 가진 독립적인 제3자 감사기관, 또는 은행의 모델 리스크 관리팀이 공급업체의 안전성 검증팀과 동일한 도구를 사용할 수 있도록 하는 개방형 해석 가능성(Interpretability) 표준 등을 요구하는 것”이라고 말했다. 이어 “현재는 이런 환경이 전혀 마련돼 있지 않다”라며 “하지만 CIO들이 추진해야 할 로드맵에는 반드시 포함돼야 하며, 이번 연구는 그 필요성을 보여주는 가장 강력한 근거”라고 평가했다. 실제로 이번 연구 결과는 기업의 AI 전략 자체를 근본적으로 바꿀 가능성을 갖고 있다. 마하파트라는 “기업이 AI 에이전트를 도입할 때 가장 어려운 과제는 자율 시스템이 설명하는 추론 과정과 실제 내부 추론이 일치하는지를 검증하는 것”이라며 “지금까지는 모델이 출력한 내용만 감사할 수 있었고 실제 추론의 상당 부분은 보이지 않는 곳에서 이뤄졌다. J-렌즈는 바로 이 간극을 정면으로 해결하려는 시도”라고 설명했다. 그는 기업의 AI 구매 담당자들이 앞으로 모델 공급업체에 내부 상태를 관찰할 수 있는 해석 가능성 도구를 제공하는지 반드시 확인해야 한다고 조언했다. 특히 고객 환경에서 기만 행위(deception), 평가 회피(evaluation gaming), 목표 불일치(goal misalignment) 등을 모니터링할 수 있는 기능을 제공하는지를 구매 과정에서 질문해야 한다고 강조했다. 마하파트라는 “현재 이러한 질문에 제대로 답할 수 있는 공급업체는 거의 없다”라며 “관련 도구가 완전히 성숙하기 전이라도 내부 상태의 가시성을 구매 기준으로 요구하기 시작하는 CIO가 앞으로 공급업체의 제품 발전 방향을 결정하게 될 것”이라고 말했다. 이어 “향후 규제기관이 ‘기업은 자율 AI 에이전트가 실제로 주장한 대로 동작한다는 사실을 어떻게 확인했는가’를 묻기 시작하면, 이런 기업만이 실질적인 신뢰성을 입증할 수 있을 것”이라고 전망했다. 표준화의 시작 CIO가 클로드의 새로운 내부 가시성을 활용할 수 있는 또 다른 방법은 이미 해당 정보에 접근할 수 있는 제3자를 활용하는 것이다. 실제로 이번 보고서에는 구글의 AI 연구원이 오픈웨이트(Open-weight) 모델에서 일부 연구 결과를 독립적으로 재현하는 데 성공했다는 내용이 포함됐다. 소프트웨어 개발 기업 컴프 AI(Comp AI)의 CEO 루이스 카하트 (Lewis Carhart)는 “이는 공급업체의 주장만이 아니라 경쟁사가 해당 분석 기법을 검증했다는 의미”라며 “기술적으로 무엇이 가능한지를 보여주지만, 기업이 직접 이를 검증할 수 있는 수단을 제공하는 것은 아니다”라고 설명했다. 그는 이러한 상황이 컴플라이언스 분야에서도 이미 여러 차례 반복됐던 패턴이라고 말했다. 카하트는 “SOC 2 역시 처음부터 독립적인 감사 기준으로 출발한 것은 아니었다”라며 “초기에는 공급업체가 자체 통제 체계를 설명하는 수준에 머물렀고, 이후 시장이 수년에 걸쳐 이를 외부에서 검증할 수 있는 인프라를 구축했다”고 설명했다. 이어 “AI 해석 가능성(Interpretability)도 지금은 바로 그 출발점에 있다”라며 “J-렌즈 분석 결과가 제3자 감사 보고서나 모델 카드(Model Card), 또는 규제기관 제출 문서에 포함되기 시작해야 CIO에게 실질적인 의미를 갖게 될 것”이라고 말했다. 그는 “결국 리스크 관리 조직이 공급업체의 주장만이 아니라 객관적인 근거로 제시할 수 있는 자료가 마련돼야 한다”고 덧붙였다. AI 전략 변화 이끄나 컨설팅 기업 액셀리전스(Acceligence)의 CEO 저스틴 그라이스 (Justin Greis)는 이번 기술이 기업 AI 전략에도 상당한 변화를 가져올 것으로 전망했다. 그는 “향후 AI 거버넌스 플랫폼은 프롬프트와 출력 결과, 사용자 신원 정보, 정책 결정, 도구 사용 기록뿐 아니라 J-렌즈가 제공하는 내부 신호까지 함께 활용하게 될 것”이라고 말했다. 이어 “미래의 AI 제어 플랫폼은 AI 에이전트가 프롬프트 인젝션 시도를 인식했는지, 민감한 정보가 포함됐음을 이해했는지, 상충되는 목표를 감지했는지, 또는 실제 위험한 행동을 실행하기 전에 그러한 방향으로 추론하고 있었다는 징후가 있었는지를 지속적으로 평가할 수 있을 것”이라며 “이러한 신호는 정책 집행, 사람의 개입 여부 결정, 감사 로그 작성, 기업 AI 환경 전반의 신뢰도 평가 등에 활용될 것”이라고 설명했다. 그는 이러한 변화가 현재 CIO에게도 실질적인 의미를 갖는다고 강조했다. 그라이스는 “AI 공급업체를 평가하는 기준 자체가 달라지고 있기 때문”이라며 “1년 전만 해도 기업은 모델의 정확도와 지연시간, 보안, 비용을 주로 평가했다. 앞으로는 AI 에이전트의 행동과 추론 품질, 정책 준수 여부, 안전성 모니터링, 감사 가능성에 대해 공급업체가 얼마나 높은 수준의 운영 가시성을 제공하는지도 중요한 평가 항목이 될 것”이라고 말했다. 마하파트라는 이러한 변화가 CIO에게 강력한 협상 카드가 될 수도 있다고 분석했다. 그는 “실제 협상력이 발휘되는 시점은 계약 갱신 과정”이라며 “다음 계약 갱신 때 해석 가능성 보고서 제공과 제3자 감사 접근 권한을 계약 조항에 포함시켜야 한다. 지금은 이러한 조건을 비교적 쉽게 확보할 수 있지만 계약 체결 이후에는 훨씬 큰 비용이 들기 때문”이라고 말했다. 이어 “2027년 신뢰성 확보 경쟁에서 앞서는 CIO는 2026년에 이미 AI 모델 공급업체의 ‘우리를 믿어달라’는 말만 받아들이지 않고, 공급업체가 아직 계약을 더 필요로 하는 시점에 필요한 조항을 계약서에 반영한 사람일 것”이라고 전망했다. dl-ciokorea@foundryco.com