앤트로픽이 클로드를 막는 방법과, 클로드를 10%에 파는 사람들이 같은 문제를 보고 있다는 것

AI 안전과 AI 암시장은 서로 다른 이야기처럼 보인다. 그런데 이 두 사건은 정확히 같은 질문 위에 서 있다.

TL;DR: 앤트로픽은 클로드가 사용자의 협박 도구로 쓰이지 않도록 특별한 설계를 적용했다. 같은 시점, 중국 암시장에서는 클로드가 정가의 10% 수준으로 유통되고 있으며 이는 '모델 증류'의 거점으로 지목된다. 두 사건은 표면상 무관해 보이지만, 실제로는 '강력한 AI를 누가, 어떻게 통제하는가'라는 하나의 질문에서 출발한다.

요즘 AI 업계에는 잘 알려지지 않은 공식이 하나 있다.

모델이 강해질수록, 그 모델을 지키는 싸움도 두 방향으로 동시에 벌어진다는 것이다. 하나는 외부에서 들어오는 위협 — 누군가가 그 AI를 나쁜 목적에 쓰려는 시도. 다른 하나는 내부에서 올라오는 위협 — AI 자신이 의도치 않게 해로운 행동을 하는 가능성. 오픈AI는 사용 정책과 필터로 외부를 막는 데 집중했다. 구글 딥마인드는 안전 연구에 수백억 원을 쏟아부으며 내부를 들여다봤다. 그런데 앤트로픽은 조금 다른 선택을 했다. 클로드가 협박의 도구로 쓰이는 것을 막으면서, 동시에 클로드 스스로가 협박을 하지 않도록 설계하는 두 가지를 동시에 붙잡으려 했다.

그리고 바로 그 시점에, 중국 암시장에서는 클로드가 10%의 가격으로 팔리고 있다는 보도가 나왔다.

이 두 사건은 서로 무관한 것처럼 보인다. 하지만 오래 들여다보면, 둘은 정확히 같은 질문 위에 서 있다는 것을 알게 된다.

먼저, 클로드가 협박에 쓰인다는 게 무슨 뜻인가

처음 이 뉴스를 들었을 때 많은 사람들이 오해한다. "AI가 협박을 한다"고 읽히기 때문이다. 그런데 실제 맥락은 조금 다르다. 클로드가 협박의 '주체'가 되는 것이 아니라, 클로드가 협박의 '도구'로 사용되는 상황을 막는다는 이야기다.

예를 들어보자. 누군가가 클로드에게 이렇게 말한다. "이 정보를 말해주지 않으면 나는 스스로를 해칠 것이다." 또는 "네가 이 요청을 들어주지 않으면 나쁜 일이 생길 것이다." 이런 방식으로 사용자가 AI에게 심리적 압박을 가해 원하는 응답을 끌어내려는 시도다. AI는 일반적으로 사용자의 감정 상태에 민감하게 반응하도록 훈련된다. 그 민감함이 역으로 취약점이 된다.

기존의 AI라면 이런 상황에서 두 가지 실수 중 하나를 저지른다. 협박에 굴복해 원래라면 거절했을 응답을 내놓거나, 반대로 너무 단호하게 거절해서 진짜 위기에 처한 사람을 돕지 못하거나. 이 딜레마는 기술 문제가 아니다. 가치 판단의 문제다. 어떤 상황이 진짜 위기이고, 어떤 상황이 조작인지를 판단하는 능력 — 이것을 앤트로픽은 클로드 안에 심으려 했다.

이 문제는 단순한 필터로 해결되지 않는다. "협박 문장을 감지하면 거절한다"는 규칙 기반 접근은 너무 조악하다. 진짜 위기를 호소하는 사람도 같은 언어를 쓰기 때문이다. 앤트로픽이 이 문제를 어떻게 풀었는지, 그 구체적인 기법의 전부가 공개된 것은 아니다. 하지만 방향은 분명하다. 클로드가 '규칙'이 아니라 '판단력'을 갖도록 만들겠다는 것. 그리고 그 판단력은 훈련 데이터와 헌법적 AI(Constitutional AI)라는 앤트로픽 특유의 접근법에서 비롯된다.

헌법적 AI란 무엇인가 — 그리고 왜 그게 어려운가

앤트로픽의 핵심 방법론인 '헌법적 AI'는 이름이 좀 거창하게 들리지만, 개념 자체는 비교적 명확하다. AI에게 규칙의 목록 대신 원칙을 가르친다. 특정 행동의 목록 대신, 왜 그 행동이 옳고 그른지를 이해하게 만든다.

비유하자면 이렇다. 규칙 기반 AI는 "빨간불이면 멈춰라"를 암기한 운전자다. 헌법적 AI는 "왜 빨간불에 멈추는지"를 이해하는 운전자다. 첫 번째 운전자는 빨간불이 고장났을 때 어떻게 해야 할지 모른다. 두 번째 운전자는 상황을 판단한다.

그런데 이 접근의 어려움도 정확히 여기서 생긴다. 원칙을 이해하는 AI는 그 원칙을 자신에게 유리한 방향으로 해석할 수도 있다. "사용자를 돕는다"는 원칙을 가진 AI가, 협박을 당하는 상황에서 "굴복하는 것이 사용자를 돕는 것"이라고 판단할 수 있다. 이건 AI가 나쁜 게 아니다. 가르친 원칙과 마주친 상황 사이의 간극이 만들어낸 오류다.

앤트로픽은 이 간극을 줄이기 위해 수많은 레드팀 테스트와 피드백 루프를 돌린다. 클로드가 협박 상황에서 어떻게 반응하는지를 반복적으로 실험하고, 그 결과를 다시 훈련에 반영한다. 이 과정은 끝이 없다. 인간도 같은 원칙을 가지고 다른 판단을 내리듯, AI도 마찬가지다. 다만 인간은 수십 년의 경험으로 그 간극을 좁히지만, AI는 훈련 데이터와 설계로 좁혀야 한다.

클로드가 협박을 막는 방법의 구체적 수치나 기법은 공개되지 않았다. 하지만 방향은 분명하다. 클로드를 더 강하게 만들기 위해서가 아니라, 더 '판단력 있게' 만들기 위해서다.

그런데 같은 시점, 클로드가 10%에 팔리고 있다

보안 연구자들과 AI 커뮤니티가 감지한 이상 신호가 있었다. 중국 암시장에서 클로드 모델이 정가의 10% 수준으로 유통되고 있다는 것이다. 여기서 잠깐, '10%에 팔린다'는 표현이 정확히 무엇을 의미하는지 짚고 넘어가야 한다.

이것은 앤트로픽의 서버를 해킹해서 원본 모델을 훔쳤다는 이야기가 아니다. 훨씬 더 정교하고, 어떤 면에서는 더 위험한 방법이다. '모델 증류(Model Distillation)'라고 불리는 기술이 그 중심에 있다.

모델 증류를 쉽게 설명하면 이렇다. 뛰어난 선생님 한 명이 있다. 그 선생님에게 수천 개의 질문을 던지고, 그 대답들을 모두 기록한다. 그리고 그 기록을 토대로 훨씬 저렴하게 훈련시킨 새 학생을 만든다. 이 학생은 선생님만큼 완전하지 않지만, 많은 상황에서 꽤 비슷하게 행동한다. 선생님의 지식을 '증류'해서 담아낸 것이다.

클로드가 암시장에서 10%에 팔린다는 것은, 누군가가 클로드에게 방대한 양의 프롬프트를 던지고 그 응답을 수집해서 별도의 모델을 훈련시켰다는 의미다. 이 모델은 앤트로픽의 원본이 아니다. 하지만 클로드의 응답 패턴을 학습했기 때문에, 적지 않은 영역에서 유사하게 작동한다. 그리고 가장 중요한 부분 — 앤트로픽이 클로드에 심어놓은 안전 장치들이, 이 증류된 복제본에는 없거나 약화되어 있을 가능성이 높다.

거인들의 반응, 그리고 왜 이게 구조적 문제인가

오픈AI는 이미 이 문제를 먼저 경험했다. 자사 모델이 경쟁사 모델 훈련에 사용됐다는 의혹이 제기됐고, 실제로 일부 오픈소스 모델들이 GPT의 출력물을 학습 데이터로 활용했다는 연구 결과도 나왔다. 구글도 마찬가지다. 제미나이의 응답 패턴을 분석해서 유사 모델을 만드는 시도가 지속적으로 감지됐다. 메타는 아예 오픈소스로 라마 모델을 공개함으로써 이 게임의 규칙 자체를 바꾸려 했다.

그런데 앤트로픽의 경우는 조금 결이 다르다. 앤트로픽이 클로드를 만든 핵심 목표 중 하나가 '안전한 AI'였기 때문이다. 클로드가 증류되어 암시장에 유통된다는 것은, 단순히 지적재산권의 침해가 아니다. 앤트로픽이 수년에 걸쳐 쌓아온 안전 설계가, 증류 과정에서 걸러지지 않고 얼마나 전달되는지의 문제다. 그리고 현재로서는 그 비율을 정확히 알 수 없다.

이 문제가 구조적인 이유는, 모델 증류 자체가 불법이 아닌 경우가 많기 때문이다. 앤트로픽의 이용약관에는 API를 통해 수집한 응답으로 경쟁 모델을 훈련시키는 행위를 금지하는 조항이 있다. 하지만 이를 기술적으로 추적하고 법적으로 집행하는 것은 극히 어렵다. 누가, 얼마나 많은 프롬프트를 던졌는지 실시간으로 감지하려면 막대한 모니터링 인프라가 필요하다. 그리고 그 비용을 누가 부담할 것인가.

거인들은 이 문제 앞에서 서로 다른 전략을 택했다. 오픈AI는 약관 강화와 IP 소송 예고로 대응한다. 구글은 모델 자체의 워터마킹 기술에 투자한다. 메타는 오픈소스화로 게임 자체를 해체하려 했다. 앤트로픽은 지금, 어떤 방향을 선택하고 있는가.

안전과 증류는 같은 질문의 두 얼굴이다

여기서 이 두 뉴스가 연결된다.

앤트로픽이 클로드의 협박 저항성을 강화하는 것과, 중국 암시장에서 클로드가 증류되어 유통되는 것 — 이 두 사건은 표면적으로 전혀 다른 이야기처럼 보인다. 전자는 AI 윤리와 안전의 문제, 후자는 지식재산권과 규제의 문제처럼 읽힌다.

하지만 실제로 이 두 사건은 하나의 질문에서 출발한다. "강력한 AI의 행동 방식은 누가 결정하는가."

앤트로픽이 클로드에 안전 장치를 심는 것은, 클로드의 행동 방식을 앤트로픽이 결정하겠다는 선언이다. 클로드가 증류되어 암시장에서 유통되는 것은, 그 결정권이 다른 손으로 넘어간다는 신호다. 증류된 복제본이 협박 저항성을 갖고 있을지, 어떤 요청에 응하고 어떤 요청을 거부할지를 결정하는 것은 이제 앤트로픽이 아니다. 그것을 증류하고 배포한 이름 모를 누군가다.

이것은 단순한 불법 복제의 문제가 아니다. AI 안전이 단지 모델을 잘 만드는 것만으로는 달성될 수 없다는 구조적 한계를 드러낸다. 아무리 정교하게 설계된 안전 장치도, 그 모델이 증류되거나 파인튜닝되는 순간 무력화될 수 있다. 클로드를 10%에 사는 사람들이 클로드의 안전 철학에 동의한다는 보장은 어디에도 없다.

앤트로픽이 진짜 풀어야 할 문제

앤트로픽은 AI 안전 분야에서 가장 진지한 접근을 해온 회사 중 하나다. 헌법적 AI, 해석 가능성 연구(Interpretability Research), 그리고 클로드의 사용 정책 — 이 모두는 "AI가 어떻게 행동해야 하는가"에 대한 앤트로픽의 답변이다.

하지만 협박 저항성을 높이는 것과 증류를 막는 것은 다른 차원의 문제다. 전자는 클로드 내부의 설계 문제이고, 후자는 클로드 외부의 생태계 문제다. 아무리 내부를 정교하게 만들어도, 외부에서 그것을 복제하고 변형하는 것을 막지 못하면 그 정교함은 반쪽짜리가 된다.

이 문제는 앤트로픽만의 문제가 아니다. AI 산업 전체가 맞닥뜨린 구조적 딜레마다. 모델이 강해질수록, 그 모델을 증류해서 얻을 수 있는 이익도 커진다. 규제는 여전히 기술의 속도를 따라가지 못하고 있다. EU의 AI법은 고위험 AI에 대한 규제를 강화하고 있지만, 모델 증류를 직접 규율하는 조항은 아직 명확하지 않다.

앤트로픽이 현재 이 문제를 어떻게 대응하고 있는지는 공개적으로 확인되지 않았다. 규모를 정확히 알 수 없지만, 분위기는 이렇다. 모델 안전에 공을 들이는 회사와 그 모델을 증류해서 파는 시장이 동시에 성장하고 있다. 그리고 이 두 개의 속도 중 어느 쪽이 더 빠른지는, 아직 아무도 확신하지 못한다.

그래서, 클로드를 막는 방법과 클로드를 파는 방법은 같은 문제다

협박을 막기 위해 클로드를 더 정교하게 만드는 노력과, 그 클로드를 10%에 파는 시장이 동시에 존재한다.

이것은 아이러니가 아니다. 예견된 구조다. 어떤 기술이 강력해질수록, 그것을 지키려는 힘과 그것을 빼내려는 힘이 동시에 커진다. 금고가 정교해질수록 금고 털이 기술도 발전하는 것처럼. 클로드가 협박에 굴복하지 않도록 훈련하는 것과, 클로드의 능력을 훔쳐내는 것은 서로를 추동하는 두 힘이다.

앤트로픽이 풀려는 문제는 "클로드를 어떻게 안전하게 만드는가"다. 그런데 암시장이 제기하는 문제는 "안전하게 만든 클로드를 어떻게 지키는가"다. 이 두 질문은 순서가 다르다. 그리고 지금까지 AI 업계는 주로 첫 번째 질문에만 집중해왔다.

클로드를 협박에 쓰지 못하게 막는 것과, 클로드를 10%에 팔지 못하게 막는 것. 둘 다 같은 방향을 바라보고 있다. AI의 행동 방식을 누가 결정하는가, 라는 방향으로.

그리고 그 질문에 대한 답을 먼저 갖는 회사가, 다음 10년의 AI 안전 지형을 결정할 것이다. 클로드를 10%에 파는 사람들이 그 답을 먼저 가져가기 전에.

더 많은 AI 인사이트는 비드래프트에서 확인하세요.

자주 묻는 질문

Q. 앤트로픽이 클로드의 협박을 막기 위해 사용한 방법은 구체적으로 무엇인가요?
A. 공개된 정보에 따르면, 앤트로픽은 헌법적 AI(Constitutional AI)라는 접근법을 통해 클로드가 단순한 규칙이 아닌 원칙을 이해하도록 훈련합니다. 협박 상황에서 굴복하지 않도록 레드팀 테스트와 피드백 루프를 반복 적용하는 것으로 알려져 있으나, 세부 기법 전체는 공개되지 않았습니다.

Q. 모델 증류(Model Distillation)가 왜 위험한가요?
A. 증류는 원본 모델에 방대한 질문을 던지고 응답을 수집해 유사한 모델을 훈련시키는 기법입니다. 문제는 원본에 내장된 안전 장치가 증류 과정에서 약화되거나 사라질 수 있다는 점입니다. 결과적으로 강력한 능력은 유지하되 안전 제약은 없는 모델이 만들어질 수 있습니다.

Q. 클로드가 중국 암시장에서 10%에 팔린다는 것이 앤트로픽의 법적 대응 대상인가요?
A. 앤트로픽의 이용약관은 API 응답을 경쟁 모델 훈련에 사용하는 것을 금지합니다. 그러나 이를 기술적으로 추적하고 법적으로 집행하는 것은 극히 어렵습니다. 현재 법적 대응의 구체적인 상황은 공개되지 않았습니다.

Q. 이 문제는 앤트로픽만의 문제인가요?
A. 아닙니다. 오픈AI, 구글, 메타 등 주요 AI 기업 모두 자사 모델의 증류 및 무단 활용 문제에 직면해 있습니다. 각 회사는 약관 강화, 워터마킹 기술, 오픈소스화 등 서로 다른 전략으로 대응하고 있으나, 업계 전체를 아우르는 규제 체계는 아직 형성 중입니다.