요약
앤트로픽이 LLM 응답이 정말 요청한 모델에서 나왔는지 암호로 증명하는 시스템을 공개했습니다.
앤트로픽 프런티어 레드팀이 EPFL·MIT 연구자들과 함께 11월 2일 발표한 연구입니다. 지금은 사용자가 받은 응답을 어떤 모델이 만들었는지 확인할 방법이 없습니다. 연구진은 모델 바꿔치기나 토큰 변조를 잡아낼 수 없다는 점을 문제로 꼽았습니다.
왜 중요한가
- 출시 전후 모델을 시험하는 평가 기관이나 라우팅 서비스 이용자가 돈 낸 모델을 실제로 받았는지 확인할 수 있게 됩니다.
- 같은 모델에서 초당 0.02토큰에 그치던 이전 연구(VerInf)보다 크게 빨라져, 거대 모델에도 적용할 길이 열렸습니다.
핵심 내용
- zkSNARK(계산이 맞다는 사실만 짧은 증명으로 보여 주는 암호 기법)를 쓴 FlashProve라는 시스템입니다.
- 제공자가 가중치 커밋먼트(나중에 바꿀 수 없게 봉인한 값)를 먼저 공개하고, 요청마다 증명을 만듭니다.
- 4비트 Llama 4 Maverick(4,000억 매개변수)을 H100 한 장으로 초당 약 110토큰씩 증명했습니다.
- 비용은 vLLM보다 GPU당 70~95배 들고, 검증은 CPU만으로 증명 하나에 17초(24스레드)가 걸립니다.
- 정수 모델과 가장 확률 높은 토큰만 고르는 방식만 다루며, 문맥은 1,024토큰까지이고 아키텍처는 숨기지 못합니다.
HN 반응
- 오픈 웨이트 모델은 다른 제공자가 같은 계산을 다시 돌리는 편이 훨씬 싸다는 지적에, 큰 모델을 돌릴 수 없는 고객에게는 CPU 검증이 낫다는 반론이 나왔습니다.
- 제공자를 못 믿으면 데이터를 맡기는 것부터 문제라는 회의론과, 몰래 양자화한 모델이나 Claude 사칭 재판매 업체를 잡을 수 있다는 반박이 맞섰습니다.
저는 몇 년째 간간이 증명 가능한 추론(과 학습)의 필요성에 대해 글을 써 왔습니다. 이번 소식은 반갑고 좋은 출발이며, 이전 영지식 증명(zk) 결과에 비하면 상당한 개선입니다.
폐쇄형 모델 제공자의 추론 증명은 오픈 모델 제공자보다 훨씬 어렵습니다. 배치 처리를 하지 않은 같은 프롬프트를 독립된 추론 제공자 네 곳에서 돌리면, 이 90~100배짜리 연산 부담보다 훨씬 싸게 확률적 증명을 얻을 수 있으니까요.
앤트로픽 같은 곳은 이런 증명에서 또 하나 큰 문제를 안고 있습니다. 내부적으로 프롬프트 앞부분 일부를 비밀로 해야 할 동기가 크다는 점입니다. 이번 새 방식이 증명을 하면서도 프롬프트 일부를 숨길 방법이 있는지는 제가 아직 꼼꼼히 읽어 보지 못해 모르겠습니다. 하지만 그런 방법이 없다면, 일반적인 경우에 이런 증명을 바깥에 내보내고 싶어 하지 않을 게 거의 확실합니다.
마지막으로 이 자리를 빌려 연구자분들께 한마디만 하겠습니다. 증명 가능한 추론도 좋지만, 증명 가능한 학습 말뭉치 정보가 있다면 정말 대단할 겁니다. 모델 가중치 묶음을 내놓으면서 이 가중치가 오직 특정 데이터셋으로만 학습되었다는 증명까지 함께 제시할 수 있다면 정말, 정말, 정말 좋겠습니다. 아주 어려운 문제라는 건 압니다. 하지만 이게 된다면 어떤 가중치를 어느 수준까지 신뢰할 수 있느냐가 근본적으로 달라질 겁니다.
> 모델 가중치 묶음을 내놓으면서 이 가중치가 오직 특정 데이터셋으로만 학습되었다는 증명까지 함께 제시할 수 있다면 정말, 정말, 정말 좋겠습니다. 아주 어려운 문제라는 건 압니다. 하지만 이게 된다면 어떤 가중치를 어느 수준까지 신뢰할 수 있느냐가 근본적으로 달라질 겁니다.
그렇게 어려운가요? 영지식 증명(ZKP)은 늘 막다른 길 같은 물건이었는데, 그걸로 전부 해결하려 들지 말고 엔비디아의 원격 증명/엔클레이브 지원을 쓰면 그리 어려워 보이지 않거든요. 기밀 컴퓨팅(CC)은 오버헤드가 2%인데, ZKP는 100배 이상에 증명 크기가 기가바이트 단위예요. 추론만 해도 그렇습니다. 경쟁이 안 되는 거죠.
학습에 대해서는 누가 관심이나 가질지 정말 회의적이에요. 학습에 쓴 데이터셋의 증명을 진심으로 간절히 원하는 사람이 어딘가 있다면 얘기해 보고 싶긴 합니다만, 가치는 대부분 오픈 가중치 추론 제공자 쪽에 있어 보여요. 어떤 가중치를 서비스하는지 증명할 수 있고, 사용자의 프롬프트를 볼 수 없다는 것도 증명할 수 있으니까요. 듣도 보도 못한 LLM 클라우드 서비스를 쓰는 위험이 크게 줄어들 겁니다.
안타깝게도 이 바닥에서 여러 해를 굴러 보니 저도 늙고 냉소적이 됐네요. 말로 밝힌 선호와 행동으로 드러난 선호가 너무 크게 어긋나거든요. 대다수는 이론상으로는 프라이버시를 원한다고 말하지만, 막상 그걸 얻으려고 무언가를 포기하지는 않아요. 특히 편의성은 절대 내놓지 않죠.
ZKP가 잘못된 접근이라는 데 동의해요. 대부분의 사람이 신경 쓰지 않는다는 것도요.
출처 증명이 딸린 가중치 묶음을 믿을 수 있게 해 주는 계획이 있다면 정말 읽어 보고 싶어요. 쓰기도 쉽고 떠올리기도 쉬운 방법이었다 해도, 당신을 기꺼이 천재라고 부를 거예요. 제가 생각해 본 방법은 전부 너무 어려워 보이거든요.
젠장, 피터, 덕분에 제가 낚였잖아요. 어떤 아이디어를 보고 계셨나요?
제가 쓸 아키텍처는 이렇습니다. 짧게 GPT와 대화해 보고 이해한 바로는, 엔비디아가 지금 권장하는 스택이자 가장 성숙해 보이는 구성을 기준으로 했습니다.
기본적으로는 Blackwell에 연결된 Xeon 6(Granite Rapids)를 잔뜩 깔고 시작합니다. AMD로도 할 수 있지만 AMD 스택은 덜 믿습니다. 이렇게 하면 출발점으로 이제 꽤 성숙한 TDX를 쓸 수 있습니다. 아주 최소한의 리눅스 이미지를 만들어서, OS가 부팅되자마자 곧바로 학습 서버를 실행하게 합니다. 디스크 이미지가 커널 이미지에 의해 보증되도록 dm-verity나 IMA 같은 통상적인 장치도 필요합니다. 이미지에는 엔비디아 드라이버와 증명 SDK도 들어갑니다. 이 모두를 GPU 패스스루를 붙인 TDX VM 안에서 부팅합니다. 현재는 암호화된 바운스 버퍼를 쓰는 걸로 알고 있어서 성능 손실이 어느 정도 있겠지만, 그걸 없애는 PCIe 확장이 있다고 합니다(조사는 안 해 봤습니다).
핵심은 엔비디아의 원격 증명(RA)과 인텔의 RA를 결합하는 것입니다. 가장 좋은 방법은 GPU 증명 과정에서 나온 증거를 해시해서, 통상적인 요소(예: ECC 공개키, 논스)도 담고 있는 중간 데이터 구조에 넣고, 그 구조 자체를 다시 해시해서 TDX RA의 사용자 슬롯에 넣은 뒤 전부 하나로 묶는 것입니다. 이렇게 하면 단일한 초대형(über) 데이터 구조가 생기고, 이것으로 주어진 공개키가 CC 모드로 동작하는 진짜 엔비디아 GPU에 연결된 진짜 Xeon TDX VM 안에서 생성되었음을 증명할 수 있습니다. 이 데이터 조각들은 검증기를 구현할 때 편하도록 그냥 zip 파일 하나로 모으겠습니다. 이 전체에 RFC 3161 타임스탬프를 붙이는 것도 고려해 볼 만합니다. 이런 용도의 RA 프로토콜은 늘 대단히 까다롭습니다. 뭔가를 확정하기 전에 꼼꼼한 설계 작업이 필요하니, 이 댓글을 너무 곧이곧대로 받아들이지는 마세요.
이제 TDX RA는 (dm-verity 루트를 통해, 즉 커널 인자와 해시를 통해 간접적으로) 학습 서버를 보증합니다. 이 서버는 무엇일까요? 학습 코드(예: PyTorch)에 문서 배치를 받는 서버를 합친 것이고, 더 고급 학습이라면 AllReduce 트래픽 같은 것도 받을 수 있습니다. 문서 배치를 받을 때마다 각 문서는 해시되어 정렬된 머클 트리에 들어갑니다. 그런 다음 GPU에서 가중치 업데이트를 계산하고, 그 결과는 두 번째 누산기에 해시로 쌓습니다.
각 노드는 블록체인 같은 로그를 만듭니다. 로그의 각 레코드는 TDX RA에 내장된 정적 키로 서명되고, 이전 레코드의 해시를 가리키며, 머클 루트의 현재 값과 가중치 누산기의 현재 값을 담습니다. 검증자는 학습 세트를 올바른 순서로 직접 훑으면서 텍스트를 해시해 루트를 재구성할 수 있습니다. 이런 건 이미 잘 아실 테니 자세한 내용은 생략하겠습니다.
병렬 처리와 관련된 세부 사항은 상당 부분 대충 얼버무리고 있습니다. 노드가 많은 대규모 학습이라면 해결해야 할 세부 사항이 한둘이 아닙니다. 예를 들어 학습 서버들이 클러스터에 합류하기 전에 서로의 원격 증명을 검증하게 해야 합니다. AllReduce 단계에서도 노드는 그래디언트를 받아들이기 전에 그 데이터가 인증된 TDX VM에서 왔는지 확인해야 합니다.
아무튼 가중치 업데이트는 가끔씩 적용해야 하고, 로그에는 그 체크포인트 시점의 전체 가중치 해시도 기록합니다. 최종 모델 사용자는 가중치와 함께 학습 중에 생성된 서명된 로그를 받을 수 있습니다. 사용자는 연쇄된 RA를 검증하고, 로그의 서명을 검증하고, 원한다면 공개된 학습 세트에 있는 문서 해시 [일부]를 검증합니다.
각 배치의 문서 머클 트리는 정렬되어 있으므로 포함 증명과 배제 증명을 모두 만들 수 있습니다. 포함은 머클 가지만 빠르게 확인하면 되지만, 배제 증명은 모든 배치를 하나하나 확인해야 하니 검증 비용이 더 큽니다. 다만 배제 확인은 병렬로 할 수 있습니다. 보통 ML에서는 문서를 정렬하지 않고 섞지만, 학습 서버가 로그 항목의 머클 트리를 만들 때는 집합을 정렬하고, GPU에는 섞인 순서로 넘겨주면 됩니다.
배제 증명에서 더 큰 문제는 SHA256이 너무 경직되어 있다는 점입니다. 나란히 돌릴 simhashing 같은 방식이 필요할지도 모릅니다. 잘 모르겠습니다. 요구 사항이 더 엄밀하게 정해져야 합니다.
대부분은 자기에게 선택권이 있다는 사실조차 모르고, 자신에게 가장 이로운 선택을 할 만큼 교육도 받지 못했습니다. 많은 사람에게 패스트푸드가 건강한 집밥을 제치고 주식이 되어 버렸듯이요.
건강하고 안전한 선택지를 만들고 그것을 기본값으로 삼는 일이야말로 가장 중요한 일 가운데 하나입니다.
벤치마크 수치를 비교해 볼 수 있다면 환상적일 겁니다. 지금처럼 “날 믿어, 친구” 식의 경제 구조에서는 그런 숫자를 홍보로 받아들이는 것 말고는 달리 선택지가 별로 없습니다.
저는 이 문제를 정면으로 공격적으로 파고들고 있어요. https://github.com/emberian/whatember 가 최상위 목차입니다. 파서와 다른 오토마타를 산술화(arithmetize)해서 학습 세트, 추론 요청 등에 대한 의미 술어(그래프 재작성 포함!)를 쓰는 식의 작업들이에요.
감사합니다! 살펴볼게요. 정말 흥미롭네요.
기술 보고서에서 $ETH를 언급한 건 압니다. 하지만 이건 비싸게 만드는 게 본질인 암호화폐 작업증명(PoW)의 메커니즘 그 자체예요.
발표 때는 지금 서비스되는 모델이 Opus가 아니라 정말 Fable이 맞는지 오버헤드 5% 수준으로 검증해 주길 기대했습니다.
양자화 이야기가 눈에 띄었어요. 좋은 컨텍스트 크기에서 나쁜 크기로 넘어가는 경계가 너무 칼같이 갈려서, 긴 컨텍스트 요청은 KV 캐시 공간을 더 확보하려고 양자화된 모델로 보내는 게 아닌가 싶을 정도였거든요. 이런 증명이 있다면 그런 수법을 들킬 겁니다. 같은 GPU로 짧은 컨텍스트 벤치마크 성적은 더 좋게 내고, 긴 컨텍스트에서는 슬그머니 성능이 떨어지게 하는 수법 말이에요.
저희 회사에서는 BaseTen, Fireworks, Together가 왜 Inkling 가중치를 서로 다르게 서비스하는지 조금 파헤쳐 봤습니다[1]. 짐작으로는 긴 컨텍스트 작업에서 분리형 프리필(+스트리밍)을 하는 방식과 양자화가 겹친 문제였어요.
[1] - https://isotopes.ai/blog/everyone-is-selling-the-same-model-but-are-they
아니요, PoW와는 전혀 상관없습니다. PoW는 본질적으로 쓸모없지만 아주 어려운 계산을 해서 그만큼 시간을 썼다는 걸 증명하는 건데, 확인은 간단합니다.
ZKP는 검증하는 데도 비싸고 생성하는 데는 훨씬 더 비쌉니다. 문제 자체가 본질적으로 연산량이 어마어마하기 때문입니다. 생태계는 더 빠른 방법이 나오면 곧바로 갈아탈 겁니다. 계산 시간은 장점이 아니라 결함으로 여겨지니까요.
오픈 가중치 모델이라면 증명 가능한 추론은 아주 간단해요. 그냥 계산을 다시 하면 됩니다! 훨씬 빠르고 싸고, 대단한 암호학도 필요 없고, 결정론적 추론만 있으면 되죠(꼼꼼히 읽어 보면 ZKP 방식도 이게 필요해요). https://lukechampine.com/repligraphs 를 보세요.
물론 오픈AI나 앤트로픽이 가까운 시일 내에 오픈 가중치 모델을 내놓을 가능성은 낮죠. 그러면 a) 화려한 ZKP, b) 서명된 응답, c) 여러 추론 제공자의 결과 비교 중에서 골라야 해요.
어떤 방법이 쓰이게 되든, 증명 가능한 추론의 어떤 형태는 불가피하다고 봐요. 사람들이 아직 그 더 중요한 응용을 눈치채지 못했을 뿐, 곧 알게 될 거예요. (이 글에서도 그중 하나인 모델 기반 감사를 다루고 있어요.) 생각해 보세요. 특정한 정신이 특정한 산출물을 썼다는 걸 증명할 수 있다는 거예요. 예전에는 한 번도 불가능했던 일이죠! 멜빌이 모비 딕을 썼다는 건 증명할 수 없지만, Claude가 시를 썼다거나, Gemini가 풀 리퀘스트를 승인했다거나, GPT가 어떤 평가에서 특정 점수를 받았다는 건 증명할 수 있어요. 이건 암호학적 서명보다 더 강력한 기본 요소예요.
지금은 출력에 서명만 해 두고 일정 유예 기간이 지난 뒤 모델을 공개하면 이 문제는 피해 갈 수 있습니다. 공개된 모델의 출력이 일치하지 않거나 그 사이에 암호화 방식이 뚫리면 계약상 위약금을 물게 하는 장치도 함께 두고요. 다만 이런 보장은 별 가치가 없을 겁니다. 그 책임을 떠안고 부도를 내 버릴 배드 뱅크로 옮겨 놓으면 그만이니까요.
다시 돌리는 게 더 싼가요?
클라이언트 입장에서는 재처리보다 검증이 훨씬 쌀 수도 있을 것 같은데요.
클라이언트는 계산이 서비스 제공자 쪽에서 이뤄지더라도 어차피 그 연산 비용을 내는 겁니다. 같은 계산을 두 번 돌리면(다른 제공자에게 시킬 수도 있겠죠) 비용이 2배인데, 제공자에게 이 증명을 만들어 달라고 하면 기사에 따르면 비용이 70~95배로 늘어납니다.
그 정도 오버헤드라면 연산 자원을 구하는 다른 온갖 비효율적인 방법들이 오히려 비슷하게 싸 보이기 시작합니다. 진전이긴 하지만 실용화하려면 아직 백 배쯤 개선이 필요합니다. 이 증명으로 얻는 이점이 비용 70배, 아니 7배 증가를 감수할 만한 사용처는 저는 보이지 않습니다.
CPU와 GPU를 비교하는 거라 조건이 같지는 않아요. 하지만 실제 걸리는 시간만 보면 추론 한 번이 17초보다 훨씬 빠른 건 분명합니다. 게다가 증명 생성 단계가 있는데, 글에서는 응답 자체를 생성하는 것보다 약 100배 느리다고 하고요.
토큰 1024개에 단일 코어로 21초면 검증 속도가 초당 50토큰쯤이고 다운로드는 6.5메가예요. 4비트 400B 모델에서 그 속도가 나오지는 않을 거라고 꽤 확신하는데, 어쩌면 나올 수도 있겠네요. 저는 그쪽 성능을 그렇게 열심히 챙겨 보지 않아서요. 다만 이걸 처리하려면 엄청난 양의 램이 필요할 거예요.
맞아요, 생성은 더 느리지만 여기서는 검증 자체가 출력을 다시 생성하는 것보다 효율적이라고 봅니다.
더 큰 요인은 (제가 이해한 바로는) ZKP 기반 검증은 출력 크기와 무관하게 시간이 일정하다는 점이에요. 상수가 합리적이기만 하다면 재생성 기반 검증보다 확실히 낫죠. 그리고 덩치 큰 GPU 없이 일반 소비자용 하드웨어에서 검증할 수 있다는 점도 중요해요.
저는 두 방식이 모두 설 자리가 있다고 생각해요. 결정론적 추론에는 출력을 입력+모델로 “압축”한다든지, 조정 문제를 푸는 것 같은 좀 더 난해한 응용 같은 다른 이점도 있어요. 하지만 진짜 최첨단 모델에서 빠른 ZKP가 나온다면 저는 기뻐서 날뛸 거예요!
8xB100에서 이뤄진 계산을 다시 돌려 보시겠다고요? 본인이 클라우드 제공자가 아니라면 행운을 빕니다.
처음에는 LLM 출력이 어떤 진실의 원천에 비추어 올바르다는 것을 증명하는, 훨씬 더 중요한 문제를 다룬 연구인 줄 알았습니다. 그런데 이건 어떤 모델이 쓰이고 있는지 ‘증명’하는, 사소한 문제에 관한 것입니다.
누가 이걸 유용하게 쓸까요? 저는 쓸모를 생각해 내기 어렵습니다. 모델 제공자를 못 믿는다면 어차피 끝난 게임이거든요. 이미 온갖 사적인 데이터를 넘겨주고 있고, 그 서비스에 의존하고 있고, 어느 정도는 믿을 수밖에 없는데, 서비스를 직접 운영하는 게 아닌 이상 이건 별 도움이 되지 않습니다. 다른 사람들이 관심 가질 만한 것이라기보다 앤트로픽의 내부 문제처럼 보입니다.
주된 이점은 다음과 같습니다.
모델이 제대로 돌아가고 있다는 것을 증명해 줍니다. 부동소수점 연산은 하드웨어 제공자마다 조금씩 어긋나기 쉽고, 텐서 연산은 표준화 환경이 비교적 새롭고 불안정해서 그 정도가 더 심합니다. 그래서 이 증명은 사용자의 하드웨어 구성이 출력을 올바르게 내고 있다는 걸 증명해 줍니다. 즉 현재로서는 검증 환경이 전혀 간단하지 않은데, 이건 그 좋은 테스트가 됩니다.
외부 제공자가 말한 대로 추론을 하고 있다는 것을 증명해 줍니다. 양자화하면 증명이 깨지고 양자화 버전에는 새로 갱신한 증명 서명을 써야 하므로, 모델 제공자가 몰래 뒤에서 양자화한 버전을 돌린다는 우려가 사라집니다.
파인튜닝되거나 변조된 모델도 마찬가지입니다. 아예 다른 모델로 바꿔치기하는 경우도 그렇고요(예를 들어 OAI와 앤트로픽이 Kimi와 DS 등이 지식 증류용 응답을 수집하려고 요청을 주기적으로 자기들 플랫폼으로 넘긴다고 주장한 일).
장난감 단계를 벗어나 실제 운영이 가능한 수준까지 발전한다면, 전체적으로 이것은 괜찮은 신뢰 사슬 도구입니다(지금은 정수 가중치만 되고 컨텍스트 1k 제한이라 현재로서는 사실상 쓸모가 없으니까요).
저는 대부분의 사람이 모델을 쓸 때 겪는 문제에 이게 유용하다고 확신하지 못하겠습니다. 솔직히 아주 틈새의 학술적 관심사로 보이고, 별로 증명하는 것도 없는 일을 위해 지나치게 복잡한 시스템을 만든 것 같습니다.
제공자의 걱정거리이자 개발자의 걱정거리입니다. 인프라가 깨진 증명을 내놓고 있다면, SLA 위반에 대한 보상을 요구할 근거가 될 수 있습니다.
모델이 매주 바뀌는 건 폐쇄형 최첨단 모델뿐이고, 그 경우에도 최소한 관측 가능성을 위해서라도 모델 “하위 버전”을 알려야 합니다.
이건 사실과 맞지 않습니다. Kimi와 DS는 모델을 월 단위나 격주 단위로 출시하고, 여전히 DS-v4.1-Flash 같은 이름이라 해도 내부적으로는 DS-v4.1-Flash-1017처럼 날짜 코드 등으로 어떤 모델인지 구분되는 식별자가 있습니다. 그 식별자는 사용자에게 공개되며, 사용자가 그 모델 버전을 명시적으로 요청할 수도 있습니다.
마치 제공자의 추론 스택에 버그나 결함이 있어도 고객인 당신에게는 아무 영향이 없는 것처럼 말씀하시네요.
네, 제공자가 엉터리 추론을 서비스하고 있다면, 조금이라도 탐지가 가능한 경우에는 아마 SLA 위반으로 칠 겁니다.
AI 개발을 일시 중단하게 되었을 때, 알려진 모델로 추론이 이뤄지고 있는지 확인해야 하는 경우의 감사에도 유용합니다.
예를 들어 Claude(중국에서는 공식적으로 이용할 수 없습니다) 접근을 제공하겠다고 약속해 놓고 다른 것으로 바꿔치기해서 사용자를 속이는 중국 리셀러들이 있습니다. 여러모로 수상쩍은 업체들이긴 하지만, 이론적으로는 이런 사기 한 가지는 막을 수 있을 겁니다.
오픈라우터와 파이어웍스 사용자에게도 추가적인 보증이 될 수 있겠고요.
하지만 그런 업체를 쓰고 있다면 이미 데이터를 빼돌리고 있을 가능성이 높아요. 가짜 모델은 그중 가장 작은 문제죠.
이런 질문을 하기 전에 첫 문단 너머까지 읽어 볼 만합니다.
서론의 첫 문단에 나오는 내용입니다.
저는 어느 것도 설득력 있게 느껴지지 않았습니다. 당신은 그렇게 느끼실 수도 있겠죠. 제가 실제로 묻고 싶었던 건 바로 그겁니다. 이 사용처 중 당신에게 가치 있는 것은 무엇이냐는 거죠.
저는 라우팅 서비스를 쓴다면 그쪽을 믿어야 한다고 생각합니다. 입력과 출력을 전부 보니까요.
사이버 공격자가 토큰 스트림을 조작할 수 있다면(즉 당신의 트래픽에 중간자 공격을 한다면), 어떤 모델을 쓰는지보다 훨씬 더 걱정할 게 많아야 합니다!
/r/claude나 /r/codex 글의 절반이 모델이 “뇌수술을 당했다”는 불평인 걸 보면, 이게 세상에서 가장 가치 있는 물건이라고 생각할 법도 하죠!
진지하게 말하면 이건 대체로 다층 방어 차원의 문제예요. 게다가 침해된 제공자를 통한 데이터 유출은 악성 도구 호출을 통한 프롬프트 인젝션과는 전혀 다른 종류의 취약점이고요.