요약
브라질 법원이 AI를 속이려고 서면에 흰 글씨 지시문을 숨긴 변호사들에게 약 1만 6천 달러의 벌금을 물렸습니다.
브라질 파라우아페바스의 제3노동법원이 내린 판결입니다. AI 보안 기업 제트스트림 시큐리티의 법무 책임자 패트릭 젤러가 판결문 번역본과 브라질 언론 G1의 보도를 바탕으로 사건을 소개했습니다.
왜 중요한가
- 저자는 프롬프트 인젝션(문서에 숨긴 지시로 AI를 조종하는 공격)을 다룬 세계 최초의 판결일 수 있다고 봅니다.
- 법원에 낸 서면의 정직성 의무가 기계가 읽는 내용까지 미친다는 원칙을 확인한 사례입니다.
- 저자는 외부 문서를 AI로 처리하는 기업도 조작 시도를 감시할 장치를 갖춰야 한다고 권고합니다.
핵심 내용
- 변호사 두 명은 고용 소송 서면에 AI더러 대충 답하고 서류에 이의를 달지 말라는 문장을 흰 바탕에 흰 글씨로 넣었습니다.
- 법원은 판사가 전국 단위 생성형 AI 도구 Galileu로 서면을 검토하던 중 이 문구를 탐지했다고 밝혔습니다.
- G1 보도에 따르면 Galileu는 경고를 띄우고 의심스러운 내용의 처리를 자동으로 막았습니다.
- 벌금은 청구액 84만 2천 헤알의 10%로, 약 1만 6천 달러입니다.
- 법원은 신의성실 의무를 정한 민사소송법 제5조와 사법 절차 방해를 금지한 제77조를 근거로 들었습니다.
HN 반응
- 판사에게 직접 부탁하는 것과 무엇이 다르냐는 물음에, 몰래 숨겨 법원 도구를 노린 기만이자 해킹 시도에 가깝다는 답이 이어졌습니다.
- 문서를 이미지로 바꿔 AI에게 읽히면 숨은 글자를 없앨 수 있다는 조언이 나왔고, 일부 공격만 막을 뿐이라는 지적도 있었습니다.
저는 변호사가 아니라서 하는 말인데, 이걸 직접 대놓고 요구하는 것도 과태료를 물 만한 일인지 궁금해요. 물론 그런 짓을 할 사람은 없겠죠. 제다이의 힘이라도 가졌다고 믿는 사람처럼 보일 테니까요. 그런데 (다시 말하지만 변호사는 아닙니다) 그게 불법이라는 생각은 안 들거든요.
그런데 왜 AI한테 하면 문제가 되는 걸까요?
브라질 법체계는 전혀 모릅니다. 영국(잉글랜드·웨일스)이나 미국에서는 변호사가 법원의 일원(officer of the court)이라서, 진실을 밝힐 의무가 있고 의뢰인의 이익보다 사법 체계의 신뢰성을 앞세워야 합니다.
그 문단은 애초에 판사나 상대측 변호인이 읽으라고 넣은 것이 아닙니다. 서면을 분석하는 도구를 일부러 교란하려는 시도입니다. 게다가 흰 배경에 흰 글씨였다면 기만하려는 의도가 명백합니다.
법률 문서 분석을 AI에 맡기는 게 얼마나 현명한지는 따로 논의할 수 있겠지만, 노골적인 기만을 법원이 어떻게 다뤄야 하는지가 그것 때문에 달라지지는 않습니다.
스리랑카 변호사입니다. 우리도 책임은 영국과 비슷합니다. 법원의 일원으로서 지는 의무가 가장 우선합니다. 이런 식으로 법원 절차를 훼손하려 들면 제재를 받고, 심하면 변호사 자격 박탈까지 갑니다.
유럽 대륙법 국가에서는 변호사를 흔히 법원의 일원으로 보지는 않습니다(그건 영미법의 개념입니다). 그래도 사법 체계의 구성원("participants")으로는 여기기 때문에, 일반인보다 한 단계 높은 협력 의무를 변호사에게 기대합니다. 그러니 이 브라질 변호사들처럼 이런 시도를 하면 아마 변호사 자격 박탈, 아니면 그에 가까운 처분을 받을 겁니다. 그게 당연하고 마땅하다고 봅니다. 변호사라는 이유로 사법 체계에서 특별한 권리를 누리면서 그 권리를 악용하고 규칙은 지키지 않겠다면 안 되죠. 조치의 수위는 나라마다 확연히 다릅니다. 예를 들어 영국에서는 의뢰인이 (선서를 하고 말하는 등) 법원에 거짓말을 하고 있고 변호사가 그 사실을 안다면, 그 의뢰인의 대리를 거절해야 합니다. 거절하지 않으면 행동강령 위반으로 징계를 받습니다. https://www.sra.org.uk/solicitors/standards-regulations/code-conduct-solicitors/ 의 1.4를 보세요. 이것이 법원의 일원이라는 말의 의미입니다. 하지만 헝가리는 다릅니다. 형사 사건에서 변호인은, 설령 의심스러운 지시라 해도 의뢰인이 시키는 대로 변호해야 합니다. "8.12. 변호인은 직무를 수행할 때 의뢰인의 사실관계 진술과 모순되는 입장을 취해서는 안 된다. 의뢰인이 혐의를 부인하는 경우에도, 변호인은 의뢰인에게 형사책임이 없다는 점을 의심한다는 인상을 줄 수 있는 행위나 피고인의 유죄를 시사할 수 있는 행위를 해서는 안 된다." 이렇게 변호사가 무엇이냐는 나라마다 꽤 다릅니다. 그래도 이번 사건의 변호사들 같은 행동은 어느 관할권에서든 변호사에게 특별한 권리를 줄 이유가 되지 못하니, 대체로 허용되지 않아야 합니다.
그런데 영미법에서 법원의 일원이라는 원칙을 들여온 다른 대륙법 관할권도 일부 있습니다.
가정해 보면, 변호사 없이 직접 소송을 하는 당사자에게는 이게 어떻게 적용될까요?
똑같이 적용되지 않을까요?
절차상 실수는 소송의 취지를 지키려고 애쓰는 본인소송 당사자(pro se)에게 판사가 좀 더 너그럽게 봐줄 수 있겠지만, 잔꾀를 부리는 사람은 그런 운을 기대하기 어렵습니다. "창의적으로" 굴다 처음 걸리면 기껏해야 엄중한 경고를 받는 정도겠죠.
아마 직접 사람에게 요구하면 하나의 요청(아무리 무리한 요청이라도)으로 받아들여질 겁니다. 많은 관할권에서 절차 위반으로 보고 판사에게 꾸지람을 들을 것 같고, 여러 번 반복하면 더 실질적인 불이익이 따를 거라고 생각해요.
프롬프트 인젝션 공격으로 LLM에게 시키는 건 무리한 요청이라기보다, 법원의 기반 시설과 절차를 허물려는 적극적인 시도에 가깝습니다.
저도 변호사는 아니고, 그냥 제 직감입니다.
법원은 이걸 사람에게 하는 말(그런 말은 사람이 "ㅋㅋ 싫은데요" 하고 넘기면 그만이니까)이라기보다, 영어 단어를 공격 수단으로 쓴 해킹 시도로 본 것 같아요.
그러니 더 나은 비유는 법원의 문서 열람 소프트웨어에서 버퍼 오버플로와 RCE를 일으키려고 문서에 특정 바이트열을 심어 놓은 경우일 겁니다.
기사에 법원이 적용한 법 조항이 인용돼 있는데, 요약하면 "변호사는 재판 절차를 방해하는 어떤 행위도 해서는 안 된다"입니다.
그런 점에서 공격 수단이 사람의 언어였다는 사실보다 법원의 소프트웨어를 노렸다는 사실이 더 중요하다고 봅니다.
제가 드리는 보안 조언은 이렇습니다. 작성자가 악의를 품었을 수 있는 문서를 AI에 넣어야 한다면, 사진으로 바꿔서 OCR을 돌리세요. 낭비고 느리긴 하지만, 보이지 않는 (메타)데이터를 확실히 없애는 방법입니다.
OCR 결과가 사람 눈에 보이는 것과 완벽하게 일대일로 맞지는 않지만, 2026년 11월 현재 기준으로는 꽤 좋은 근사치라고 봅니다.
그리고 LLM 기반 비전 모델이 OCR 관련 작업 거의 전부에서 OCR보다 놀랄 만큼 낫습니다. 품질에서 손해 보는 건 거의 없고 속도만 느려요.
맞아요, LLM 쪽에서는 OCR을 더 이상 안 쓴다는 걸 몰랐네요. 네, 제가 말한 건 비전 모델이에요.
글쎄요, OCR은 LLM처럼 애플리케이션 이름입니다. LLM에서 돌아가는 것과 같은 신경망으로 문서 사진을 해석한다면 그게 OCR이에요.
"LLM"이 뭘 뜻하는지 혼동하고 계신 것 같네요 [1]
1: https://en.wikipedia.org/wiki/Large_language_model
일부 공격은 막아 주겠지만 만병통치약으로 보면 안 됩니다.
사람들은 이걸 보고 "나쁜 변호사들이네, 이러면 안 되지" 하겠죠. 하지만 이건 광고 산업(아니면 소셜 미디어 전체)이 돌아가는 방식 그대로라는 걸 짚고 싶습니다. 사람을 은근히(혹은 별로 은근하지도 않게) 조종해서 제3자에게 유리한 행동을 하게 만드니까요.
"광고는 불법이 아니잖아요"라고 반박할 수도 있지만, 그 말은 광고가 최소한만 성실하고 최대한 조작적이라고 각오하라는 얘기와 다르지 않습니다. 다시 말해 경제·사회 주체는 법이 허용하는 범위 안에서(더 나쁘게는 비용 대비 이익이 최적인 곳이면 어디서든) 뭐든 해도 된다는 거죠. 진실이든 어떤 상위 가치든 철저히 무시하는 태도는 결국 지금 같은 부패 상태로 이어질 수밖에 없었습니다. AI는 그걸 더 쉽게 만들 뿐이고요.
백 퍼센트 공감합니다. 마케팅은 순수하게 사실만 말하도록 규제해야 해요. 속임수는 안 됩니다. 이게 제품이다, 이런 기능을 한다. 남들보다 잘한다면 정확히 어떻게 다른지 보여 주되, 더 좋다고는 말하지 않는 거죠(주관적이니까요). 제품이 실제와 다른 것이라고 믿게 만들려고 하면 안 됩니다.
마케팅에는 더 강한 책임도 따라야 합니다. 어떤 방식으로 무언가를 해 준다고 해 놓고 제대로 못 하면, 소비자 보호법이 지금보다 훨씬 강력해야 해요. 유럽도 마찬가지고요.
"순수하게 사실"이 무슨 뜻인가요? 화려한 로고와, 해변에서 비키니 차림의 여성들이 그 제품을 병째 마시는 사진은 사실을 주장하는 게 아니라고 볼 수도 있잖아요.
쉽습니다. 광고에서 의도적으로 넣은 요소들이 의도적으로 진실하고 제품을 정확히 보여 주려는 것이었습니까?
지금은 평균적인 소비자가 제품에 대해 잘못된 인상을 받는지 보려고 디자인과 포커스 그룹 조사에 큰돈을 쓰잖아요. 그걸 정반대로 해야 합니다. 광고에 큰돈을 쓴다면(포커스 그룹 조사 같은 걸 하는 게 합리적일 만큼이라면), 소비자가 제품에 갖는 인상이 법정에서 부인하지 않을 만한 것이 될 때까지 포커스 그룹 조사를 해야 한다는 겁니다.
해변에서 청량음료를 마시며 즐거워하는 사람들을 보여 주는 게 정확한가요, 부정확한가요?
왜 해변에서 청량음료를 마시며 즐거워하는 사람들을 보여 줬을까요? 소비자가 사실이 아닌 것을 믿거나 잘못된 인상을 받게 하려던 건가요?
그리고 왜 음료를 보여 주고 맛과 성분을 설명하는 순수하게 정보 전달 위주의 광고 대신 그걸 택했을까요? 그런 광고라면 저는 분명히 괜찮다고 봅니다.
해변에서 즐거워하는 사람들을 보여 주는 광고가 광고를 본 소비자의 인상에 비추어 의도적으로 진실하고 왜곡이 없다는 점은 광고주가 입증해야 합니다. 그 질문에 답해 줄 포커스 그룹도 분명히 있을 겁니다. 그쪽에 물어보세요.
해변에서 즐거워하는 사람들을 보여 주는 광고가 광고를 본 소비자의 인상에 비추어 의도적으로 진실하고 왜곡이 없다는 점은 광고주가 입증해야 합니다
몇 년이고 끝없이 이어질 수 있는 법정 싸움처럼 들리네요. 그리고 결국 광고주가 이길 것 같습니다. 해변에서 즐거워하며 음료를 즐기는 모습이 제품의 의도된 사용법이라고 변호하면 되니까요.
그런데 이게 쉬운 일이라고요? 광고하는 회사가 수백만 곳인데, 정부가 그 전부를 상대로 긴 법정 싸움을 벌여 의도를 입증하겠다는 건가요?
훨씬 단순한 사안에서도 기만하려는 의도를 입증하기는 거의 불가능합니다. 당신이 제안한 건 터무니없고 가혹하며, 사실상 모든 미디어를 폐쇄하고 검열 기구를 세우지 않고서는 전혀 효과가 없을 겁니다. 표현의 자유는 어디 갔나요!
네, 아주 쉽습니다. "광고를 변호할 수 있다"는 제가 제안한 기준이 아닙니다. 그건 지금의 기준이고, 말씀하신 대로 통과하지 못하는 게 사실상 불가능하죠. 지니도 감탄할 만큼 최악의 상황을 가정해 억지 해석만 만들어 낼 수 있으면, 분명히 의도적으로 기만적인 표현도 빠져나갑니다.
아시다시피 거짓된 상업적 표현은 이미 표현의 자유로 보호받지 못하고, 그게 마땅합니다. 그런데 그 기준이 거짓말쟁이에게 유리하고 사회에 해롭도록 완전히 무뎌져서, 아이들도 알아챌 만큼 뻔한 기만 시도조차 잡아내지 못합니다. 더 미묘한 시도는 말할 것도 없고요.
대신 기준을 강화해야 합니다. 상업적 표현은 기만적이지 않고 소비하기에 안전하다는 점을, 제작에 투입한 자원에 합리적으로 비례해서 적극적으로 "입증"해야 합니다. 지금은 자원을 더 들일수록 더 기만적이 되지만, 자원을 더 들일수록 더 진실하고 정확하며 오해의 여지가 적어져야 합니다.
진실에 관심이 있는 사람에게는 어렵지 않게 충족할 수 있는 기준입니다. 신중한 쪽으로 기울어 담백하게 정보만 전달하는 표현은 당연히 허용됩니다. 상당한 비용을 들여 광고를 만든다면, 포커스 그룹 예산을 목표 소비자를 철저히 속이는 데 쓰는 대신, 소비자가 법정에서 당신도 인정할 만한 내용만 믿게 하는 데 써야 합니다.
저는 이걸 구어체로 "엄밀히 말하면, 재판장님…" 기준이라고 부릅니다. 그렇게 말해야 한다면 아마 지는 게 맞습니다.
이 기준이 전 세계에서 단 한 명도 잘못된 믿음을 갖지 않아야 한다는 뜻은 아닙니다. 압도적 다수가 그렇지 않으면 된다는 뜻입니다.
합리적인 항변 사유는 다음과 같을 겁니다.
잘못된 믿음이 마케터에게 이득이 되지 않는 경우.
잘못된 믿음이 너무 사소해서 중요하지 않은 경우.
잘못된 믿음을 가진 사람이 합리적으로 보아 목표 소비층에 속하지 않는 경우. (목표 소비층이 아니면 미묘한 표현은 오해받을 수 있습니다.)
잘못된 믿음으로 이어지는 해석이 비합리적인 경우. (사람이 그냥 비합리적이고 어리석을 수도 있으니까요.)
잘못된 믿음이 예상 밖이었고, 투입한 자원으로는 합리적으로 파악할 수 없었던 경우. (사소한 실수와 사각지대는 용납됩니다. 모든 걸 다 감안할 수는 없지만, 노력을 더 들일수록 더 많이 감안해야 합니다.)
당신이 말하는 기준의 세부 사항에는 별로 관심 없어요. 상업적 표현이 허용 가능하다는 입증 책임이 광고주에게 있다면, 이어지는 큰 질문은 이겁니다.
그 주장을 누가 판단하나요?
법정의 판사인가요? 그건 절대 안 됩니다. 법원은 이미 과부하 상태인데, 해마다 수억 건의 사건을 더 얹겠다는 얘기잖아요.
정부 규제 기관인가요? 그러면 특허청은 레모네이드 가판대처럼 보일 겁니다. 광고를 매일 심사할 사람이 수만 명은 필요해요.
그리고 그 규제 기관이 "거짓말쟁이에게 유리하고 사회에 해롭도록 완전히 무뎌지는" 일을 어떻게 막을 건가요? 규제 기관은 전부 규제 포획 압력에 노출돼 있습니다.
늘 하던 대로, 그 소송 절차의 사실 판단자(finder of fact)죠. 이건 아주 기초적인 내용입니다. 표준적인 사실 판단자를 선택지에 넣지도 않았다는 게 더 황당하네요.
요즘 들은 얘기 중에 가장 어처구니없는 주장일 겁니다. 이제 불법이 된 행위에 합당한 판결이 내려지면, 합법이던 과거에 비해 그런 행위를 강하게 억제하게 됩니다. 새 법을 어기면 연 매출의 100%를 벌금으로 물린다고 해 보세요. 모두가 그 확률에 도박을 걸어서 수억 건의 사건이 추가로 생기겠습니까? 당연히 아니죠. 그렇다면 제 주장이 입증된 겁니다. 물론 실제로는 원하는 억제 수준에 맞거나 바람직하지 않은 행위가 수지가 맞지 않게 될 때까지 벌금을 조정하겠죠. 제가 위에서 사고 실험으로 든 터무니없이 거대한 벌금은 당신의 주장이 얼마나 어처구니없는지 보여 주려는 용도일 뿐입니다.
늘 하던 대로, 그 소송 절차의 사실 판단자죠
광고가 합법이라는 입증 책임이 광고주에게 있다고 위에서 이미 주장하셨죠. 그건 입증되기 전까지는 유죄로 보는 체제이니, 모든 광고가 소송 절차에 오르게 됩니다.
광고는 어디에나 있어요. 모든 광고를 게재 전에 승인받도록 하는 체제를 만들자는 건데, 그 엄청난 물량을 놓고 이게 어떻게 조금이라도 현실성이 있을지는 전혀 보여 주지 못하셨습니다.
좋은 지적이네요, 그냥 광고를 전부 금지하죠.
c.f. 일본 식품 표시, 그리고 오해를 부르지 않도록 어떻게 규제하는지
미국 식품 표시도 규제가 아주 엄격합니다. 사람들이 오해를 부른다고 느낀다면, 이미 있는 규제에 문제가 있는 거예요.
영양 정보는 두 나라 모두 규제가 엄격합니다. 일본은 한 걸음 더 나아가 표시의 마케팅 부분까지 규제해요. 그림은 내용물과 크기, 모양, 겉모습이 일치해야 합니다. 주스는 과즙 100%일 때만 과일 사진을 쓸 수 있고요. 그 밖에도 여럿 있습니다.