요약
팬그램이 AI로 만든 이미지와 영상을 가려내는 탐지 모델 Pangram Image 1.0을 내놓았습니다.
AI 글 탐지기로 알려진 팬그램이 몇 달 전 공개한 연구용 미리보기에 이어 정식판을 발표했습니다. 영상 분석에는 더 작고 빠른 Pangram Image Flash 1.0을 함께 내놓았습니다.
왜 중요한가
- 사람은 말하는 사람이 나오는 AI 영상을 거의 구별하지 못한다는 연구가 있어 기계 탐지의 쓸모가 커지고 있습니다.
- 압축, 축소, 흐림, 잡음에 견디도록 학습해 소셜 미디어에서 변형된 이미지도 판별하도록 했습니다.
- 탐지 대상을 글에서 이미지와 영상으로 넓혔고, API와 브라우저 확장으로 바로 쓸 수 있습니다.
핵심 내용
- 실제 사진 100장을 최신 생성기 12종으로 재현한 1,200장에서 99.96% 정확도를 냈다고 밝혔습니다.
- 영상용 Flash 모델은 DF26 벤치마크(성능 비교용 시험 데이터)에서 98.7%로 2위보다 29%포인트 앞섰다고 했습니다.
- 실제 영상 129개와 생성기 14종으로 만든 가짜를 합친 1,529개로 주요 상용 탐지 서비스와 비교했습니다.
- 이미지 속 어느 부분이 AI로 만들어졌는지 히트맵(색으로 표시한 지도)으로 보여 줍니다.
- 최소 입력 크기를 256×256으로 낮췄지만, 512픽셀 미만은 신뢰도가 낮다고 안내합니다.
HN 반응
- 화면에 띄운 AI 이미지를 휴대폰으로 다시 찍거나 SynthID(구글의 AI 워터마크)를 지워도 잡아냈다는 실험담이 여럿 나왔습니다.
- 반면 로컬 모델로 다시 그리거나 픽셀을 손보면 쉽게 피할 수 있고, 증거로 쓰이는 이미지는 글보다 속이려는 동기가 크다는 반론도 나왔습니다.
제 생각엔 무모한 시도입니다. AI 생성 콘텐츠 탐지 시스템을 만들려는 시도는 전부 결함이 있습니다. 그런 시스템의 출력을 이용해 훨씬 더 나은 가짜 데이터 생성기를 학습시킬 수 있기 때문입니다. 결국 디지털 불확실성이라는 균형 상태에 이르게 됩니다. 디지털 세계에서는 어떤 것도 더 이상 진짜라고 할 수 없고, 그저 디지털일 뿐입니다.
AI 탐지기는 이론상으로는 작동할 수 없지만, Pangram은 실제로는 잘 작동합니다. AI 기업들이 Pangram을 속이려 들지 않기 때문입니다. 그럴 동기가 없습니다. 오히려 동기는 정반대 방향입니다. 자사 AI가 만든 결과물인지 의심의 여지가 없도록 워터마크를 넣고 싶어 하니까요.
AI 기업은 동기가 없을지 몰라도, 작정하고 덤비는 사람들은 정의상 동기가 있습니다. Pangram이 할 수 있는 어떤 것도(의미적 변형 탐지까지 포함해서) 직접 학습시킨 로컬 모델로 img2img를 돌리면 간단히 우회됩니다. 실제로 많은 사람이 이미 그렇게 쉽게 하고 있고요. 텍스트도 마찬가지입니다. 아무 데이터로나 학습시킨 다음 분포를 고려한 샘플링을 쓰면 됩니다. 말씀하시는 걸 보면 이미 신뢰할 만한 탐지가 가능하다는 착각에 빠져 계신데, 작정한 사람의 결과물은 거짓 음성(false negative)을 믿게 만들 겁니다.
저도 회의적이었습니다. 그런데 아직 Pangram을 속이지 못했습니다.
AI가 생성한 텍스트로는 속일 수 없다 쳐도, AI가 생성하지 않은 것을 AI가 생성했다고 하게 만들 수는 있지 않을까요? 제가 본 바로는 이런 AI 탐지 도구들은 AI 생성물을 아주 잘 잡아내지만, 아무거나 AI가 만들었다고 판정하는 데도 아주 능합니다.
Pangram은 다른 AI 탐지 도구와 달리 오탐률(false positive)이 극히 낮다고 내세웁니다. 제 짧은 경험도 그와 일치합니다.
AI가 쓴 글이 아님을 증명할 수 있는 텍스트(예: 5년쯤 더 전에 쓴 게 확실한 글)인데 AI 판정을 받았다면, Pangram 창업자에게 트윗을 보내 보세요. 그가 포상금을 내건 스크린샷을 본 적이 있습니다(솔직히 대부분 자기가 믿지 않는 주장에 대한 도전장 성격이긴 했지만요).
정말요? 글로 쓴 텍스트는 Pangram을 우회하기 아주 쉬운데요.
네. 잘 안 알려진 모델에 temperature를 높게 잡고 "더 자연스럽게 사람이 쓴 것처럼 바꿔서 다시 써줘" 정도의 프롬프트만 줘도 확신도가 크게 떨어집니다.
삭제됨
생각만큼 간단하진 않은 것 같네요. 그런데 자기 문체를 로컬 모델에 학습시키는 건 도대체 어떻게 하는 건가요?
저도 수년째 이 얘기를 해 왔는데, Pangram이 실제로 작동하는 걸 보고 놀랐습니다.
가끔은 불가능한 일에 도전할 만한 가치가 있나 봅니다.
제가 관찰한 바로는 AI를 쓰는 사람들은 쓴다는 사실을 숨기고 싶어 하는 경우가 드뭅니다. 텍스트든 이미지든 일종의 방언 같은 거예요. AI가 만들었거나 도움을 받은 결과물은 어느새 유행 같은 게 되어서, 사람들이 그걸 쓰고 자기 일부로 받아들이지, 완전히 사람이 만든 것처럼 속이고 싶어 하는 대상이 아닙니다.
그래서 이 경우에는 군비 경쟁이 벌어질 동기가 거의 없다고 봅니다.
글쎄요. 저는 개인적으로 제가 쓴 글을 AI로 한 번 손봐서 자신감을 얻는 걸 좋아하는데, 그러고 나면 항상 쓸데없이 장황하고 주관 없는 밋밋한 AI 말투로 바뀌어 버리는 게 정말 싫어요.
적어도 Gemini로 생성한 이미지와 실제 이미지를 비교하면 놀라울 만큼 잘 작동합니다.
AI 생성 이미지를 지저분한 제 노트북 화면에 띄우고 휴대폰으로 찍었는데도, 모아레 무늬까지 다 있는데도 탐지가 됐습니다. 그러니 이게 쓰는 신호가 꽤 견고한 거죠.
그래도 직접 찍은 실제 사진은 AI가 생성한 게 아니잖아요.
기준선이 어디입니까? 타임스 스퀘어에서 셀카를 찍는데 뒤쪽 광고에 AI 생성 이미지가 있다면, 그 사진은 AI가 생성한 게 아니죠.
바로 그 경우를 보여주는 이미지가 있습니다. 벽에 걸린 초상화 속 AI 생성 이미지를 짚어서 표시해 줘요.
텍스트와 이미지는 AI 탐지의 동기가 서로 다릅니다. 텍스트의 AI 탐지는 누가 무엇에 대해 얼마나 공을 인정받느냐의 문제일 뿐, 텍스트 자체의 가치와는 상관이 없습니다. 텍스트가 존재한다는 사실만으로 무언가의 증거로 받아들여지는 일은 없으니까요. 반면 이미지는 증거로 쓰이는 일이 많아서, AI 이미지 생성 사용자가 탐지 기술과 군비 경쟁을 벌일 동기가 훨씬 큽니다.
흥미롭네요, 이제 NovelAI 결과물도 탐지하네요. 픽셀 단위로 수정을 가해서 AI 이미지가 디지털 붓질 같은 특성을 띠게 하고 출력의 "노이즈"를 줄이면 쉽게 무력화할 수 있을 것 같습니다. 적어도 제 경우, 애니메이션 쪽 그림에서는 그렇습니다.
제가 테스트해 보니 놀라울 만큼 잘 작동합니다. 아주 최근에야 올린 디지털 페인팅이 있는데(그래서 학습 데이터에는 없습니다), GPT, Gemini, Riverflow에 같은 스타일로 이미지를 생성하게 하고, SD로 노이즈를 입혀서 SynthID를 제거했습니다.
Pangram은 전부 맞게 판정했습니다(원본은 No AI, 나머지는 전부 Likely AI).
이런 탐지기를 모델 학습 루프에 쓸 수도 있지 않나요?
게다가 상대 모델을 갖고 있지 않으니 제대로 된 그래디언트를 얻을 수 없습니다. 그냥 예/아니오(또는 신뢰도 점수)만 나올 테니까요. GAN도 판별자 모델에 완전히 접근할 수 있고(모든 가중치에 견고한 그래디언트를 제공해도) 일반화에 실패했습니다. 극도로 뾰족하고 비선형적일 수 있는 지형 위에서, 사실상 강화학습 루프나 다름없는 것을 학습시키는 건 몹시 어렵습니다.
다음에 생성할 토큰을 완벽하게 아는 상태에서도 좋은 텍스트 생성기를 학습시키는 데 얼마나 많은 자원이 드는지 생각해 보세요. 이제 확률적인 예/아니오 출력만 가지고 그걸 하려 한다고 상상해 보세요(적절한 출력을 짐작해야 하는데, 받는 신호는 결정적이지도 일관적이지도 않습니다). 출력 토큰에 대한 분포도 없고, 실제로 생성한 토큰에 대한 예/아니오만 있을 뿐입니다(훨씬 약한 신호죠).
해 본 사람들이 있는데, 안 됩니다.
어떤 사람들이요? 저는 AI 연구자는 아니지만 거의 모든 GAN이 판별자를 쓰는 걸로 알고 있고, 제가 듣기엔 이것도 기본적으로 그런 거 같은데요.
Pangram이 판별자로서 쓸모가 있을지는 모르겠습니다만, 취미로 GAN을 학습시켜 본 사람으로서 말씀드리면 GAN은 학습시키기가 정말 정말 까다롭고 온갖 알 수 없는 방식으로 학습이 실패합니다. 이론상으로는 Pangram으로 GAN 방식의 학습을 할 수 있다 해도, 실제로는 아주 어려울 수 있다는 게 놀랍지 않습니다.
요즘 확산 모델(diffusion model)은 GAN처럼 학습하지 않습니다. GAN은 규모 확장과 일반화에 실패했습니다. 확산 모델이 변분 오토인코더(VAE)를 쓰는 경우는 있는데, 구조는 비슷해도 작동 방식이 다릅니다.
이론상으로는 가능하지만, 슬롭으로 차익거래하는 사람들에게는 경제성이 없을 겁니다.
돈이 되는 사업도 아니고, 애초에 영리한 사람들도 아니니까요.
정말 좋네요. Pangram의 AI 텍스트 탐지기에 깊은 인상을 받았거든요. 이미지 탐지기도 그만큼 좋았으면 좋겠습니다.
https://www.pangram.com/history/images/50f285f3-66db-4484-b300-1a41c94a34a4?ucc=Z2lqra5aFN3&utm_source=pangram_share&utm_medium=copy_link
Pangram이 이걸 맞혔다니 솔직히 놀랍습니다. 제 눈으로는 구별이 안 되는 것 같았는데, 아니었나 봅니다!
저는 텍스트(특히 짧은 글)에 대한 AI 탐지와 워터마킹에는 아주 회의적이지만, 이미지와 영상에 대한 AI 탐지는 (적어도 당분간은) 훨씬 그럴듯해 보입니다.
Meta가 이 기술을 라이선스해서 Facebook, Instagram, Whatsapp의 모든 것에 쓰면 좋겠습니다. 광고까지 포함해서요!
데이터를 찾아보세요. Pangram V4 탐지 모델의 정확도를 실제로 측정한 결과를 보시고, 직접 속여 보세요. 전혀 쉽지 않습니다.