요약
좋아하는 웹사이트는 사라지기 전에 개인이 직접 백업해 둬야 합니다.
웹 아카이빙 일을 하는 미스티 디 메오가 10월 29일 블로그에 쓴 글입니다. 2004년부터 있던 애니메이션·완구 시리즈 Ochaken의 팬사이트가 사라지고, 그 도메인에 도박 광고가 걸린 일이 계기였습니다.
왜 중요한가
- 웹 보존은 인터넷 아카이브 같은 큰 기관만 하는 일이라는 통념과 달리, 개인도 쉽게 할 수 있다고 강조합니다.
- 보존본이 표준 형식(WARC·WACZ, 웹 페이지를 통째로 담는 보존용 파일) 파일 하나라서 여러 사람이 사본을 나눠 갖기 쉽습니다.
핵심 내용
- 가장 쉬운 방법은 Chrome 확장 ArchiveWeb.page로, 기록을 켜고 원하는 페이지를 둘러본 뒤 끄면 됩니다.
- 같은 기능의 독립 앱도 있으며, 브라우저가 내장돼 있어 저장한 보존본을 내 컴퓨터에서 열어 보기 좋습니다.
- 큰 사이트는 링크를 자동으로 따라가는 크롤러 Browsertrix로 도메인이나 디렉터리 단위까지 모을 수 있습니다.
- 보존본은 ReplayWeb.page로 열고, 이 뷰어를 사이트에 넣으면 서버 프로그램 없이 파일 호스팅만으로 공개할 수 있습니다.
- 소개한 도구는 대부분 무료이며, 글쓴이가 다니는 회사가 만든 것이라고 밝혔습니다.
HN 반응
- 여러 이용자가 SingleFile, ArchiveBox 같은 대안을 소개했고, ArchiveBox는 운영이 번거로워 더 가벼운 도구로 옮겼다는 경험담도 나왔습니다.
- Wayback Machine도 첫 페이지만 남기는 등 빈틈이 많다는 지적과 함께, 아끼던 포럼이나 직접 스캔한 사진을 잃었다는 사연이 잇따랐습니다.
진심으로 공감합니다. 제 북마크가 서서히 썩어 가는 걸 보는 게 안타깝습니다. 불과 몇 년 전의 중요한 자료나 미디어를 꺼내 보려다 404나 도메인 대기 페이지만 마주하는 일이 많고, Archive.org 같은 곳에도 남아 있지 않은 경우가 허다하거든요.
ArchiveWeb 확장 프로그램은 맞춤 캡처용으로 아주 좋아 보입니다. 캡처할 때 원하는 페이지와 요소를 직접 고를 수 있다는 점이 훌륭합니다.
빠르게 한 번만 저장하고 싶다면 SingleFile이 페이지의 모든 미디어를 담은 HTML 파일 하나를 만들어 줍니다: https://www.getsinglefile.com
아카이빙을 작업 흐름의 좀 더 비중 있는 부분으로 삼으실 거라면 ArchiveBox를 강력히 추천합니다. 상상할 수 있는 거의 모든 형식으로, 어디서든 거의 모든 종류의 파일을 저장할 수 있고, 아카이브를 검색할 수 있는 색인까지 만들어 줍니다. 저는 수년째 잘 쓰고 있습니다: https://archivebox.io
저는 최근에 hister [0]를 쓰기 시작했습니다. 읽은 것을 전부 색인해 주기 때문에, 기억이 어렴풋한 내용도 LLM에게 찾아 달라고 할 수 있습니다.
[0] https://hister.org/
저도 이제 막 써 보기 시작했는데, 놀랍게도 정제한 HTML 내용만 저장하고 스크립트나 CSS는 저장하지 않더군요. ArchiveBox와 같이 쓸까 생각 중입니다. 그래도 hister는 대단합니다. 정말 마음에 들어요. 제가 잘못 알고 있는 게 아니라면 searxng를 만든 분이 만든 거고, searxng 역시 훌륭한 소프트웨어죠.
Hister는 제가 보증합니다! 쓴 지 얼마 안 됐는데도 사이트 몇 곳이 사라지거나 내용이 바뀌었고, hister 덕분에 알짜 정보를 계속 볼 수 있었습니다.
설정도 간단했고 필요할 때 쓰기도 빨랐습니다.
SingleFile과 Obsidian Web Clipper도 많이 쓰지만, Hister는 정말 좋았고 이제 제 시스템에서 일등 시민입니다. 읽을 때는 중요해 보이지 않다가 나중에 의미가 생기는 것들을 알아서 챙겨 주는 점이 도움이 됩니다.
기본값으로는 사이트의 최신 사본만 보관하던데, 그러면 404로 바뀌는 걸 어떻게 막는다는 건지 모르겠네요?
404가 나오면 기존 사본을 덮어쓰지 않습니다.
200이 오는데 내용이 "더 이상 이용할 수 없습니다" 같은 것이면요?
저도 ArchiveBox를 몇 년 썼습니다. 정말 좋아요. 다만 셀프 호스팅과 유지 보수가 시간이 지나면 귀찮아집니다.
저는 링크 썩음(link rot)이 정말 신경 쓰이고, 사람들이 웹 페이지 아카이빙을 시작해서 언젠가 슬롭 없는 웹의 분산된 미러가 사람들의 하드 드라이브에 놓여 있다가 누군가 필요할 때 바로 공유되기를 바랍니다. 그래서 ArchiveBox의 못한 버전을 만들어 봤습니다( https://memoryhole.app ). 제 생각은 이렇습니다. 아카이빙을 시작하기가 얼마나 쉽고 얼마나 쓸모 있는지 사람들이 직접 보면, SingleFile이든 ArchiveBox든 뭐든 계속 이어 가게 될 거라는 거죠.
저도 Archivebox를 몇 년째 쓰고 있는데, 최근 몇 년 사이에 문제가 여러 가지 생겼습니다. 큐에는 스캔에 실패한 페이지가 가득하고, 새로 저장된 게 하나라도 있었던 게 몇 버전 전입니다.
문제 해결을 몇 번 조금씩 시도해 봤지만 해결하지 못했고, 이제는 생각을 바꿔 볼까 합니다. 복잡한 SPA 페이지는 어차피 잘 아카이빙되지 않는 경우가 많으니 "웹 클리퍼" 같은 쪽이 훨씬 나을지도 모르겠어요. 그리고 페이지가 아니라 콘텐츠 자체에 집중해야 할 것 같고요. 그런 면에서는 SingleFile 확장 프로그램도 잘 맞습니다.
혹시 비슷한 고민을 해 보신 적 있나요?
재미있네요. 저도 비슷한 전환을 겪었고, 제 개인 작업 흐름에는 좀 너무 무겁다는 걸 깨달았습니다.
지금은 Linkding(아카이브 기능이 있는 셀프 호스팅 북마크)과 Singlefile(Linkding과 연동됩니다)을 같이 써서, 로컬에서 캡처하고 업로드합니다. 더 크거나 여러 페이지로 된 캡처는 여전히 Archivebox 명령을 실행하고요. 가끔 차단당하기도 하지만, 어쨌든 열린 웹이 전반적으로 점점 덜 열려 가고 있다는 느낌이 듭니다.
저도 이 방식에 한 표입니다. Archivebox에서 딱 이렇게 갈아탔습니다. Linkding에도 "HTML 스냅샷 만들기" 기능이 내장되어 있지만 Singlefile 브라우저 확장 프로그램이 훨씬 잘 동작합니다.
v0.9가 나온 뒤로 ArchiveBox를 써 보셨나요? v0.9는 새 아카이빙 엔진으로 사실상 전면 재작성했고, 이제 플러그인 중 하나로 ArchiveWebPage가 기본 내장되어 있습니다.
최신 v0.9.77은 CPU 4개짜리 서버에서 스냅샷 200만 개 / 2TB를 처리할 수 있다는 것을 테스트로 확인했습니다. 분당 URL 1개를 꾸준히 아카이빙하면서 모든 웹 UI를 약 100ms로 제공합니다. 또 소셜 미디어, 구글 문서, notion, canva, figma 등 계속 늘고 있는 사이트 목록에서 자동으로 가져오는 기능이 있는데, 스스로 복구하는 AI 스크립트와 브라우저 쿠키 동기화 덕분에 일일이 돌봐 줄 필요가 훨씬 줄었습니다.
저는 예전에 그 용도로 OneNote를 썼습니다.
요즘은 Obsidian과 Obsidian Web Clipper 브라우저 확장 프로그램을 씁니다. 단 하나 주의할 점은 기본값으로는 이미지를 로컬에 저장하지 않아서 직접 손봐야 한다는 겁니다: https://obsidian.md/help/web-clipper/capture
5년 뒤에는 클라우드 LLM이 정보의 원천으로서 열린 인터넷을 상당 부분 대체해서, 중앙에서 통제하고 과거를 고쳐 쓸 수 있게 될지도 모릅니다.
제발 책을 사서 상태 좋게 보관하시고, 중요한 정보가 있는 웹사이트도 아카이빙해 두세요(사는 곳의 법률상 허용된다면요). 2000년대, 심지어 그 이전부터 있던 훌륭한 사이트와 블로그가 아직 꽤 많이 남아 있지만, 영원히 있지는 않을 겁니다. 아이러니하게도 코딩 에이전트 덕분에 아카이빙이 훨씬 쉬워졌어요. 저는 이미 만들어진 도구를 쓰면 늘 문제가 생겼는데, Claude나 Qwen을 쓰면 사이트를 내려받고 테스트하고 로컬에 아카이빙하는 게 아주 쉽습니다.
과장이 심하네요. LLM이 정말로 과거를 고쳐 쓰려고 할 거라고 생각하세요? 에이, 설마요…
주요 모델이 과거를 고쳐 쓰려 들 거라고는 생각하지 않습니다. 하지만 모델이 여러분의 의도에 맞춰 도와줄 거라고 믿지도 않습니다. 검색 엔진이 질의를 더 잘 이해하도록 인코딩될수록, "불온한" 질의에 대해 모델처럼 고집을 부리게 만들기가 더 쉬워집니다. 이를테면
을 Yandex와 Google에서 각각 검색해 비교해 보세요. 두 곳이 같은 웹사이트를 색인했을 거라고 확신하는데, Yandex는 무료 스트리밍을 1위 결과로 보여 주고, Google은 아예 색인에서 뺐거나 관련성이 더 낮고 더 합법적인 수십 개 사이트 아래로 밀어 놓았습니다. (Google에 따르면 Yandex가 보여 준 그 사이트는 DMCA로 결과에서 제외된 것도 아니었습니다.)
이건 불법 복제에만 해당하는 얘기가 아닙니다. 프런티어 모델의 유료 구독도 자연과학과 공학에 관한 질문에는 답변을 거부하거나 수준을 낮춥니다. 사이버 보안은 특별 승인을 받으면 거부가 적은 모델을 쓸 수 있지만, Carleone의 Tactical Missile Warheads 책을 이미 읽은 어른으로 앤트로픽이 대해 주는 프로그램은 없는 것 같습니다. Opus는 고폭 공학의 세부 사항을 아예 논의하지 않습니다. 검색 엔진이 관련 문서를 계속 띄워 줘서 그걸 사람 눈으로 직접 읽을 수 있는 동안에는 견딜 만합니다. 하지만 LLM이 검색 시장을 집어삼키면 심각해질 겁니다.
제공자 자체는 아니지만, 역사와 지정학 주제를 두고 위키백과를 고쳐 쓰려는 시도가 여러 건 기록으로 남아 있습니다. 그 이유 중 하나가 위키백과가 챗봇의 먹이가 되기 때문이고요.
메카히틀러가 자기는 백 년 가까이 운영하면서 단 한 번도 그런 적 없다고 하던데요.
이 글을 보니 저는 그렇게까지 아끼는 웹사이트가 하나도 없다는 걸 깨달았습니다. 위키백과가 가장 가깝지만, 그것마저 사라진다 해도 누군가는 덤프를 갖고 있을 테니 그때 받으면 됩니다. 그때까지는 안 할 겁니다.
제가 계속 찾아가는 건 음악과 책 두 가지입니다. 책은 그렇게까지는 아니지만, 노래는 제 뇌의 아주 특정한 부분을 건드려서 몇 년은 안 듣다가도 다시 몇 번이고 재생하고 싶어집니다. 그런데 다시 듣고 싶을 때 들을 수 없고, 들을 수도 있었다는 걸 알면 정말 아프고 배신당한 기분이 듭니다. 그래서 스트리밍 사이트에 있는 음악도 실제로 아카이빙해 둡니다.
제 옛 iTunes 라이브러리에는 온라인 어디서도 찾을 수 없는 앨범이 통째로 있습니다. 07년에 음악 블로그에 올라온 힙합 비트 테이프인데, 그 블로그가 Blogspot 성인 경고 뒤에 있어서 아카이빙이 안 됐고요. 아니면 URL을 쿼리 파라미터로 처리하던 옛 PHP 기반 음악 포럼도 있는데, 홈페이지만 아카이빙됐습니다. Dubstepforum에 있던 옛 James Blake 데모는 Rapidshare 링크가 15년째 404입니다.
썩는 속도가 정말 미쳤어요!
제 라이브러리도 예전 같지 않습니다. 대학 때 같은 날 드라이브 두 개가 죽어서, 꼼꼼히 태그를 달아 둔 320k와 FLAC 파일 100GB 넘게를 잃었습니다.
와, 대단하네요. 그걸 어딘가에 올려서 인터넷으로 다시 접근할 수 있게 해 볼 생각은 해 보셨나요? 분명 공유해 주시는 걸 반길 사람이 있을 텐데, "버스 팩터 1"이라는 위태로운 처지라 한 번만 잘못되면 기회가 영영 사라질 수 있습니다.
합법적인 핵폐기물 같은 겁니다. 음악 블로그를 죽인 부틀렉이 가득하거든요.
그래도 맞는 말씀입니다. 어떻게든 해 보겠습니다 :)
네, 음악이 사라지는 게 정말 놀랍죠. 사실 인터넷에 있는 건 뭐든 그렇습니다. 계속 유지하려면 누군가가 적극적으로 손을 써야 하니까요.
저도 어느 정도 망가진 라이브러리가 있습니다. 제 경우엔 하드 드라이브를 들고 다니다가 손상이 생겼는데, 가방에 던져 넣다가 그런 게 아니라 친구 바이오스에서 섹터와 헤더 정보를 잘못 설정하는 바람에 그랬습니다! 갑자기 Chemical Brothers 노래에 블랙 메탈이 섞여 있더라고요.
여기서 왜 이렇게 복잡한 방법이나 서드파티 해결책을 제안하는지 잘 모르겠어요. 제가 뭘 놓치고 있는 걸까요? 브라우저의 "다른 이름으로 페이지 저장... -> 웹 페이지, 전체" 기능에는 뭐가 부족한가요?
저는 Angelfire에 너무 마음을 놓은 탓에 이걸 호되게 배웠습니다. 업데이트를 멈춘 뒤로도 옛 웹사이트를 20년 동안 그냥 돌아가게 두었거든요.
그 사이트에는 인화된 필름 사진을 제가 손으로 스캔한 사진이 많았습니다. 사진을 수동으로 스캔하려면 시간이 꽤 걸리던 시절이었죠.
그 사이트는 일종의 단골 농담거리였습니다. 사람들에게 아직 있다는 걸 보여 주려고 열어 보곤 했는데... 어느 날 사라졌고, 사진 전부의 백업도 찾을 수 없었습니다. 아카이브 사이트에는 웹사이트의 '뼈대'는 있지만 사진은 없습니다. 충분히 피할 수 있었던 일이라 더 아픕니다.
저한테는 때맞춘 글입니다. 제가 아끼던 웹 포럼이 오프라인이 되었고, 동시에 Wayback Machine이 어떤 이유에서인지 그 포럼 대부분을 크롤링하지 않았다는 사실도 알게 됐거든요. 여러 아카이브와 다른 출처에서 건질 수 있는 걸 모아 정적 사이트로 만들어 달라고 Claude에게 부탁했는데, 요즘 AI가 기적 같은 일을 하긴 해도 정말로 사라진 데이터는 복원할 수 없더군요. 그래서 건져 낸 게 없는 것보다는 낫지만 여전히 많은 부분이 빠져 있습니다.
그 심정 알죠. Wayback Machine은 안타깝게도 군데군데 구멍이 많습니다. 몇 년씩 있었던 웹사이트인데도 몇 페이지만 아카이빙된 경우가 흔하고요.
제가 본 최악은 십 년 넘게 죽어 있었지만 완전히 아카이빙되어 있던 웹사이트가, 지금 그 도메인을 선점하고 있는 누군가가 설정한 robots.txt 때문에 "Sorry. This URL has been excluded from the Wayback Machine" 메시지를 맞은 일입니다. 저는 기적처럼 어느 이름 모를 포럼에서 그 내용의 아카이브를 찾아냈고, 북마크해 뒀어요. 그런데 북마크한 걸 기억해 냈을 때쯤엔 그 포럼도 죽어 있었고 링크는 아카이빙되지 않았습니다 :(
Tigsource도 결국 이렇게 될까요?
R.I.P. Tigsource는 정말 멋진 곳이었습니다.
00년대와 10년대의 일본 인디 웹을 여러 번 잃고 나니, 사랑하는 웹사이트뿐 아니라 존재를 알았다면 사랑했을 웹사이트까지 저장할 수 있으면 좋겠다는 생각이 듭니다. 찾던 것이 분명 존재했는데 지금은 없어졌다는 걸 알게 되는 일이 너무 많거든요. 특히 홈페이지만 아카이빙되고 나머지 웹사이트나 업로드한 파일은 아카이빙되지 않은 경우가 그렇습니다.