Как не потерять интернет, который мы любим

Знакомая ситуация: вы сохранили в закладки крутую техническую статью, а через полгода по ссылке открывается 404 или заглушка о продаже домена. Это называется «link rot» или гниение ссылок. По статистике, около 30% ссылок в интернете умирают за пару лет. Даже огромные медиа-гиганты умудряются удалять целые архивы материалов при смене CMS или владельца.

Я давно искал инструмент, который позволит не просто хранить список ссылок, а делать их полноценные слепки. ArchiveBox — это как раз тот проект, который превращает ваш домашний сервер или VPS в персональную «Машину времени».

Что такое ArchiveBox на самом деле

Это опенсорсное self-hosted решение для архивации веб-контента. Проект не пытается изобрести велосипед, а грамотно объединяет под капотом проверенные инструменты: Chrome Headless, wget, yt-dlp и singlefile.

Основная идея в том, чтобы сохранить страницу в максимально возможном количестве форматов одновременно. Если через 20 лет PDF перестанет открываться (маловероятно, но всё же), у вас останется чистый HTML, скриншот в PNG или даже WARC-файл — стандарт, который используют профессиональные архивисты и Библиотека Конгресса США.

Как это работает на практике

Вы скармливаете ArchiveBox URL, а он запускает конвейер обработки. На выходе получается папка, где лежит всё: от фавиконки до полной копии видео с YouTube, если ссылка вела туда.

Что он сохраняет для каждой ссылки

Проект делает из одной страницы целый набор артефактов. Вот основные:

• SingleFile: один HTML-файл, в который зашиты все стили, картинки и шрифты. Это самый удобный формат для чтения.
• PDF и скриншот: визуальная копия того, как страница выглядела в браузере в момент сохранения.
• Wget Clone: статическая копия сайта со всеми ресурсами.
• Медиа: если на странице есть видео или аудио, ArchiveBox вытянет их через yt-dlp.
• Код: если вы сохраняете ссылку на репозиторий GitHub или GitLab, инструмент просто склонирует его целиком.

Интересно, что ArchiveBox по умолчанию пытается отправить ссылку еще и в официальный Wayback Machine (archive.org). Это создает дополнительный слой избыточности, но если вы архивируете что-то приватное, эту опцию лучше сразу дернуть в конфиге.

Техническая начинка и установка

Проект написан на Python с использованием Django. Для хранения метаданных используется SQLite, а сами архивы лежат в обычных папках на диске. Это критически важный момент: если завтра разработка ArchiveBox прекратится, ваши данные не превратятся в тыкву. Вы сможете открыть любую сохраненную страницу обычным браузером, просто перейдя в нужную папку.

Самый простой способ завести всё это добро — Docker Compose. Разработчики настоятельно рекомендуют именно этот путь, потому что зависимостей у проекта много (нужен Node.js для одних инструментов, Python для других, Chromium для третьих).

mkdir -p ~/archivebox/data && cd ~/archivebox
curl -fsSL 'https://docker-compose.archivebox.io' > docker-compose.yml
docker compose run archivebox init --setup
docker compose up

После этого по адресу http://localhost:8000 поднимется довольно аскетичный, но функциональный интерфейс.

Кому и зачем это нужно

Я вижу несколько реальных сценариев, где ArchiveBox незаменим.

Для разработчиков и исследователей. Сохранение документации к библиотекам, которые могут исчезнуть, или фиксация состояния API. Если вы пишете статью и ссылаетесь на источники, лучше иметь их локальную копию, чтобы ваши ссылки не превратились в тыквы.

Для личного архива. Я использую его для сохранения лонгридов и туториалов. Можно настроить импорт из закладок браузера, Pocket или RSS-лент. ArchiveBox будет сам мониторить новые ссылки и тихо складывать их в архив.

Для юристов и журналистов. Проект позволяет собирать доказательную базу. Каждая копия снабжается заголовками ответов сервера и таймстемпами, что важно для верификации контента.

Нюансы и подводные камни

Не всё так гладко. Главная проблема — место на диске. Если сохранять всё подряд с медиа-контентом, терабайты закончатся быстро. Одна страница может весить от пары мегабайт до сотен, если там много тяжелого JS и картинок.

Второй момент — динамический контент. ArchiveBox неплохо справляется с современными SPA благодаря headless-браузеру, но сайты, требующие сложной авторизации или обхода капчи, могут стать проблемой. Хотя в конфигах можно прокинуть куки из вашего основного браузера, чтобы архивировать контент «под собой».

ArchiveBox — это не просто «сохранялка страниц», а полноценная инфраструктура для тех, кто серьезно относится к информации. Он не идеален, интерфейс местами кажется приветом из 2010-х, но свою задачу он выполняет честно.

Если у вас есть лишние 100 ГБ на диске и желание навести порядок в своих знаниях, проект точно стоит того, чтобы потратить вечер на настройку. Это один из тех инструментов, пользу от которых начинаешь ощущать через год-два, когда внезапно обнаруживаешь, что нужная тебе информация осталась только у тебя.

С чего начать? Посмотрите их демо-версию, чтобы понять, подходит ли вам такой формат отображения данных. Если да — Docker в руки и вперед.