Snscrape — ваш универсальный сборщик данных из соцсетей
Репозиторий давно не обновлялся
Последнее обновление было 2 года назад.
Представьте ситуацию: вам нужно проанализировать обсуждение хэштега в Twitter, собрать посты из Telegram-канала или изучить активность пользователя ВКонтакте. Официальные API часто ограничены, а писать парсеры для каждой платформы — долго. Именно здесь на помощь приходит snscrape.
Что это за инструмент?
Snscrape — это Python-библиотека и CLI-утилита для сбора данных с популярных социальных платформ. Разработанный архивным сообществом, этот инструмент поддерживает:
- Twitter (пользователи, треды, хэштеги)
- Facebook (профили, группы)
- Telegram (каналы)
- VKontakte (профили)
- Instagram, Reddit, Mastodon и Weibo
Главное преимущество — работа без официального API, используя только публично доступные данные.
Почему стоит попробовать?
Вот что делает snscrape особенным:
- Простота использования — устанавливается одной командой pip и сразу готов к работе
- Гибкость вывода — данные можно получать в виде URL или структурированного JSONL
- Богатый функционал — поддерживает фильтрацию по количеству результатов, извлечение метаданных
Как начать использовать?
Установка элементарна:
pip3 install snscrape
А вот несколько реальных примеров использования:
Собираем последние 100 твитов с хэштега
snscrape --max-results 100 twitter-hashtag python
Экспортируем все посты пользователя в файл
snscrape twitter-user textfiles > tweets.txt
Получаем структурированные данные в JSON
snscrape --jsonl twitter-hashtag opensource > data.jsonl
Когда это пригодится?
- Журналистам для анализа общественного мнения
- Маркетологам для мониторинга бренда
- Исследователям для сбора данных
- Разработчикам для наполнения своих проектов актуальным контентом
Что под капотом?
Проект написан на Python 3.8+ и использует:
- lxml для парсинга HTML
- Requests для HTTP-запросов
- Плагинную архитектуру для поддержки разных платформ
Ограничения
- Некоторые платформы могут блокировать частые запросы
- Для работы с Facebook и Instagram может потребоваться аутентификация
- Интерфейс библиотеки пока не документирован
Snscrape — отличный выбор, когда вам нужно быстро собрать данные из соцсетей без сложных интеграций. Простота CLI делает его доступным даже для не-программистов, а Python-интерфейс открывает простор для автоматизации.
Кому особенно понравится:
- Исследователям социальных медиа
- Data Scientist'ам, работающим с NLP
- Разработчикам, которым нужны реальные данные для тестирования
Попробуйте — возможно, это именно тот инструмент, которого вам не хватало!
