Snscrape — ваш универсальный сборщик данных из соцсетей

28 июл 2025

Репозиторий давно не обновлялся

Последнее обновление было 2 года назад.

353
38
8
2 года

Представьте ситуацию: вам нужно проанализировать обсуждение хэштега в Twitter, собрать посты из Telegram-канала или изучить активность пользователя ВКонтакте. Официальные API часто ограничены, а писать парсеры для каждой платформы — долго. Именно здесь на помощь приходит snscrape.

Что это за инструмент?

Snscrape — это Python-библиотека и CLI-утилита для сбора данных с популярных социальных платформ. Разработанный архивным сообществом, этот инструмент поддерживает:

  • Twitter (пользователи, треды, хэштеги)
  • Facebook (профили, группы)
  • Telegram (каналы)
  • VKontakte (профили)
  • Instagram, Reddit, Mastodon и Weibo

Главное преимущество — работа без официального API, используя только публично доступные данные.

Почему стоит попробовать?

Вот что делает snscrape особенным:

  1. Простота использования — устанавливается одной командой pip и сразу готов к работе
  2. Гибкость вывода — данные можно получать в виде URL или структурированного JSONL
  3. Богатый функционал — поддерживает фильтрацию по количеству результатов, извлечение метаданных

Как начать использовать?

Установка элементарна:

Реклама
pip3 install snscrape

А вот несколько реальных примеров использования:

Собираем последние 100 твитов с хэштега

snscrape --max-results 100 twitter-hashtag python

Экспортируем все посты пользователя в файл

snscrape twitter-user textfiles > tweets.txt

Получаем структурированные данные в JSON

snscrape --jsonl twitter-hashtag opensource > data.jsonl

Когда это пригодится?

  • Журналистам для анализа общественного мнения
  • Маркетологам для мониторинга бренда
  • Исследователям для сбора данных
  • Разработчикам для наполнения своих проектов актуальным контентом

Что под капотом?

Проект написан на Python 3.8+ и использует:

  • lxml для парсинга HTML
  • Requests для HTTP-запросов
  • Плагинную архитектуру для поддержки разных платформ

Ограничения

  1. Некоторые платформы могут блокировать частые запросы
  2. Для работы с Facebook и Instagram может потребоваться аутентификация
  3. Интерфейс библиотеки пока не документирован

Snscrape — отличный выбор, когда вам нужно быстро собрать данные из соцсетей без сложных интеграций. Простота CLI делает его доступным даже для не-программистов, а Python-интерфейс открывает простор для автоматизации.

Кому особенно понравится:

  • Исследователям социальных медиа
  • Data Scientist'ам, работающим с NLP
  • Разработчикам, которым нужны реальные данные для тестирования

Попробуйте — возможно, это именно тот инструмент, которого вам не хватало!

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.