Newspaper4k Вторая жизнь легендарного парсера новостей

Представьте, что вам нужно быстро собрать данные с десятков новостных сайтов — заголовки, авторов, даты публикации, основной текст и даже ключевые слова. Писать парсеры для каждого сайта вручную? Неэффективно. Newspaper4k решает эту проблему одной строчкой кода.

Что случилось с newspaper3k?

Оригинальный newspaper3k от codelucas был популярным инструментом, но с 2020 года не обновлялся. В 2023 году энтузиаст Andrei Paraschiv создал форк проекта, который:

Исправил более 200 багов из оригинального репозитория
Улучшил точность извлечения текста на 9% (по данным тестов F1-score)
Добавил новые функции вроде интеграции с Google News

5 причин попробовать Newspaper4k

Простота использования — парсинг статьи в 3 строки кода:

from newspaper import Article
article = Article('https://example.com/news')
article.download().parse()
print(article.text)

Многопоточный сбор — одновременная загрузка до 20 статей (настраивается):

source = newspaper.build('http://cnn.com', number_threads=5)
source.download_articles()

Готовая аналитика — автоматическое выделение ключевых слов и суммаризация:

article.nlp()
print(article.keywords) # ['криптовалюта', 'блокчейн', 'инвестиции']
print(article.summary) # Краткое содержание на 5 предложений

Поддержка 80+ языков — включая русский, китайский и арабский:

article = Article('https://arabic.cnn.com', language='ar')

Гибкие форматы вывода — JSON, CSV или plain text через CLI:

python -m newspaper --url="https://example.com" --output-format=json

Что под капотом?

Проект использует проверенные технологии:

lxml для быстрого парсинга HTML
Pillow для работы с изображениями
NLTK для лингвистического анализа
GNews для интеграции с Google News (опционально)

Когда особенно полезен?

Сбор датасетов для ML-моделей анализа текста
Мониторинг СМИ и упоминаний брендов
Создание собственных агрегаторов новостей
Исследования в области NLP

Вердикт

Newspaper4k — это:

✅ Более точный, чем оригинальный newspaper3k ✅ Проще в использовании, чем BeautifulSoup + requests ✅ Быстрее ручного парсинга

Для журналистов, дата-сайентистов и разработчиков, работающих с новостными данными, этот инструмент сэкономит часы рутинной работы. При установке не забудьте системные зависимости:

# Для Ubuntu/Debian
sudo apt-get install python3-dev libxml2-dev libxslt-dev libjpeg-dev zlib1g-dev
pip install newspaper4k

Проект активно развивается — 88 форков и 835 звёзд на GitHub говорят сами за себя. Если вам нужен надёжный парсер новостей в 2025 году, Newspaper4k — отличный выбор.

P.S. Автор ищет контрибьюторов — хороший шанс для первого вклада в open-source!