DevTrends Logo

Data Engineer

ETL/ELT пайплайны, Apache Spark, Airflow, базы данных (SQL/NoSQL), потоковая обработка данных, дата-озера. Инструменты для инженерии данных.

Сортировать по:
TypeScript
13 часов назад

n8n — мост между визуальным программированием и кодом

n8n — мощный инструмент для автоматизации рабочих процессов с открытым исходным кодом, который сочетает визуальное программирование с возможностью нап...

155772 49926
Python
1 день назад

Apache Airflow - Когда ваши рабочие процессы становятся кодом

Apache Airflow — мощная платформа для оркестрации рабочих процессов, которая превращает задачи в код. Узнайте, как она помогает разработчикам управлят...

43172 15926
Python
2 дня назад

Botasaurus — Фреймворк для создания непобедимых скрейперов

Botasaurus — мощный фреймворк для создания веб-скрейперов, который обходит любые системы защиты и делает парсинг простым и эффективным.

3211 265
R
2 дня назад

data.table - турбонаддув для ваших данных в R

data.table — мощный инструмент для работы с данными в R, который ускоряет обработку таблиц в десятки раз. Узнайте, как этот пакет стал стандартом для...

3805 1017
Java
5 дней назад

DBeaver - Ваш универсальный ключ к базам данных

DBeaver — универсальный инструмент для работы с базами данных, который поддерживает более 100 СУБД и предлагает мощные возможности для разработчиков и...

46254 3902
Python
6 дней назад

Vanna Ваш персональный переводчик с человеческого на SQL

Vanna – это Python-фреймворк для генерации SQL-запросов с помощью ИИ, который позволяет общаться с вашей базой данных на естественном языке. Узнайте,...

21496 2011
Java
6 дней назад

Kestra: универсальный оркестратор рабочих процессов с открытым исходным кодом

Kestra — это универсальная платформа для оркестрации рабочих процессов с поддержкой 800+ плагинов. Узнайте, как она упрощает автоматизацию задач на лю...

22881 2244
TypeScript
6 дней назад

Apache Superset BI-платформа, которую стоит попробовать каждому аналитику

Обзор Apache Superset — мощного инструмента для визуализации данных с открытым исходным кодом, который может заменить дорогие BI-решения

68830 16112
Groovy
1 неделю назад

Nextflow - Мощный инструмент для управления рабочими процессами

Nextflow — это мощный инструмент для создания масштабируемых и воспроизводимых рабочих процессов, который упрощает параллельное и распределенное выпол...

3201 741
Scala
1 неделю назад

Akka — фреймворк, который делает распределённые системы простыми

Как Akka меняет правила игры в разработке распределённых систем, делая их устойчивыми и масштабируемыми без головной боли

13228 3581
Python
1 неделю назад

Crawlee — ваш надежный помощник в мире веб-скрапинга на Python

Crawlee — современная Python-библиотека для веб-скрапинга и автоматизации браузера, которая делает процесс сбора данных простым и надежным. Узнайте, к...

7113 511
C++
1 неделю назад

TernFS Файловая система для эпохи больших данных

TernFS — экзабайтная распределённая файловая система с поддержкой multi-region, созданная для работы с большими неизменяемыми файлами в ML-проектах.

1192 72
Rust
1 неделю назад

Quadratic таблицы для разработчиков XXI века

Знакомьтесь с Quadratic — умным табличным редактором нового поколения, который объединяет мощь кода, искусственного интеллекта и коллаборации в одном...

3864 252
Python
1 неделю назад

Chandra — когда обычный OCR уже недостаточно

Chandra — новый уровень OCR: преобразует сканы, PDF и даже рукописные заметки в структурированные данные с сохранением макета

1112 100
TypeScript
1 неделю назад

HASH — База данных, которая развивается сама

HASH — это саморазвивающаяся база знаний с открытым исходным кодом, которая автоматически структурирует информацию и проверяет свою целостность. Узнай...

1360 104
TypeScript
1 неделю назад

Crawlee: ваш незаметный и надежный помощник в веб-скрапинге

Crawlee — мощный инструмент для веб-скрапинга и автоматизации браузера, который делает ваших ботов незаметными и эффективными. Узнайте, как он может у...

20363 1066
Python
1 неделю назад

MindsDB — AI-аналитика для разработчиков без хлопот

MindsDB — это открытый аналитический движок с AI, который помогает разработчикам находить ответы в сложных данных без необходимости писать сложные зап...

36734 5923
Go
1 неделю назад

Franz-go: когда вам нужен полный контроль над Kafka на Go

Полный обзор franz-go — самого быстрого и функционального Kafka-клиента на Go с поддержкой всех версий протокола и уникальными возможностями

2513 251
Python
1 неделю назад

Kreuzberg — швейцарский нож для работы с документами в Python

Kreuzberg — универсальный Python-фреймворк для извлечения текста и метаданных из документов любых форматов. Разбираем, чем он лучше аналогов и как упр...

2475 108
Java
1 неделю назад

Kafbat UI — Визуальное управление Kafka без головной боли

Kafbat UI — удобный веб-интерфейс для управления кластерами Apache Kafka, который упрощает мониторинг и отладку данных в реальном времени

1625 198
Rust
2 недели назад

NautilusTrader Мощный движок для алгоритмического трейдинга без головной боли

NautilusTrader — высокопроизводительная платформа для алгоритмического трейдинга на Python и Rust, позволяющая тестировать и запускать торговые страте...

15935 1820
Python
2 недели назад

Docling - Универсальный парсер документов для AI-разработчиков

Docling — мощный инструмент для обработки документов перед использованием в AI-моделях, поддерживающий PDF, DOCX, таблицы и даже аудиофайлы

42578 3038
Python
2 недели назад

Crawl4AI — Веб-краулер для эпохи ИИ, который стоит попробовать

Crawl4AI — это открытый веб-краулер для работы с большими языковыми моделями, который превращает веб-страницы в удобные для ИИ структурированные данны...

55312 5528
Python
2 недели назад

Data-Juicer — Ваш швейцарский нож для подготовки данных под foundation models

Data-Juicer — мощный инструмент для обработки данных под задачи обучения foundation models (включая мультимедийные). Узнайте, как этот проект от Aliba...

5415 284