DevTrends Logo

Data Engineer

ETL/ELT пайплайны, Apache Spark, Airflow, базы данных (SQL/NoSQL), потоковая обработка данных, дата-озера. Инструменты для инженерии данных.

Сортировать по:
Rust
20 часов назад

Daft Мощный инструмент для работы с данными любого типа

Daft — это высокопроизводительный движок для обработки данных на Python и SQL, который особенно хорош для работы с мультимодальными данными и облачным...

5552 484
Jupyter Notebook
22 часа назад

Data Engineering Zoomcamp - Ваш билет в мир больших данных без лишних трат

Мечтаете стать дата-инженером, но не знаете, с чего начать? Data Engineering Zoomcamp — бесплатный 9-недельный курс от DataTalks.Club, который проведе...

42175 8343
Java
1 день назад

Как Apache IoTDB справляется с миллиардами точек данных на обычном железе

Разбираем Apache IoTDB — специализированную базу данных для временных рядов, которая эффективно сжимает данные с датчиков и тянет миллионы записей в с...

6343 1141
Java
2 дня назад

Debezium — Когда ваша база данных начинает говорить в реальном времени

Debezium – это open-source платформа для Change Data Capture, которая позволяет в реальном времени отслеживать и стримить изменения данных из ваших ба...

12795 2950
Java
3 дня назад

Spring Batch Ваш надёжный швейцарский нож для пакетной обработки данных

Устали от рутинной обработки данных? Spring Batch — ваш надёжный помощник в мире Java-разработки, позволяющий легко создавать мощные и отказоустойчивы...

2944 2509
Go
3 дня назад

ClickHouse на Kubernetes Altinity Operator приручает Big Data

Устали от ручного развертывания ClickHouse в Kubernetes? Altinity ClickHouse Operator автоматизирует управление кластерами, масштабирование и обновлен...

2514 547
Go
3 дня назад

Как переливать данные между базами одной командой без кода и боли

Обзор ingestr — мощного CLI-инструмента для копирования данных между любыми базами и сервисами без написания кода. Поддерживает Postgres, ClickHouse,...

3611 125
Python
4 дня назад

Как перестать писать SQL руками и начать жить с Datus

Datus — это open-source агент для дата-инжиниринга, который строит семантический контекст вокруг ваших данных, позволяя создавать умных чат-ботов для...

1260 201
HTML
4 дня назад

Где на самом деле пропадал GitHub

Обзор проекта github-statuses — независимого архива аптайма GitHub. Узнайте, как разработчики используют ML и Flat Data, чтобы показать реальную стати...

463 20
Rust
4 дня назад

LanceDB Когда AI-данные растут, а поиск не тормозит

Откройте для себя LanceDB — векторную базу данных, которая превращает работу с мультимодальными данными в AI-приложениях из головной боли в удовольств...

10484 888
Clojure
4 дня назад

Забудьте про мучительные JOIN и познайте магию путешествий во времени с Datahike

Обзор Datahike — мощной распределенной базы данных с логическим языком запросов Datalog, Git-подобной историей изменений и поддержкой путешествий во в...

1837 111
Python
5 дней назад

MindsDB — AI-аналитика для разработчиков без хлопот

MindsDB — это открытый аналитический движок с AI, который помогает разработчикам находить ответы в сложных данных без необходимости писать сложные зап...

39235 6212
Python
5 дней назад

MinerU — Ваш универсальный инструмент для работы с PDF

MinerU — мощный инструмент для преобразования PDF в структурированные форматы Markdown и JSON с сохранением макета, таблиц и формул. Узнайте, как он у...

66109 5572
C++
5 дней назад

TernFS Файловая система для эпохи больших данных

TernFS — экзабайтная распределённая файловая система с поддержкой multi-region, созданная для работы с большими неизменяемыми файлами в ML-проектах.

1313 94
Java
5 дней назад

SQL для всего: Как Apache Calcite превращает любые данные в базу данных

Устали от зоопарка баз данных и разных языков запросов? Apache Calcite — это мощный фреймворк, который позволяет говорить на SQL с любыми источниками...

5131 2485
R
5 дней назад

data.table - турбонаддув для ваших данных в R

data.table — мощный инструмент для работы с данными в R, который ускоряет обработку таблиц в десятки раз. Узнайте, как этот пакет стал стандартом для...

3890 1046
Java
5 дней назад

Kafbat UI — Визуальное управление Kafka без головной боли

Kafbat UI — удобный веб-интерфейс для управления кластерами Apache Kafka, который упрощает мониторинг и отладку данных в реальном времени

2411 326
Python
5 дней назад

Data-Juicer — Ваш швейцарский нож для подготовки данных под foundation models

Data-Juicer — мощный инструмент для обработки данных под задачи обучения foundation models (включая мультимедийные). Узнайте, как этот проект от Aliba...

6469 374
HTML
6 дней назад

Unstructured.io - Из хаоса документов в порядок для ваших LLM

Устали от рутины превращения PDF и Word в структурированные данные для ваших LLM? Unstructured.io предлагает открытое решение, которое автоматизирует...

14822 1242
Java
6 дней назад

Apache Fesod: Когда Excel не хочет дружить с памятью

Apache Fesod: высокопроизводительная и экономичная Java-библиотека для работы с табличными файлами, которая решает проблему OutOfMemoryError при обраб...

6047 503
Rust
6 дней назад

IronCalc: Когда Excel не справляется, а код приходит на помощь

Устали бороться с Excel в автоматизированных задачах? IronCalc — это современный движок электронных таблиц на Rust, который позволяет программно управ...

3947 149
Go
6 дней назад

Volcano Когда Kubernetes "закипает" от AI/ML и Big Data

Устали от того, как Kubernetes справляется с требовательными пакетными задачами? Volcano — это мощный планировщик, созданный специально для AI/ML, Big...

5624 1383
Python
6 дней назад

DocETL: Ваш проводник в мире обработки документов с LLM

DocETL — это инструмент для создания и выполнения конвейеров обработки данных, особенно подходящий для сложных задач с документами, использующий мощь...

3755 397
Rust
1 неделю назад

Spice.ai - Ваш новый швейцарский нож для данных и ИИ-приложений

Spice.ai — это движок для SQL-запросов, поиска и LLM-инференса на Rust, который позволяет создавать быстрые, надёжные и управляемые данными приложения...

2943 195