DevTrends Logo

Data Engineer

ETL/ELT пайплайны, Apache Spark, Airflow, базы данных (SQL/NoSQL), потоковая обработка данных, дата-озера. Инструменты для инженерии данных.

Сортировать по:
Java
3 часа назад

DataHub — Как найти и понять данные в современном стеке

Устали теряться в лабиринтах корпоративных данных? DataHub — это мощная платформа для каталогизации данных, которая поможет вашей команде быстро наход...

11584 3372
TypeScript
12 часов назад

OpenMetadata — Когда данные перестают быть загадкой

OpenMetadata — это единая платформа для управления данными, которая помогает навести порядок в хаосе информации, улучшить качество и обеспечить прозра...

8711 1634
Rust
12 часов назад

Spice.ai - Ваш новый швейцарский нож для данных и ИИ-приложений

Spice.ai — это движок для SQL-запросов, поиска и LLM-инференса на Rust, который позволяет создавать быстрые, надёжные и управляемые данными приложения...

2799 170
Python
13 часов назад

Crawlee — ваш надежный помощник в мире веб-скрапинга на Python

Crawlee — современная Python-библиотека для веб-скрапинга и автоматизации браузера, которая делает процесс сбора данных простым и надежным. Узнайте, к...

8083 619
Java
21 час назад

OpenSearch Когда данные говорят сами за себя

OpenSearch – это мощная, открытая платформа для поиска и аналитики, которая помогает превратить хаотичные данные в ценные инсайты. Узнайте, как она уп...

12404 2414
TypeScript
1 день назад

Firecrawl превращаем веб-сайты в данные для AI

Firecrawl — мощный инструмент для превращения веб-сайтов в чистые данные для AI. Узнайте, как он упрощает сбор и обработку контента для ваших проектов...

83353 6070
Rust
1 день назад

Lance - Ваш Lakehouse готов к AI-революции?

Устали от медленного Parquet и сложных пайплайнов для AI? Откройте для себя Lance – формат данных, который привносит векторный поиск, молниеносный дос...

6062 549
C++
1 день назад

GridDB - Гибридная база данных для IoT, которая совмещает NoSQL и SQL

GridDB — высокопроизводительная NoSQL/SQL база данных для IoT и временных рядов. Обзор возможностей, архитектуры и практического применения.

2465 5009
Rust
1 день назад

RuVector когда векторная база данных начинает учиться на своих ошибках

Обзор RuVector — самообучающейся векторной базы данных на Rust. Узнайте, как графовые нейросети и когнитивные контейнеры меняют подход к поиску и рабо...

346 95
Rust
2 дня назад

Vortex Когда данные летают, а не ползают

Vortex — это новый взгляд на хранение и обработку данных. Этот колоночный формат и инструментарий обещает до 100 раз ускорить работу с данными в объек...

2721 133
Rust
2 дня назад

Databend: Единое хранилище для всего — от аналитики до AI и геоданных

Databend — это универсальное облачное хранилище данных на Rust, объединяющее аналитику, AI, поиск и геопространственные данные. Узнайте, как этот open...

9156 850
Java
2 дня назад

Как приручить поток данных с помощью Apache Druid

Разбираемся, как Apache Druid помогает обрабатывать миллионы событий в секунду и почему он стал стандартом для аналитики в реальном времени.

13937 3776
Rust
2 дня назад

Lakekeeper — Когда ваш Apache Iceberg-каталог говорит на Rust и заботится о безопасности

Устали от сложностей управления данными в Lakehouse? Lakekeeper — это быстрый, безопасный и простой в использовании REST-каталог для Apache Iceberg, н...

1190 120
Python
2 дня назад

Как превратить хаос из PDF и сканов в структурированные данные с помощью Unstract

Обзор Unstract — мощной Open Source платформы для автоматизации извлечения данных из неструктурированных документов (PDF, сканы, логи) с помощью LLM.

6345 600
Python
2 дня назад

Как превратить базу данных в собеседника обзор OpenChatBI

Обзор OpenChatBI — мощного Open Source инструмента для общения с базами данных на естественном языке. Узнайте, как LangGraph и LLM превращают SQL-запр...

498 60
Clojure
3 дня назад

Забудьте про мучительные JOIN и познайте магию путешествий во времени с Datahike

Обзор Datahike — мощной распределенной базы данных с логическим языком запросов Datalog, Git-подобной историей изменений и поддержкой путешествий во в...

1726 103
Java
3 дня назад

Strimzi: Запускаем Apache Kafka в Kubernetes и забываем о головной боли

Устали от ручного управления Kafka в Kubernetes? Strimzi — это оператор, который берет на себя всю грязную работу по развертыванию, настройке и масшта...

5702 1445
Go
3 дня назад

Как превратить гору CSV и Excel файлов в полноценную базу данных с помощью одной библиотеки

Обзор Go-библиотеки filesql, которая позволяет выполнять SQL-запросы к CSV, Excel, JSON и Parquet файлам без использования полноценной СУБД.

347 9
Python
3 дня назад

Как превратить любой документ в идеальный Markdown для LLM с помощью DocStrange

Обзор DocStrange — мощного инструмента для конвертации PDF, изображений и документов в Markdown и JSON. Идеально для RAG-систем и автоматизации извлеч...

1349 123
TypeScript
4 дня назад

n8n — мост между визуальным программированием и кодом

n8n — мощный инструмент для автоматизации рабочих процессов с открытым исходным кодом, который сочетает визуальное программирование с возможностью нап...

174543 54841
Python
4 дня назад

Как перестать писать SQL руками и начать жить с Datus

Datus — это open-source агент для дата-инжиниринга, который строит семантический контекст вокруг ваших данных, позволяя создавать умных чат-ботов для...

967 151
Unknown
4 дня назад

Где брать данные для стриминг-приложений и тренировки моделей в реальном времени

Подборка лучших API и источников данных для работы в реальном времени: от курсов криптовалют и движения поездов до фидов новостей и сейсмической актив...

2297 178
Go
4 дня назад

Как собрать свой Snowflake на S3 и забыть про медленный Postgres

Обзор BemiDB — open-source альтернативы Snowflake и Fivetran. Узнайте, как ускорить аналитические запросы в 2000 раз, используя Postgres-совместимый д...

1518 43
Rust
4 дня назад

Polars - Когда данные летают, а не ползают

Polars — это молниеносный движок для работы с DataFrame, написанный на Rust, который обещает радикально ускорить ваши аналитические задачи и обработку...

37416 2619