#data-engineering
Все о data engineering: от классических ETL-процессов до современных ML-пайплайнов. В этом разделе вы найдете обзоры актуальных инструментов и платформ для обработки, оркестрации и анализа данных. Погрузитесь в мир Apache Airflow, Kubernetes, SQL и Python, чтобы решать сложные инженерные задачи.
Почему векторные базы данных не спасут агентов от аудиторов и как это решает Semantica
Разбираем Python-библиотеку Semantica, которая превращает действия AI-агентов в связный граф контекста с полной цепочкой причинно-следственных связей...
Как договориться о данных и не сойти с ума
Обзор Open Data Contract Standard (ODCS) — открытого стандарта для описания соглашений между поставщиками и потребителями данных. Разбираемся, как нав...
Как перестать гадать на данных и начать доверять своим пайплайнам
Обзор GX Core (Great Expectations) — мощного инструмента для тестирования, документирования и профилирования данных на Python. Узнайте, как автоматизи...
Зачем рисовать дашборды мышкой, если можно писать их кодом
Обзор open-source инструмента Evidence, который позволяет создавать аналитические дашборды и отчеты с помощью SQL и Markdown, используя подход «BI как...
Как Feast наводит порядок в хаосе данных для машинного обучения
Разбираемся, как Feast помогает дата-инженерам и ML-специалистам избавиться от дублирования кода и утечек данных при подготовке признаков для моделей.
Как ускорить Spark в четыре раза без переписывания кода
Обзор Sail — современного Rust-native движка, который заменяет Apache Spark, ускоряет обработку данных в 4 раза и радикально снижает расходы на облачн...
Как перестать писать SQL-запросы вручную и собрать своего аналитика на стероидах
Обзор nao — опенсорсного фреймворка для создания аналитических агентов. Узнайте, как превратить вопросы на обычном языке в точные SQL-запросы и визуал...
Как перестать играться с моделями и начать строить ML-продукты
Обзор популярного репозитория Made-With-ML: как пройти путь от Jupyter Notebook до полноценного продакшн-сервиса с использованием Ray, MLflow и CI/CD.
Как превратить обычный Python-скрипт в надежный пайплайн данных
Обзор Prefect — современного Python-фреймворка для оркестрации данных. Узнайте, как легко превратить обычные скрипты в надежные и наблюдаемые пайплайн...
Как перестать воевать с данными и начать жить с Dagster
Обзор Dagster — современной платформы оркестрации данных, которая ставит во главу угла тестирование, локальную разработку и прозрачность пайплайнов.
Ваш личный AI-ассистент: Как построить «Второй мозг» с LLM, RAG и агентами
Устали тонуть в своих заметках? Этот бесплатный курс покажет, как создать умного AI-ассистента, который мгновенно найдет нужную информацию в вашей лич...
Data Engineering Zoomcamp - Ваш билет в мир больших данных без лишних трат
Мечтаете стать дата-инженером, но не знаете, с чего начать? Data Engineering Zoomcamp — бесплатный 9-недельный курс от DataTalks.Club, который проведе...
CocoIndex Превращаем хаос в данные для AI с помощью Rust и декларативного подхода
Надоело перестраивать AI-пайплайны при каждом изменении данных? CocoIndex с ядром на Rust предлагает элегантное решение — инкрементальную обработку да...
Airbyte — Как перестать писать код для каждого API и полюбить ELT
Устали писать бесконечные скрипты для переноса данных? Знакомьтесь с Airbyte — open-source платформой, которая с помощью 600+ готовых коннекторов прев...
DeepAnalyze — Ваш автономный ассистент для data science
DeepAnalyze — первый агентный ИИ для автоматизации полного цикла data science: от подготовки данных до генерации аналитических отчетов. Открытая альте...
Argo Workflows: Kubernetes-нативный движок для сложных рабочих процессов
Argo Workflows — это мощный инструмент для оркестрации параллельных задач в Kubernetes, который используют более 200 компаний, включая Netflix и Googl...
Daft Мощный инструмент для работы с данными любого типа
Daft — это высокопроизводительный движок для обработки данных на Python и SQL, который особенно хорош для работы с мультимодальными данными и облачным...
Apache Airflow - Когда ваши рабочие процессы становятся кодом
Apache Airflow — мощная платформа для оркестрации рабочих процессов, которая превращает задачи в код. Узнайте, как она помогает разработчикам управлят...
Awesome Billing: когда деньги встречаются с кодом
Полное руководство по биллингу и платежам для разработчиков: от основ до продвинутых стратегий ценообразования
Quadratic таблицы для разработчиков XXI века
Знакомьтесь с Quadratic — умным табличным редактором нового поколения, который объединяет мощь кода, искусственного интеллекта и коллаборации в одном...
RisingWave - Потоковая обработка данных без головной боли
RisingWave — современная платформа для обработки потоковых данных с поддержкой SQL и Python. Узнайте, как она упрощает работу с реальным временем.
Data-diff: Когда нужно сравнить таблицы быстро и точно
Data-diff — мощный инструмент для сравнения таблиц между базами данных, который экономит часы рутинной работы. Узнайте, как он может упростить вашу жи...