Как подружить Claude и Cursor с Databricks при помощи AI Dev Kit

Представьте ситуацию: вы открываете AI-ассистента, просите его набросать ETL-пайплайн для Databricks, а он выдает «галлюцинации» — путает синтаксис Spark SQL, предлагает несуществующие параметры в Unity Catalog или просто «забывает», как правильно настраивать Auto Loader. Знакомая история?

Проблема в том, что даже самые крутые модели вроде Claude 3.5 Sonnet или GPT-4o не всегда в курсе последних обновлений специфических облачных платформ. Инженеры из Databricks решили эту проблему радикально, выпустив AI Dev Kit. Это своего рода «инъекция знаний» и набор инструментов, которые превращают вашего AI-помощника в дипломированного эксперта по Databricks.

Что такое AI Dev Kit и зачем он вам

По сути, это мост между современными LLM-агентами (Claude Code, Cursor, Windsurf) и экосистемой Databricks. Проект получил статус «Gold Project» внутри компании, что говорит о серьезности намерений разработчиков.

Зачем это нужно обычному дата-инженеру или разработчику? В последнее время набирает обороты концепция vibe coding — это когда вы описываете задачу на естественном языке, а нейронка пишет код, тесты и деплоит инфраструктуру. Но чтобы «вайб» не разбился о суровую реальность ошибок конфигурации, ассистенту нужны актуальные контексты и возможность напрямую взаимодействовать с платформой.

AI Dev Kit дает вашему агенту 50+ готовых инструментов и базу лучших практик, чтобы он мог не просто «советовать», а реально выполнять задачи.

Architecture

Четыре кита, на которых стоит проект

Проект разбит на несколько модулей, и вы можете выбрать тот уровень интеграции, который удобен именно вам.

1. MCP Server — магия выполнения задач

Model Context Protocol (MCP) — это открытый стандарт, предложенный Anthropic. AI Dev Kit включает в себя сервер MCP, который открывает для Claude или Cursor доступ к API Databricks. Теперь ассистент может сам проверить список таблиц в Unity Catalog, запустить SQL-запрос для проверки данных или создать новый Job.

2. Библиотека Core — для любителей Python

Если вы пишете кастомных агентов на LangChain или OpenAI SDK, вам пригодится databricks-tools-core. Это высокоуровневая обертка над API. Например, выполнение SQL-запроса сводится к одной строчке:

from databricks_tools_core.sql import execute_sql

results = execute_sql("SELECT * FROM silver.users_data LIMIT 5")

Никакой возни с низкоуровневыми запросами и токенами — всё уже упаковано.

3. Библиотека навыков (Skills)

Это набор из 19 тщательно проработанных Markdown-файлов, которые объясняют нейросети, как правильно работать с Databricks. Там описаны паттерны для:

Создания декларативных пайплайнов Spark.
Настройки CDC (Change Data Capture) и SCD Type 2.
Управления MLflow экспериментами.
Развертывания RAG-систем (Knowledge Assistants).

4. Visual Builder App

Для тех, кто предпочитает графический интерфейс, есть полноценное Full-stack приложение. Это веб-чат, заточенный исключительно под разработку на Databricks, со встроенной интеграцией Claude Code.

Практические кейсы: что можно собрать за вечер

С этим набором инструментов порог входа в сложные задачи Databricks значительно снижается. Вот несколько вещей, которые AI-ассистент сделает за вас почти без правок:

Сложные DAG-цепочки: Попросите Cursor создать расписание заданий (Jobs) с зависимостями, уведомлениями и обработкой ошибок. Ассистент будет использовать актуальные схемы JSON для конфигурации задач.
Аналитические дашборды: Вы описываете: «Хочу видеть KPI по продажам за прошлую неделю с разбивкой по регионам», и агент генерирует нужный SQL и структуру AI/BI Dashboard.
Governance и безопасность: Настройка прав доступа в Unity Catalog через код. Агент «знает», как правильно управлять томами (Volumes) и таблицами.
Genie Spaces: Помощь в создании пространств для естественного поиска по данным, чтобы ваши бизнес-пользователи могли сами задавать вопросы базе.

Как начать пользоваться

Разработчики сделали процесс установки максимально безболезненным. Главное условие — у вас должен быть установлен пакетный менеджер uv и настроен Databricks CLI.

Для macOS или Linux установка в текущую папку проекта выглядит так:

bash <(curl -sL https://raw.githubusercontent.com/databricks-solutions/ai-dev-kit/main/install.sh)

Скрипт интерактивный — он спросит, какие инструменты вы используете (Claude, Cursor или что-то еще), и сам пропишет необходимые конфигурации. Кстати, для Windows тоже есть готовый PowerShell-скрипт.

Почему это важно для сообщества

Интересно наблюдать, как крупные игроки вроде Databricks начинают официально поддерживать инструменты для AI-кодинга. Это уже не просто игрушки для написания «Hello World», а серьезные инструменты автоматизации.

AI Dev Kit стоит попробовать, если вы:

Устали копипастить документацию в чат с нейронкой.
Хотите автоматизировать рутинные задачи по администрированию пайплайнов.
Стремитесь внедрить практики «Data Engineering as a Code», но не хотите писать тысячи строк YAML вручную.

Проект активно растет (посмотрите на график Star History в репозитории), и, учитывая поддержку Field Engineering команды Databricks, он станет стандартом для всех, кто работает с данными в облаке.

В моей практике подобные инструменты экономят до 40% времени на написание бойлерплейт-кода. А возможность дать AI-агенту «глаза» внутри вашей БД через MCP сервер — это вообще переход на новый уровень продуктивности. Попробуйте, это действительно меняет подход к работе.