Как делиться данными, чтобы аналитик не проклял ваш проект

Знакомо: собрали данные, передали статистику, а потом неделями исправляете неточности и объясняете, что значит каждая колонка? Профессор биостатистики Джефф Лик написал руководство, которое стало стандартом в научных кругах и заслужило 243609 форков на GitHub. Рассказываю, почему этот скромный текст настолько ценен.

Почему это важно

Забавный факт: по опыту Лика, 80% времени анализа данных уходит не на статистику, а на "приведение данных в удобоваримый вид". Представьте, что вы заказываете кофе, а бариста просит вас сначала собрать кофейные зерна. Примерно так чувствует себя аналитик, получая "сырые" данные без структуры и пояснений.

Кому пригодится

Ученым, которые передают данные статистикам
Разработчикам, готовящим датасеты для анализа
Аналитикам, уставшим объяснять коллегам основы
Студентам, впервые сталкивающимся с обработкой данных

Что должно быть в идеальном наборе данных

Лик предлагает передавать аналитикам четыре компонента:

Сырые данные — в самом первозданном виде
Очищенные данные — по принципам Tidy Data
Кодбук — расшифровка всех переменных
Инструкции — как вы превратили 1 в 2

1. Сырые данные — неприкосновенный запас

Золотое правило: передавайте данные в том виде, в котором их создала измерительная аппаратура или человек. Никакой предварительной обработки! Примеры настоящих сырых данных:

Бинарный файл из измерительного прибора
Многостраничный Excel без форматирования
JSON от API Twitter
Ручные записи из лабораторного журнала

Проверка: если вы не запускали никакого софта, не меняли значения и не удаляли записи — это действительно сырые данные.

2. Tidy Data — когда каждая переменная на своем месте

Концепция tidy data от Хэдли Уикхэма (автора ggplot2) — это:

Одна переменная = одна колонка
Одно наблюдение = одна строка
Один тип данных = одна таблица
Связи между таблицами через ключи

Пример из геномики:

Таблица 1: демография пациентов (ID, возраст, лечение, диагноз)
Таблица 2: экспрессия генов (ID + 100,000 колонок с измерениями)

3. Кодбук — переводчик с "датасетного" на человеческий

Здесь нужно объяснить:

Что значит каждая переменная (с единицами измерения!)
Как выбирали данные (критерии включения)
Дизайн исследования (случайная выборка? первые 20 пациентов?)

Совет: вместо "ADx" пишите "AgeAtDiagnosis", а категории кодируйте словами ("male"/"female"), а не числами.

4. Инструкции — рецепт преобразования

Идеальный вариант — скрипт на R/Python, который превращает сырые данные в tidy. Если код писать некому, опишите процесс шагами:

1. Запустить summarize v3.1.2 с параметрами a=1, b=2
2. Обработать каждый образец отдельно
3. Взять третий столбец из outputfile.out

Что вы получите взамен

Когда данные подготовлены по этим правилам, аналитик сможет:

Быстро проверить ваши преобразования
Предоставить полный воспроизводимый анализ
Дать понятные рекомендации

Почему это гениально просто

Проект Лика — не код и не библиотека, а свод правил, которые:

Основаны на реальном опыте (сотни совместных проектов)
Экономят время всем участникам
Снижают ошибки интерпретации
Делают исследования воспроизводимыми

Кому особенно стоит изучить

Начинающим data scientist'ам — чтобы понимать, как должны выглядеть "правильные" данные
Руководителям проектов — для внедрения стандартов в команде
Преподавателям — как учебное пособие по подготовке данных

"Лучшие данные — это не самые "чистые", а те, чей путь от сырого состояния до анализа можно точно воспроизвести" — ключевая мысль руководства

GitHub-репозиторий: jtleek/datasharing