Как хранить гигабайты научной графики и не сойти с ума

Представьте, что вам нужно сохранить результаты моделирования океанских течений за десять лет. У вас есть сетка из миллионов точек, в каждой — температура, соленость и вектор скорости. Если записывать это в обычный CSV, файл раздуется до неприличных размеров, а чтение одной маленькой области превратится в бесконечное ожидание, пока парсер прожует гигабайты текста. Именно для таких задач и придумали netCDF.

Что это за зверь

Проект netCDF-C — это сердце экосистемы NetCDF (Network Common Data Form). По сути, это не просто библиотека, а целый стандарт хранения многомерных данных. Если вы когда-нибудь работали с HDF5, то концепция вам знакома. Но netCDF делает акцент на удобстве обмена данными между учеными и разными программными средами.

Это не модный стартап, который закроется через год. Библиотека развивается десятилетиями в Unidata, и на ней держится добрая половина мировых метеорологических и климатических моделей. Основная реализация написана на C, но через нее работают обертки для Python, Java, Fortran и C++.

Почему это удобнее обычных форматов

Главная фишка netCDF в том, что файлы получаются «самоописываемыми». Вы открываете файл и сразу видите: какие тут есть переменные, в каких единицах измерения они хранятся и кто автор данных. Вам не нужен отдельный PDF-документ с описанием структуры — все метаданные лежат внутри.

Библиотека обеспечивает прозрачность для сети. Это значит, что файл, созданный на старом мейнфрейме с необычным порядком байтов, спокойно прочитается на вашем современном ноутбуке. Код библиотеки сам берет на себя все преобразования типов и выравнивание.

Еще одна важная штука — прямой доступ к данным. Если вам нужно узнать температуру воды только в одной координате на глубине 100 метров, библиотека не будет читать весь файл с диска. Она вычислит смещение и заберет только нужные байты. Это критично, когда размер датасета переваливает за десятки гигабайт.

Как это устроено внутри

В основе лежит модель данных, где есть измерения (dimensions), переменные (variables) и атрибуты (attributes).

Измерения задают оси координат: время, широту, долготу.
Переменные содержат сами массивы данных, привязанные к этим осям.
Атрибуты хранят метаданные вроде «units: celsius» или «long_name: air temperature».

Интересно, что данные в netCDF можно дополнять. Если вы ведете лог наблюдений и каждый день дописываете новую порцию измерений вдоль временной оси, вам не придется переписывать весь файл целиком или копировать его структуру. Библиотека просто добавит данные в конец.

Практическая ценность для разработчика

Если вы пишете софт, который работает с Big Data в области физики, биологии или инженерии, netCDF избавляет от изобретения велосипедов. Вместо того чтобы мучиться с бинарными структурами и заботиться о совместимости форматов, вы просто подключаете библиотеку.

Для быстрой работы в комплекте идут утилиты вроде ncdump. Она позволяет мгновенно превратить бинарный файл в человекочитаемый текст (CDL), чтобы быстро глянуть структуру, или наоборот — собрать бинарник из текстового описания.

Вот простой пример того, как выглядит описание данных в формате netCDF:

netcdf test {
dimensions:
    lat = 10, lon = 20;
variables:
    float temperature(lat, lon);
    temperature:units = "celsius";
data:
    temperature = 25.5, 26.0, ... ;
}

Как начать работу

Проект собирается через CMake или Autotools, есть готовые бинарники для Windows. Если вы работаете на Linux, скорее всего, пакет уже есть в вашем репозитории под именем libnetcdf-dev.

Документация у проекта довольно объемная, хотя местами выглядит олдскульно. Есть отличный Tutorial, который на пальцах объясняет, как создать свой первый файл и записать в него массив.

Стоит ли тащить netCDF в свой проект?

Да, если вы работаете с многомерными массивами и вам важна производительность ввода-вывода.
Да, если вашими данными будут пользоваться другие люди в разных языках программирования.
Нет, если ваши данные плоские и простые — для обычных конфигов или небольших списков хватит JSON или SQLite.

Это надежный, академический инструмент для серьезных задач. У него нет тысяч звезд на GitHub только потому, что это специфическая ниша, но в своей области это абсолютно незаменимый стандарт.