Dataset Viewer: Как просматривать огромные файлы без тормозов

22 окт 2025

Репозиторий давно не обновлялся

Последнее обновление было 7 месяцев назад.

1,103
78
8
7 месяцев

Представьте: вам нужно быстро посмотреть содержимое JSON-файла на 50 ГБ или найти конкретную строку в логах размером с библиотеку. Обычные редакторы либо зависают, либо вообще отказываются открывать такие файлы. Именно эту проблему решает Dataset Viewer от StardustAI.

Что это за инструмент?

Dataset Viewer — это кроссплатформенное приложение (Windows/macOS/Linux), созданное для молниеносного просмотра и поиска в огромных файлах. Оно построено на стеке Tauri + React + TypeScript, что обеспечивает нативную производительность и современный интерфейс.

Интересный факт: весь код проекта был сгенерирован при помощи ИИ! Но не спешите скептически относиться — результат действительно впечатляет.

Топ-5 причин попробовать Dataset Viewer

  1. Молниеносная работа с огромными файлами

    • Открывает файлы до 100 ГБ благодаря потоковой загрузке
    • Виртуализированный рендеринг — загружает только видимую часть
    • Не зависает на больших CSV и JSON, как обычные редакторы
  2. Поиск за миллисекунды

    Реклама
    • Полнотекстовый поиск с подсветкой результатов
    • Работает даже в архивах ZIP/TAR без распаковки
    • Поддержка регулярных выражений
  3. Поддержка всех популярных форматов

    Данные: Parquet, CSV, Excel, JSON
    Код: Python, Java, C++, Rust с подсветкой синтаксиса
    Документы: PDF, Word, Markdown (с preview!)
    Архивы: ZIP, TAR (просмотр без распаковки)
    
  4. Работа с удалёнными источниками

    • Прямое подключение к WebDAV, SSH/SFTP, SMB
    • Поддержка S3 и HuggingFace Hub
    • Единый интерфейс для локальных и облачных файлов
  5. Гибкая система плагинов

    • Можно добавить поддержку новых форматов
    • SDK для разработки собственных viewer'ов
    • Примеры: 3D-просмотрщик point cloud, CAD-редактор

Как это работает под капотом?

Технически проект сочетает:

  • Rust (через Tauri) — для работы с файлами и высокой производительности
  • React — для удобного интерфейса
  • Виртуализацию — загрузка только видимой части данных
  • Потоковую передачу — файлы не грузятся целиком в память

Пример просмотра JSON Структурированный просмотр JSON с возможностью свёртки узлов

Кому особенно пригодится?

  1. Data Scientist'ам — для быстрого просмотра Parquet/CSV перед анализом
  2. Разработчикам — поиск по логам и большим конфигам
  3. Администраторам — работа с файлами на удалённых серверах через SSH/SFTP
  4. Исследователям — просмотр датасетов с HuggingFace без скачивания
  5. Всем, кто работает с большими файлами — когда обычные редакторы не справляются

Личный опыт использования

Попробовал открыть CSV на 15 ГБ — Dataset Viewer справился за 3 секунды, тогда как VS Code просто завис. Поиск по 50-гигабайтному лог-файлу занял меньше секунды. Особенно впечатлила возможность просматривать ZIP-архивы как обычные папки.

Как начать использовать?

  1. Скачайте под свою ОС: релизы на GitHub
  2. Подключите локальные файлы или удалённое хранилище
  3. Наслаждайтесь скоростью работы!

Проект активно развивается, имеет открытый исходный код (MIT License) и ждёт ваших contribution'ов. Если устали ждать, пока открываются большие файлы — самое время попробовать Dataset Viewer!

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.