Dataset Viewer: Как просматривать огромные файлы без тормозов
Репозиторий давно не обновлялся
Последнее обновление было 7 месяцев назад.
Представьте: вам нужно быстро посмотреть содержимое JSON-файла на 50 ГБ или найти конкретную строку в логах размером с библиотеку. Обычные редакторы либо зависают, либо вообще отказываются открывать такие файлы. Именно эту проблему решает Dataset Viewer от StardustAI.
Что это за инструмент?
Dataset Viewer — это кроссплатформенное приложение (Windows/macOS/Linux), созданное для молниеносного просмотра и поиска в огромных файлах. Оно построено на стеке Tauri + React + TypeScript, что обеспечивает нативную производительность и современный интерфейс.
Интересный факт: весь код проекта был сгенерирован при помощи ИИ! Но не спешите скептически относиться — результат действительно впечатляет.
Топ-5 причин попробовать Dataset Viewer
-
Молниеносная работа с огромными файлами
- Открывает файлы до 100 ГБ благодаря потоковой загрузке
- Виртуализированный рендеринг — загружает только видимую часть
- Не зависает на больших CSV и JSON, как обычные редакторы
-
Поиск за миллисекунды
- Полнотекстовый поиск с подсветкой результатов
- Работает даже в архивах ZIP/TAR без распаковки
- Поддержка регулярных выражений
-
Поддержка всех популярных форматов
Данные: Parquet, CSV, Excel, JSON Код: Python, Java, C++, Rust с подсветкой синтаксиса Документы: PDF, Word, Markdown (с preview!) Архивы: ZIP, TAR (просмотр без распаковки) -
Работа с удалёнными источниками
- Прямое подключение к WebDAV, SSH/SFTP, SMB
- Поддержка S3 и HuggingFace Hub
- Единый интерфейс для локальных и облачных файлов
-
Гибкая система плагинов
- Можно добавить поддержку новых форматов
- SDK для разработки собственных viewer'ов
- Примеры: 3D-просмотрщик point cloud, CAD-редактор
Как это работает под капотом?
Технически проект сочетает:
- Rust (через Tauri) — для работы с файлами и высокой производительности
- React — для удобного интерфейса
- Виртуализацию — загрузка только видимой части данных
- Потоковую передачу — файлы не грузятся целиком в память
Структурированный просмотр JSON с возможностью свёртки узлов
Кому особенно пригодится?
- Data Scientist'ам — для быстрого просмотра Parquet/CSV перед анализом
- Разработчикам — поиск по логам и большим конфигам
- Администраторам — работа с файлами на удалённых серверах через SSH/SFTP
- Исследователям — просмотр датасетов с HuggingFace без скачивания
- Всем, кто работает с большими файлами — когда обычные редакторы не справляются
Личный опыт использования
Попробовал открыть CSV на 15 ГБ — Dataset Viewer справился за 3 секунды, тогда как VS Code просто завис. Поиск по 50-гигабайтному лог-файлу занял меньше секунды. Особенно впечатлила возможность просматривать ZIP-архивы как обычные папки.
Как начать использовать?
- Скачайте под свою ОС: релизы на GitHub
- Подключите локальные файлы или удалённое хранилище
- Наслаждайтесь скоростью работы!
Проект активно развивается, имеет открытый исходный код (MIT License) и ждёт ваших contribution'ов. Если устали ждать, пока открываются большие файлы — самое время попробовать Dataset Viewer!
