1. Берегите свои данные

Сохраняйте ваши необработанные данные, не манипулируйте ими, не имея копии. Рекомендуем хранить ваши данные в месте, где создаются автоматические резервные копии, и другие пользователи могут получить к ним доступ, соблюдая при этом согласованность и конфиденциальность данных.

Поскольку Вам не нужно часто получать доступ к этим данным, Вы можете использовать варианты хранилища. Например, сервис Amazon Glacier, Там Вы можете хранить необработанные данные на дублирующих жестких дисках, хранящихся в разных местах.

2. Визуализируйте информацию

Совет Титуса Брауна, биоинформатика из Калифорнийского университета в Дэвисе,: «Делайте больше графиков и ищите пробелы». Один из учеников Брауна проанализировал «транскриптомы» – полный набор Молекулы РНК, продуцируемые клеткой или организмом из 678 морских микроорганизмов, таких как планктон. Когда Браун и его ученик составили средние значения длины транскрипта, охвата и содержания генов, они заметили, что некоторые значения были равны нулю. Благодаря графикам, вовремя удалось вычислить, где рабочий процесс не удался и его пришлось повторить, не неся серьёзных последствий.

3. Запись метаданных

Работа метаданных, описывать, как наблюдения были собраны, отформатированы и организованы. Обдумайте, какие метаданные нужно записать, прежде чем приступить к сбору, сохраните эту информацию вместе с данными либо в программном обеспечении, используемом для сбора информации или в текстовом документе. Проект Open Connectome, регистрирует свои метаданные в структурированном текстовом формате под названием JSON. Независимо от вашей стратегии, старайтесь думать о долгосрочной перспективе. Однажды Вы захотите интегрировать свои данные с данными других лабораторий. Если Вы будете активно использовать метаданные, эта интеграция будет проще в будущем.

4. Автоматизирование

Большие наборы данных слишком велики, чтобы их можно было обрабатывать вручную, поэтому автоматизация является ключевым фактором, говорит Шоаиб Муфти, старший директор по данным и технологиям в Институте наук о мозге. Например, команда института по нейроинформатике использует шаблон для данных клеток мозга и генетики, который принимает информацию только в правильном формате и типе. Когда пришло время интегрировать эти данные в большую базу данных, этапы проверки качества данных автоматизировали с помощью Apache Spark и Apache Hbase. Это два инструмента с открытым исходным кодом для проверки и исправления данных в режиме реального времени. «Весь наш набор программных инструментов для проверки и приема данных работает в облаке, что позволяет нам легко масштабировать», - говорит Муфти.

5. Подсчет времени вычислений

Большие наборы данных требуют высокопроизводительных вычислений (HPC), и многие научно-исследовательские институты теперь имеют свои собственные средства HPC. Национальный научный фонд США поддерживает национальную сеть HPC XSEDE, в которую входят облачные вычислительные сети Jetstream и центры HPC по всей стране. Исследователи могут запросить распределение ресурсов на xsede.org, а также создать пробные учетные записи. Другие варианты включают американскую сеть ACI-REF, NCI Australia, партнерство для продвинутых вычислений в Европе и сети ELIXIR, а также коммерческие провайдеры, такие как Amazon, Google и Microsoft.

Источник: https://www.nature.com/articles/d41586-020-00062-z