на тему:
ПРОЕКТИРОВАНИЕ БАЗЫДАННЫХ И ВЕБ-ПРИЛОЖЕНИЯ
ДЛЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ
МУРМАНСКОГО МОРСКОГО БИОЛОГИЧЕСКОГО ИНСТИТУТА КНЦ РАН «МОНИТОРИНГ ЗАГРЯЗНЕНИЯ В ЭКОСИСТЕМАХ АРКТИКИ»
Выполнили:
Воробьева Виктория Михайловна,
Гостева Анастасия Дмитриевна,
Курзукова Ксения Денисовна,
студентки 3 курса
направления подготовки
01.03.02. Прикладная математика
и информатика, ОФО
Научный руководитель:
Запорожцев Иван Федорович, к.т.н., доцент кафедры МФиИТ
Мурманск
Содержание
ВВЕДЕНИЕ.. 3
ГЛАВА 1. ОСОБЕННОСТИ МОНИТОРИНГА ЗАГРЯЗНЕНИЯ В ЭКОСИСТЕМАХ АРКТИКИ, ПРОВОДИМОГО ММБИ.. 5
1.1 Характеристика загрязнения морей Арктики. 5
1.2. Обзор задач и достижений лаборатории океанографии и радиоэкологии ММБИ.. 6
1.3. Общая постановка задачи исследования. 8
ГЛАВА 2. ВЫБОР ТЕХНОЛОГИЙ И СОЗДАНИЕ ПРОТОТИПОВ ПРОГРАММНЫХ ПРОДУКТОВ 10
2.1.Обзор аналогов разрабатываемых элементов информационной системы.. 10
2.2. Проектирование базы данных. 11
2.3. Обоснование выбора СУБД и реализация базы данных. 15
2.4.Анализ требований и проектирование веб-приложения. 18
2.5.Технологии на базе JavaScript для создания веб-приложения. 21
ЗАКЛЮЧЕНИЕ.. 23
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ.. 24
ВВЕДЕНИЕ
Начало данной научно-исследовательской и проектной работы было положено во время прохождения производственной практики на базе ФГБУН Мурманский морской биологический институт Кольского научного центра Российской академии наук (далее ММБИ [8]). Работа выполняется под руководством кандидата технических наук, научного сотрудника лаборатории океанографии и радиоэкологии ММБИ, доцента кафедры МФиИТ МАГУ Запорожцева Ивана Федоровича.
Основной целью ММБИ является выполнение фундаментальных научных исследований и прикладных разработок в области морской биологии, океанографии, геологии моря и экологии.В ММБИ создаются и используются морские биотехнологии, модели прогнозирования океанологических процессов, инженерно-экологические обоснования промышленных проектов по освоению морских ресурсов. Институт состоит из 10 научных подразделений и насчитывает более 100 сотрудников.
Отправной точкой исследования послужил анализ потребностей и проблем лаборатории океанографии и радиоэкологии [7]. В частности, одна из задач лаборатории может быть сформулирована следующим образом:предложить единый формат хранения комплексных данных мониторинга загрязнения арктических морских экосистем и интерфейса доступа к ним (темыгосударственного задания на 2014-2020 гг. «Многолетняя динамика накопления химических и радиационных токсикантов в среде и в биоте арктических морских экосистем» и «Воздействие климатических факторов, химического и радиационного загрязнения на морские экосистемы Арктики в условиях комплексного природопользования», руководитель тем – заведующий лабораторией океанографии и радиоэкологии, к.г.н. Ильин Г.В.).
Существенные результаты института в области математического моделирования и разработки информационных технологий до середины «нулевых» [14], отсутствие достаточного количества специалистов в области информационных технологий в подразделениях института в настоящее время и огромный накопленный экспедиционный материал, роль института в фундаментальной и прикладной науке,многоцелевых комплексных исследованиях Арктики – все эти факторы требует решения поставленной задачи лаборатории с привлечением молодых специалистов из региона, ориентированных на внедрение новых технологий, самореализацию через участие в развитии Мурманской области и российской Арктики. Наметившаяся тенденция сближения КНЦ РАН и опорного университета позволяет планировать плодотворное сотрудничество специалистов предметной области и студентов.
Цель данной научно-исследовательской работы: создать проект базы данных и веб-приложения по теме «Мониторинг загрязнения в экосистемах Арктики».
Объект исследования: загрязняющие вещества в экосистемах Арктики.
Предмет: технологии создания целевых информационных продуктов (базы данных и веб-приложения).
Методы исследования: общенаучные методы анализа и синтеза, инфологическое моделирование, методы системного анализа, методы BigData, компьютерный эксперимент.
Задачи исследования:
1. Познакомиться с предметной областью, информации о загрязнениях Арктики.
2. Выяснить особенности работы профильной лаборатории ММБИ.
3. Найти аналоги разрабатываемого программного обеспечения, используемые профильными организациями.
4. Создать инфологическую модель данных.
5. Выбрать СУБД, исходя из модели данных.
6. Выполнить физическую реализацию БД, сделать фрагментарное заполнение.
7. Составить список требований к веб-приложению.
8. Выбрать технологии для реализации веб-приложения.
9. Создать прототип веб-приложения.
Научная новизна исследования заключается в анализе форматов и структуры имеющихся в ММБИ конкретных файлов с данными мониторинга для последующего оптимального представления информации, исходя из задач института и обоснования выбора технологий. Так как подход к хранению данных мониторинга, используемый в ММБИ, не является уникальным –имеем в некоторомсмысле типичную ситуацию работы современных научных организаций, не имеющих крупных IT-отделов, вычислительных центров и лабораторий математического моделирования – результаты диагностики и предложения по созданию отдельных элементов информационной инфраструктуры можно представлять как общие.
Практическая значимость исследования заключается в создании прототипов базы данных и веб-приложения как пилотных, нодоступных для использования артефактов новой современной информационной системы, предлагаемой лабораторией всем специалистам института и внешним пользователям, в рамках предметной области.
Структура работы. Отчёт о научно-исследовательской работе состоит из введения, двух глав, заключения, списка использованных источников.
ГЛАВА 1. ОСОБЕННОСТИ МОНИТОРИНГА ЗАГРЯЗНЕНИЯ В ЭКОСИСТЕМАХ АРКТИКИ, ПРОВОДИМОГО ММБИ
1.1 Характеристика загрязнения морей Арктики
В геоэкологическое направление исследований лабораторииокеанографии и радиоэкологии ММБИ [8] включены основные компоненты морских экосистем Арктики: водные массы, донные отложения, атмосферные аэрозоли, биота. Изучены процессы самоочищения Баренцева моря от радиоизотопов 137Cs и 90Sr[7,12]. Формирование качества воздушной среды Евро-Арктики подчинено влиянию локальных, региональных и глобальных источников аэрозолей. Загрязнение воздуха тяжелыми металлами в юго-восточном секторе определяет Кольская промышленная агломерация. Загрязнение воздушного бассейна аэрозолями свинца и меди определяется процессами глобального переноса.
Химическое загрязнение в морях Арктики в настоящее время определяется переносом загрязняющих веществ, трансграничными течениями, речным стоком и интенсивностью хозяйственной деятельности непосредственно в морских бассейнах [7]. Пути переноса загрязнителей различны для каждого из морей и зависят от географического положения. По сравнению с окраинными морями Западной Европы и Дальнего Востока хозяйственная деятельность в российских арктических морях невелика, благодаря чему сохраняется низкий уровень антропогенного загрязнения их вод и донных осадков. В этих условиях основными источниками техногенных поллютантов являются пресноводный сток с территории водосбора и трансграничный перенос загрязняющих веществ морскими течениями и воздушными потоками.
Баренцево море[4] является наиболее освоенным среди арктических морей в хозяйственном отношении, особенно в своей южной, незамерзающей части. Хозяйственная активность значительно снижается в направлении Баренцево-Беломорский бассейн-Карское море-море Лаптевых. Для Баренцево-Карского бассейна в перспективе рассматривается рост промышленного освоения шельфа и водосборной территории. Рост судоходства и освоение нефте-газовых месторождений сопровождаются увеличением экологического риска. Активная хозяйственная деятельность на акваториях Баренцева и Белого морей связана, прежде всего, с рыбным промыслом транспортным и военным судоходством, нефте- и газоразведочными работами[3].
Для морей Западной Арктики имеется ряд общих закономерностей распространения загрязнений, определённые их соседством, взаимным водообменом и влиянием системы течений атлантических вод. Загрязняющее влияние стока отчетливо прослеживается в прибрежной зоне. Оно соответствует уровню промышленно-социального развития расположенных в береговой зоне хозяйственных центров. Ежегодные сбросы неочищенных и плохо очищенных вод в бассейнах рек Баренцево-Беломорского региона оценивается в 800 м^3, тогда как в бассейнах Оби и Енисея сбрасывается сточных вод на порядок больше (3300 и 2000 млн м^3 соответственно). Наиболее типичными загрязнителями оказываются нефтепродукты, фенолы, тяжёлые металлы и хлорорганические пестициды. Локальными аккумуляторами антропогенных загрязнений в Арктике становятся бухты и заливы, в которых размещена портовая инфраструктура.
Роль трансокеанических течений в перераспределении поллютантов в российских западноарктическихопределяется потоком атлантических вод. В отношении морей Карского и Лаптевых можно констатировать ослабление роли атлантических вод как механизма переноса загрязняющих веществ [14]. Отчасти такое представление может быть вызвано недостаточной изученностью этих бассейнов, в том числе по спектру приносимых в водоёмы загрязняющих веществ.
Баренцево море имеет свободный водообмен с Норвежским и Гренландским морями. Воды системы тёплых атлантических течений формируют гидрофизическую и экологическую ситуацию в южной части моря. Трансграничный перенос поллютантов океаническими течениями и близость североевропейских промышленных центров определяет более высокое по сравнению с другими морями значение этого источника загрязнений для баренцевоморской экосистемы. С североатлантическими водами в бассейн поступают микроэлементы и тяжёлые металлы, персистентные хлороорганические соединения (ХОС), техногенные радионуклиды. Особенно велика роль теплых атлантических течений в переносе мышьяка и ХОС.
В зависимости от объёма речного стока в устьевых районах формируются локальные ареалы относительно повышенной концентрации металлов в воде и осадках, иногда превышающей ПДК.
1.2. Обзор задач и достижений лаборатории океанографии и радиоэкологии ММБИ
Океанографические исследования проводятся на протяжении всего периода становления и развития ММБИ. В основе исследований – изучение гидрологического режима и гидрохимических процессов во взаимодействующих экосистемах морей Западной Арктики и Северо-Восточной Атлантики: Баренцева, Белого, Карского, Норвежского, Гренландского. С 1970-х гг., с появлением современных научно-исследовательских судов, изучается океанография высокоширотных, ранее недоступных акваторий в зоне архипелагов Шпицберген, Земля Франца-Иосиф Новой Земли. Лаборатория выполняет ряд исследований по программам Президиума РАН и ОНЗ РАН, активно участвует в инновационной деятельности, выполняя хоздоговорные НИР. Высокий уровень квалификации сотрудников подтвержден участием лаборатории в выполнении международных и российских научных и инновационных проектов. В лаборатории океанографии и радиоэкологии работают 14 сотрудников: главные, старшие и младшие научные сотрудники, заместитель директора ММБИ по науке, ученый секретарь ММБИ, ведущий научный сотрудник, ведущий инженер-электроник и стажёр-исследователь.
Проектами последних лет стали []:
· проект «CEEPRA» – «Развитие сети сотрудничества по охране окружающей среды и радиационным исследованиям Европейской Арктики» в рамках Программы приграничного сотрудничества России, Финляндии и Норвегии «Kolarctic»;
· проект Акваплан-нива (Норвегия) и ММБИ (Россия) – «Исследование уровней радиоактивности физической среды и биоты в губе Андреева в зоне хранения РАО»;
· подпрограмма ЕСИМО – тема «Разработать тематический раздел электронного морского атласа ЕСИМО «Загрязнение морских вод»;
Основные направления работ лаборатории[]:
· изучение океанографического климата Баренцева, Карского, Белого морей и Северной Атлантики как среды обитания организмов,
· оценка антропогенного воздействия на природную среду и морские экосистемы,
· разработка методологии и процедуры оценки воздействия на окружающую среду Арктики, комплексного зонирования морей западно-арктической зоны с целью рационального природопользования,
· разработка региональных программ комплексного управления морским природопользованием в рамках концепции устойчивого развития шельфовых морей,
· создание банка океанографических и гидробиологических данных.
В рамках исследования океанографического климата разработана методика обобщения разнородной океанографической информации. Создается каталог крупных односвязных аномалий океанографических полей для изучения их трансформации в системе Гольфстрима, ведется разработка информационного и методического обеспечения исследований межгодовой изменчивости экосистем Баренцева моря. Сформирована база многолетних данных для изучения изменчивости состояния промысловой ихтиофауны в морях Западной Арктики.
Проблемы лаборатории:
1) кадровая, заключающиеся в отсутствии отдела информационных технологий математического моделирования (в настоящий момент эти функции исполняются отделом научно-технической информации и лаборатории океанографии и радиоэкологии);
2) недостаточный объём и финансирование экспедиционных исследований;
3) низкий уровень стандартизации представления данных мониторинга.
1.3. Общая постановка задачи исследования
Одна из важных объективных проблем лаборатории океанографии и радиоэкологии ММБИ – отсутствие единого формата представления комплексных данных.Полученные данные должны отражать потребности различных специалистов и фактически собранную информацию за разные периоды времени, быть пригодными для разных исследователей. Низкий уровень стандартизации внутренней документации проводите к следующему:
1) затруднён поиск необходимой информации, построение выборок по условиям,
2) потеря части собранных и незадокументированных данных,
3) невозможность эффективного интеллектуального анализа данных программными средствами,
4) невозможность объединения данных в единую систему,
5) затруднен обмен данными с другими организациями.
Таким образом, ставится задача исследования – выбрать единый формат хранения комплексных данных мониторинга загрязнения и интерфейса доступа к ним.
На этапе знакомства с ММБИ как базой практики были сформулированы следующие риски реализации исследования:
1) нехватка знаний в предметной области,
2) недостаточный опыт создания БД и веб-приложений,
3) недостаток сведений о границах ответственности в рамках задачи практики, так как она является частью задачи штатного сотрудника базы практики (руководителя практики).
В настоящее время данные о поллютантах хранятся в файлах.xls/.xlsx разной структуры (подавляющее большинство 6 типов), информация об участниках экспедиций – в текстовых файлах отчётов, файлы лабораторного исследования и контроля содержат большое количество вспомогательной информации, которая является вычислимой и включалась для написания научных статей. Температура и солёность хранятся в виде бинарных файлов, которые сгенерированы утилитами, работающими с драйверами зондов, которые измеряют эти гидрологические параметры не только на станциях, приуроченных отбору поллютантов, но и на некоторых других, причём измерения не связаны с глубиной отбора проб, а выполнены на стандартных горизонтах с фиксированным шагом по глубине. Таким образом, необходимо создавать программы-конвертеры для извлечения, предобработки данных до выполнения действий по организации хранения.
Лаборатория ставит задачу диагностики и трансформации имеющихся массивов данных с целью создания информационной системы «Мониторинг загрязнения в экосистемах Арктики», с последующим созданием на её основе единой информационной системы уровня института (ММБИ) для работы с данными всех лабораторий.Информационная система – система, предназначенная для хранения, обработки, поиска информации и организационных ресурсов для распространения информации (стандарт ISO/IEC 2383:2015). Функционирование информационной системы подразумевает создание информационных продуктов: в частности, информационных массивов, программного обеспечения и информационных услуг. В случае данного исследования случае речь идёт о создании пилотных версий базы данных и веб-клиента базы данных – интерактивного веб-приложения, веб-сервиса для доступа к базе данных из сети Интернет.
Это позволило бы автоматизировать процесс работы и упростить доступ к данным. Так, например, благодаря веб-приложению любой сотрудник ММБИ, не имея навыков работы с базой данных, может получить доступ к интересующей его информации, а также извлечь ее для дальнейшей работы. Специалисты получили бы удобный интерфейс для быстрого формирования выборок по заданным районам (акваториям), периодам наблюдения, ингредиентам (объектам) и применения различных видов анализа данных: корреляционного, кластерного и других в рамках разрабатываемой базы данных методами машинного обучения. В результате можно было бы выполнять диагностику трендов, сезонных и случайных составляющих временных рядов измеренных показателей загрязнения морской среды и проводить по результатам районирование акваторий, а также предлагать технические и организационные решения по минимизации рисков ухудшения экологической обстановки.
ГЛАВА 2. ВЫБОР ТЕХНОЛОГИЙ И СОЗДАНИЕ ПРОТОТИПОВ ПРОГРАММНЫХ ПРОДУКТОВ
2.1.Обзор аналогов разрабатываемых элементов информационной системы
В качестве примеров были рассмотрены три геопортала: два независимыхгеопорталаФедеральной службы по гидрометеорологии и мониторингу окружающей среды (Росгидромета) и портал Южного научного центра Российской академии наук (ЮНЦ РАН) – рисунки 4-6.
Рисунок 4 – Геопорталы Росгидромета (https://asunp.meteo.ru/portal/asunp/)
Рисунок 5 – Геопорталы Росгидромета (https://www.hydrometpoints.ru/#)
Рисунок 6 – Геопортал ЮНЦ РАН (https://www.ssc-ras.ru/ru/page1006.html/)
Размещение данных, полученных ММБИ, на сторонних информационных площадках, созданных подразделениями РАН, и приведение к используемым форматам может быть решением проблемы управления данными. Однако чрезмерная унификация неизбежно ведёт к переформатированию загружаемых извне данных для непосредственной обработки конкретными исследователями, поэтому имеет смысл создание собственных информационных продуктов уровня организации. Также заказ создания базы данных и веб-приложения силами других институтов приведёт к некоторым организационным, финансовым и имиджевым неудобствам для ММБИ.
Первые два геопортала используют свободно распространяемые технологии: СУБД MySQL (первая)и PostgreSQL (вторая) и библиотеку Leaflet.JS для построения карт. Последний – решения на базе линейки ArcGIS (коммерческие продукты, причём отмечается проблема медленной загрузки для низко производительных рабочих станций – повышенная требовательность к ресурсам по сравнению с другими двумя геопорталами).
2.2. Проектирование базы данных
Основными составляющимимоделей данных являются сущности, связи между ними и их свойства [1,17].На основании проведенного системного анализа предметной области и данных, предоставленных ММБИ, были выделены следующие основные сущности: люди, экспедиция, станция, биота, вода, почва, анализ, метод анализа. Инфологическая модель предметной области, которая представлена на рисунке 1.
Рисунок 1 – Модель данных в виде ER-диаграммы (вариант 1)
Проанализировав образовавшиеся связи между сущностями, можно сделать выводы:
1) между сущностями экспедиция и станция связь 1:М, так как каждая экспедиция посещает несколько станций и одна станция посещается одной экспедицией.
2) между сущностями анализ и метод анализа связь 1:М, так как каждый анализ применяет несколько методов анализа и один метод анализа применяется одним анализом.
3) между сущностями экспедиция и люди связь М:N, так как каждая экспедиция включает несколько людей и каждый человек включается в несколько экспедиций.
4) между сущностями анализ и люди связь М:N, так как каждый анализ проводится несколькими людьми и каждый человек проводит несколько анализов.
5) между сущностями анализ и вода связь М:N, так как каждый анализ исследует несколько проб воды и каждая проба воды исследуется несколькими анализами.
6) между сущностями анализ и биота связь М:N, так как каждый анализ исследует несколько проб биоты и каждая проба биоты исследуется несколькими анализами.
7) Между сущностями анализ и почва связь М:N, так как каждый анализ исследует несколько проб почвы и каждая проба почвы исследуется несколькими анализами.
Возникшие связи «много-ко-многим» необходимо разбить, так как они могут нарушить целостность базы данных. Это можно сделать с помощью добавление промежуточных сущностей: состав экспедиции, состав исследователей, состав наблюдения биоты, состав наблюдения почвы, состав наблюдения воды. Далее введем связи, возникшие в результате добавления промежуточных сущностей:
1) между сущностями экспедиция и состав экспедиции связь 1:М, так как каждая экспедиция содержится в нескольких составах экспедиции и один состав экспедиции содержит одну экспедицию;
2) между сущностями люди и состав экспедиции связь 1:М, так как каждый человек включен в несколько составов экспедиции и один состав экспедиции включает одного человека;
3) между сущностями люди и состав исследователей связь 1:М, так как каждый человек включен в несколько составов исследователей и один состав исследователей включает одного человека;
4) между сущностями анализ и состав исследователей связь 1:М, так как каждый анализ проводится несколькими составами исследователей и один состав исследователей проводит один анализ;
5) между сущностями анализ и состав наблюдения воды связь 1:М, так как каждый анализ включает несколько составов наблюдения воды и один состав наблюдения воды включается в один анализ;
6) между сущностями анализ и состав наблюдения биоты связь 1:М, так как каждый анализ включает несколько составов наблюдения биоты и один состав наблюдения воды включается в один анализ;
7) между сущностями анализ и состав наблюдения почвы связь 1:М, так как каждый анализ включает несколько составов наблюдения почвы и один состав наблюдения воды включается в один анализ;
8) между сущностями вода и состав наблюдения воды связь 1:М, так как каждая проба воды содержится в нескольких составах наблюдения воды и один состав наблюдения воды содержит одну пробу воды;
9) между сущностями биота и состав наблюдения биоты связь 1:М, так как каждая проба биоты содержится в нескольких составах наблюдения биоты и один состав наблюдения биоты содержит одну пробу биоты;
10) между сущностями почва и состав наблюдения почвы связь 1:М, так как каждая проба почвы содержится в нескольких составах наблюдения почвы и один состав наблюдения почвы содержит одну пробу почвы.
Исходя из приведенных выше основных и промежуточных сущностей и связей, построена инфологическая модель предметной области, представленная на рисунке 2.
Рисунок 2 – Модель данных в виде ER-диаграммы (вариант 2)
Исходя из приведенных выше основных и промежуточных сущностей, их атрибутов, а также связей между ними, построена модель базы данных, которая представлена на рисунке 3.
1.
2.
3.
Рисунок 3 – Схема данных (сущности, связи, атрибуты)
Для того чтобы избежать избыточности данных, а также аномалий вставки, удаления и модификации, необходимо, чтобы таблицы находились в одной из нормальных форм.Одной из самых распространенных на практике считается 3 нормальная форма (3НФ).Введённые в данной работа таблицы после добавления промежуточных сущностей находятся в 3НФ.
Физическая реализация модели данных осуществляется с помощью СУБД. Сложность выбора обусловлена тем, что необходимо учитывать как текущие, так и будущие потребностипользователей.
Исходя из анализа данных, предоставленных в формате xls, было установлено, что некоторые столбцы, содержащие значения концентрации большинства поллютантов (кроме металлов Srи Cs, измерения концентрации которых делается почти по каждой пробе), являются разреженными, т.е. преобладают значенияNULL. Также встречаются нулевые значения, которые в рамках исследования интерпретируются как отсутствующие. В связи с этим, при больших объемах информации хранение этих столбцов может быть организовано нерационально.
2.3.Обоснование выбора СУБД и реализация базы данных
Одним из вариантов хранения информации, содержащейся в разреженных столбцах, является файл типа JSON. Современные реляционные базы данных, такие как PostgreSQL, MSSQLServer, MySQL поддерживают хранение и экспорт данных в JSON.
Остановимся подробнее на выборе из двух альтернатив [6]: реляционная или нереляционная БД. Популярность реляционных БД очевидна: большинство информационных услуг выполняются посредством таких СУБД, поддерживается структурированность и целостность (принципы ACID) данных, SQL – хорошо зарекомендовавший себя декларативный язык для манипулирования данными.
Причины популярности NoSQL-подхода обусловлен следующими факторами:
1. Недостаточный уровень гибкости схемы в реляционных БД: добавление нового поля в таблицу с большим количеством записей требует значительных временных ресурсов.
2. SQL-управляемые базы трудно адаптировать к работе с BigData (особенно из-за сложности и изменчивости формата поступающих данных).
3. Представление веб-приложений как совокупности веб-сервисов привело к:
1) отказу от частого обращения к большим монолитным базам (чаще работа с маленькими базами, вплоть до словаря «ключ-значение» с простыми запросами),
2) сервисы сами накапливают данные и поддерживают их согласованность,
3) упрощение запросов: от HTTP+SQLк HTTP, популяризация JSON,
4) отложенная целостность (временная несогласованность допустима), уменьшение накладных расходов на поддержку ACID – вклад в производительность и масштабируемость.
4. Нужно чаще делать релиз продуктов, поэтому заинтересованность в обеспечении изменений в схеме «на лету».
MongoDB – это одна из наиболее популярных популярная свободно распространяемая нереляционнаядокументо-ориентированная СУБД, которая в отличие от реляционных баз хранит данные не в таблицах, а в коллекциях, состоящих из документов. Работа осуществляется через консоль mongo, но по желанию можно подключить графическую оболочку (широко используется MongoDBCompass).
Фактическими требованиями современности являются: целостность и отказоустойчивость ACIDреляционного подхода, а также эффективность, расширяемость, обеспечение возможности пополнения любыми данными в рамках нереляционного подхода [13]. Итогом слияния двух направлений стал стандарт SQL-2016 (стандарт ISO/IEC 9075-2:2016). Многие идеи, реализованные в нём, были уже внедрены в объектно-реляционной СУБД PostgreSQL [18, 19], в которой с 2006 года шёл процесс добавления столбцоватрибутированных данных по формату словаря «ключ-значение» (hstore), JSON (появился в 2008), JSONB (с 2014) –являются подмножествами модели SQL/JSON 2016.
Таким образом, JSON-столбцы поддерживают и PostgreSQL, и MongoDB. Утверждение справедливо и для геоданных – обе СУБД предоставляют возможность для работы с пространственными данными (spatialdata) [9,10,16,20]. Требования и методы BigData реализуются обеими СУБД.Недостатком MongoDBв сравнении с PostgreSQLявляется отсутствие поддержки параллельной обработки. К тому же, в целом данные в рамках текущего исследования хорошо структурированы (подавляющее большинство значений хранится в сплошь заполненных реляционных столбцах, обрабатываемых SQL), то есть поддержка реляционной обработки предпочтительна.
В связи с перечисленным, для дальнейшего исследования был сделан выбор в пользу СУБД PostgreSQL [13,15,19].Завершающим этапом в разработке базы данных является физическое моделирование.Создание базы данных и самих таблиц будет осуществляется через консоль SQLShell (psql). Для отображения результата в виде диаграммы, создается представление в pgAdmin4 (рисунок 7).
Рисунок 7 – ER-диаграмма в pgAdmin4
Заполнение базы данных в PostgreSQL может осуществляться как с помощью стандартного SQL-запроса, так и через специальную команду \copy.PostgreSQL поддерживает такой импорт данных (и экспорт тоже)в форматах csv, binary, text.Например, входная таблица.xls преобразуется путём удаления столбцов, которые не соответствуют структуре одной из таблиц в схеме база данных (являются лишними для выбранной таблицы), сохраняется как.csv (рисунок 8).
Рисунок 8 – Данные в формате CSV
Следующий шаг – импорт данных в базу (рисунок 9).
Рисунок 9 – Импортированные данные в таблице БД (pgAdmin4)
На данном этапе преобразования и проверка корректности заполнения ячеек в столбцах выполняется вручную на отдельных примерах, конвертеры ещё не реализованы.
2.4.Анализ требований и проектирование веб-приложения
Входными данными для веб-приложения являются: (1) база данных, (2) файлы.xls/.xlsx с новыми данными для пополнения базы, а также (3) напрямую заданные значения (не в файле) для внесения в таблицы базы новых записей.
Выходные данные: (1) файлы.xls/.xlsx с выборками по запросам, (2) изображения – визуализация пространственного и/или временного распределения поллютантов.
Категории пользователей: исследователь и администратор. Администратор имеет те же права доступа, что и исследователь, кроме того он может добавлять, удалять и редактировать учётные записи пользователей-исследователей.
Функциональные требования:
1) авторизация пользователя (регистрация/вход);
2) выбор языка отображаемой информации;
3) создание выборки данных и отображение в виджете-таблице;
4) добавление новых записей вручную и импорт из таблиц.xls/.xlsx.
5) удаление записи из базы данных;
6) редактирование записей в базе данных;
7) визуализация выборки на географической карте;
8) экспорт данных как таблицы или изображения;
9) выполнение нетипичныхSQL-запросов администратором;
10) запрет или разрешение доступа к программному средству.
Нефункциональные требования:
11) обеспечить унификацию поддержки нескольких языков (на данный момент только русский, но планируются и другие, например, английский, финский, норвежский);
12) реализовать интуитивно понятный графически интерфейс;
13) обеспечить работу с файлами.xls/.xlsx без установки MSOffice.
Таким образом, веб-приложение работает со следующими внешними сущностями:
1) администратор (пользователь);
2) исследователь (пользователь);
3) провайдерСУБД MS Excel (Microsoft Excel Driver);
4) СУБДPostgreSQL;
5) библиотеки картографической системы;
6) файлы базы данных, таблиц.xls/.xlsx и изображений в формате PNG.
Обмен данными при реализации основных вариантов взаимодействия сущностей представлен на рисунке10.
Рисунок 10 – Диаграмма потоков данных
Понятно, что варианты использования программного средства администратором аналогичны тем, что делает исследователь, кроме того администратор имеет специфические полномочия. Для упрощения администратор и исследователь будут отождествляться, где это возможно (рисунок 11).
Рисунок 11 – Варианты использования веб-приложения
Некоторые требования имеют более высокий приоритет и должны быть выполнены первыми.В разрабатываемом продукте в первую очередь необходимо реализовать построение выборок по заданным значениям: дата, регион, поллютант и т.д.. Требуется обеспечить возможность сохранения выборки в файл. Также необходимо добавление в ручном режиме новой записи.
Визуализация данных на географической карте, авторизованный доступ пользователей с введением роли администратора, который имеет право передавать PostgreSQL любой SQL-запрос на выполнение, а также добавление данных из одного или нескольких файлов.xls/.xlsx, поддержка нескольких языков для отображения – эти задачи имеют меньший приоритет, чем перечисленные выше.
2.5.Технологии на базе JavaScript для создания веб-приложения
На этапе планирования и сбора сведений о подходящих технологиях было принято решение использовать следующие библиотеки JavaScript: Leaflet, Angular, React.
LeafletJS. Ведущая библиотека JavaScript с открытым исходным кодом для интерактивных карт [11]. При объёме 38 Кбайт это программное средство, не являющееся ГИС, предоставляет наиболее полезные функции отображения, которые нужны большинству разработчиков: панорамирование и масштабирование, преобразование данных в карты слоев и взаимодействие с мышью. Векторные функции представлены для объектов в трех вариантах: (1) точки (например, расположение ресторанов), (2) линии (например, велосипедные маршруты), (3) полигоны (например, окрестности). Leaflet эффективно работает на всех основных настольных и мобильных платформах, может быть расширен с помощью большого количества плагинов, имеет красивый, простой в использовании и хорошо документированный API и простой, читаемый исходный код. Leaflet легкий, простой и гибкий, и, вероятно, это самая популярная библиотека отображения с открытым исходным кодом.
AngularJS. JavaScript-фреймворк с открытым исходным кодом, содержащим дополнительные пользовательские атрибуты, которые описываются директивами, и связывает ввод или вывод области страницы с моделью, представляющей собой обычные переменные JavaScript. он предоставляет фундамент для веб-разработки одностраничных приложений. Цель AngularJS – расширение браузерных приложений на основе MVC-шаблона, а также упрощение тестирования и разработки. React
ReactJS. ФрейворкJavaScript, поддерживающий веб-интерфейс и работающий на сервере, для создания пользовательских интерфейсов и веб-приложений. В React используется так называемый компонентный подход. React поддерживается Facebook, Instagram и сообщества отдельных разработчиков и корпораций. React позволяет разработчикам создавать большие веб-приложения, которые используют данные и могут со временем изменять их без перезагрузки страницы. Он направлен прежде всего на обеспечение скорости и простоты.
Использованные технологии. В рамках практики удалось реализовать лишь прототип приложения с использованием HTML, CSS и JavaScript для вывода сообщений о выборе тех или иных действий пользователем (нажатии кнопок). Также удалось подключить Leaflet с отображением синтетических данных (без привязки данным из поставленной задачи).
Интерфейс прототипа веб-приложения представлен на рисунке 12.
Рисунок 12 – Прототип веб-приложения
Корректность работы проверялась посредством запуска