Как ни странно, при всем развитии науки даже в 21 веке всевозможные световые явления в атмосфере пока еще изучены не полностью.
Продолжаем рассказывать о проектах кванторианцев. На этот раз — о разработке программного обеспечения по «учету» различных световых явлений в атмосфере Земли (полярных сияний, метеоров, грозовых явлений). Заказчик проекта — лаборатория космических лучей предельно высоких энергий НИИЯФ МГУ имени М.В. Ломоносова.
Массивы больших данных, с которыми работали кванторианцы, были получены в режиме реального времени с исследовательского спутника «Ломоносов»
Содержание проекта: Проект посвящен упорядочиванию и классификации данных по короткоживущим транзиентным электромагнитным явлениям в атмосфере Земли (явлениям, вызванным пролетом метеоритов, молний; различным разрядам, «эльфам», Полярным сияниям).
Наставник команды — кандидат технических наук Юрий Михайлович Монахов
Актуальность: Актуальность проекта не только в том, что он дает возможность больше узнать «в общем» об окружающей реальности, но и в конкретных прикладных вещах. Допустим, есть пассажирский самолет, который летает на больших высотах. В самолетах весьма чувствительная авионика (электроника и навигационные приборы). Чувствительна она настолько, что пассажиров просят отключать мобильные телефоны, чтобы не было воздействия на систему управления воздушным судном. Все описанные выше явления оказывают большое воздействие на авионику воздушного судна. Если рядом с самолетом ударяет молния, то «сбоят» все электромагнитные приборы. Аналогичные проблемы, но меньшего масштаба, приборы испытывают, если сталкиваются с авроральными эффектами и короткоживущими вспышками в атмосфере Земли. И такая разработка необходима, чтобы как минимум обезопасить пассажиров во время полетов. Чтобы управлять этим эффектом - уменьшить его или хотя бы оптимизировать.
Что касается полярных сияний, то их переливы – это совокупность сразу очень многих «мелких» эффектов, которые при всем развитии науки до сих пор не классифицированы. Дело в том, что данные, которые поступают на Землю из космоса с приборов дистанционного зондирования Земли (ДЗЗ), представляют собой огромный массив цифр, часто не слишком «удобоваримый» для восприятия даже самими учёными. По этой причине проектной командой «Кванториума-33» было принято решение осуществить предварительную классификацию этих данных методами машинного обучения. И уже после, сопоставляя результаты этой классификации с практическим опытом учёных-физиков, сделать более детальные выводы. Параллельно с решением задачи классификации данных ребята решали задачу представления данных (или еще визуализации). Последнее играет важную роль в будущем восприятии данной информации – она, как известно, должна быть доступна для понимания не только исследователем, но и простым пользователем.
Таким образом, большой массив данных с помощью методов машинного обучения был собран в определенные группы, а перед этим распределён на конкретные события. В процессе распределения были отделены шумы.
Особенности будущего программного обеспечения: Его потенциальные «потребители» – это сотрудники научных лабораторий, изучающих данные физические явления. Им будет доступно несколько алгоритмов кластеризации и несколько алгоритмов визуализации данных.
Алгоритмы кластеризации пока еще окончательно не определены, они подбираются. Пока прототип ПО имплементирует несколько алгоритмов – в основном это DBSCAN. Эти алгоритмы относятся к методам машинного обучения без учителя (они основаны на плотностях распределения и там нет обучающей выборки).
При визуализации данные могут быть представлены в том виде, как они поступают с ТУСа; могут в виде изображений, на которых в разрешении 16 на 16 точек отображается состояние матрицы светочувствительных элементов приборов ДЗЗ. Еще каждое событие может быть отображено посредством видео, на котором развитие и распространение вспышки показано с течением времени.
Использованные инструменты, материалы и массивы данных: При создании прототипа ПО использовались библиотеки машинного обучения; программа компьютерного зрения для визуализации. Кванторианцы писали программу на языке Python. В работе использовались массивы информации со спутника ДЗЗ. К слову, объём данных только по авроральным явлениям - несколько десятков гигабайт.
Достигнутый результат: На данный момент успешно применён алгоритм DBSCAN и получено несколько классов событий, имеющих очевидный семантический смысл (то есть они не просто механически сгруппированы). Это подтвердили и заказчики проекта – сотрудники лаборатории предельно высоких энергий научно-исследовательского института ядерной физики МГУ. В настоящее время ими проводятся дополнительные исследования в отношении того, действительно ли эти классифицированные события относятся к реальным физическим явлениям в атмосфере Земли. Если окажется, что да, то этот алгоритм будет использован на других массивах данных.
Дарья Знаменская, одна из разработчиков прототипа ПО
Перспективы развития: В настоящее время проектная команда, хоть ребята и находятся на расстоянии друг от друга, занимается тем, что совместно пишут научную статью. В планах – её публикация и получение поддержки научного сообщества в том, что данный метод может применяться при решении подобных задач. По словам наставника команды Юрия Монахова, даже после анализа научных публикаций по данной теме не очевидно, чтобы кто-то еще применял методы машинного обучения. Вполне вероятно, что у данного проекта есть определенная научная новизна.
Ссылка на видеосюжет о проекте на yоutube-канале технопарка "Кванториум-33"