Предположим, у вас есть книга на тысячу страниц, но на каждой странице только одна строка текста. Вы должны извлечь информацию, содержащуюся в книге, с помощью сканера, только этот конкретный сканер систематически просматривает каждую страницу, сканируя по одному квадратному дюйму за раз. Вам понадобится много времени, чтобы просмотреть всю книгу с помощью этого сканера, и большая часть этого времени будет потрачена впустую на сканирование пустого пространства. .
Такова жизнь многих физиков-экспериментаторов. В экспериментах с частицами детекторы собирают и анализируют огромные объемы данных, хотя лишь небольшая их часть содержит полезную информацию. «На фотографии, скажем, птицы, летящей в небе, каждый пиксель может иметь значение», — объяснил Кадзухиро Терао , физик из Национальной ускорительной лаборатории SLAC. Но в изображениях, на которые смотрит физик, часто имеет значение лишь небольшая их часть. В подобных обстоятельствах изучение каждой детали напрасно отнимает время и вычислительные ресурсы.
Но ситуация начинает меняться. С помощью инструмента машинного обучения, известного как разреженная сверточная нейронная сеть (SCNN), исследователи могут сосредоточиться на соответствующих частях своих данных и отсеять остальные. Исследователи использовали эти сети, чтобы значительно ускорить анализ данных в реальном времени. И они планируют использовать SCNN в предстоящих или существующих экспериментах как минимум на трех континентах. Этот переход знаменует собой историческое изменение для физического сообщества.
«В физике мы привыкли разрабатывать собственные алгоритмы и вычислительные подходы», — сказал Карлос Аргуэльес-Дельгадо , физик из Гарвардского университета. «Мы всегда были в авангарде развития, но теперь, когда дело касается вычислений, информатика часто лидирует».
Редкие персонажи
Работа, которая привела к созданию SCNN, началась в 2012 году, когда Бенджамин Грэм , работавший тогда в Уорикском университете, захотел создать нейронную сеть, которая могла бы распознавать китайский почерк.
Основными инструментами в то время для решения подобных задач, связанных с изображениями, были сверточные нейронные сети (CNN). Для задания китайского почерка писатель рисовал иероглиф на цифровом планшете, создавая изображение размером, скажем, в 10 000 пикселей. Затем CNN перемещала сетку 3х3, называемую ядром, по всему изображению, центрируя ядро по каждому пикселю индивидуально. Для каждого размещения ядра сеть выполняла сложные математические вычисления, называемые сверткой, в ходе которых выявлялись отличительные особенности.
CNN были разработаны для использования с насыщенными информацией изображениями, такими как фотографии. Но изображение, содержащее китайский иероглиф, по большей части пусто; исследователи называют данные с этим свойством редкими. Это общая черта всего в мире природы. «Для примера того, насколько разреженным может быть мир», — сказал Грэм, — если бы Эйфелеву башню поместили в наименьший из возможных прямоугольник, этот прямоугольник состоял бы из «99,98 процентов воздуха и всего лишь 0,02 процента железа».
Грэм попытался настроить подход CNN так, чтобы ядро размещалось только на участках изображения размером 3х3, содержащих хотя бы один пиксель с ненулевым значением (а не просто пустой). Таким образом, ему удалось создать систему, которая могла бы эффективно распознавать рукописный текст на китайском языке. Он выиграл конкурс 2013 года, определив отдельные символы с вероятностью ошибок всего 2,61 процента. (Люди в среднем набрали 4,81 процента.) Затем он обратил свое внимание на еще более серьезную проблему: распознавание трехмерных объектов.
К 2017 году Грэм перешел в Facebook AI Research, усовершенствовал свою технику и опубликовал детали первой SCNN, в которой ядро концентрировалось только на пикселях , имеющих ненулевое значение (вместо размещения ядра на любых 3х3 пикселях). раздел, в котором был хотя бы один «ненулевой» пиксель). Именно эту общую идею Терао привнес в мир физики элементарных частиц.
Подземные выстрелы
Терао участвует в экспериментах в Национальной ускорительной лаборатории Ферми, посвященных изучению природы нейтрино, одной из самых неуловимых известных элементарных частиц. Это также самые распространенные частицы во Вселенной с массой (хотя и небольшой), но они редко обнаруживаются внутри детектора. В результате большая часть данных для экспериментов с нейтрино скудна, и Терао постоянно искал лучшие подходы к анализу данных. Он нашел один в SCNN.
В 2019 году он применил SCNN к моделированию данных, ожидаемых от глубокого подземного эксперимента с нейтрино, или DUNE, который станет крупнейшим в мире экспериментом по физике нейтрино, когда он будет запущен в эксплуатацию в 2026 году. Проект будет стрелять нейтрино из лаборатории Фермила, недалеко от Чикаго, через 800 миль земли в подземную лабораторию в Южной Дакоте. По пути частицы будут «колебаться» между тремя известными типами нейтрино, и эти колебания могут раскрыть подробные свойства нейтрино.
SCNN анализировали смоделированные данные быстрее, чем обычные методы, и требовали для этого значительно меньших вычислительных мощностей. Многообещающие результаты означают, что SCNN, скорее всего, будут использоваться во время реального экспериментального запуска.
Тем временем в 2021 году Терао помог добавить SCNN в еще один нейтринный эксперимент в Фермилабе, известный как MicroBooNE. Здесь ученые смотрят на последствия столкновений нейтрино с ядрами атомов аргона. Изучая следы, созданные в результате этих взаимодействий, исследователи могут сделать подробные выводы об исходных нейтрино. Для этого им нужен алгоритм, который сможет просматривать пиксели (или, технически, их трехмерные аналоги, называемые вокселами) в трехмерном представлении детектора, а затем определять, какие пиксели с какими траекториями частиц связаны.
Поскольку данных очень мало — несколько крошечных линий внутри большого детектора (около 170 тонн жидкого аргона), — SCNN почти идеально подходят для этой задачи. По словам Терао, при использовании стандартной CNN изображение пришлось бы разбить на 50 частей, поскольку необходимо выполнить все вычисления. «При использовании разреженной CNN мы анализируем все изображение сразу — и делаем это намного быстрее».
Своевременные триггеры
Одним из исследователей, работавших над MicroBooNE, был студент-стажер по имени Феликс Ю. Впечатленный мощью и эффективностью SCNN, он взял эти инструменты с собой на свое следующее место работы, будучи аспирантом Гарвардской исследовательской лаборатории, официально связанной с нейтринной обсерваторией IceCube на Южном полюсе.
Одна из ключевых целей обсерватории — перехватить самые энергичные нейтрино во Вселенной и отследить их источники, большинство из которых находятся за пределами нашей галактики. Детектор состоит из 5160 оптических датчиков, закопанных в антарктических льдах, лишь небольшая часть из которых загорается в любой момент времени. Остальная часть массива остается темной и не несет особой информативности. Хуже того, многие из «событий», которые регистрируют детекторы, являются ложными срабатываниями и бесполезны для охоты за нейтрино. Только так называемые события триггерного уровня допускаются для дальнейшего анализа, и необходимо мгновенно принимать решения относительно того, какие из них достойны этого обозначения, а какие будут навсегда игнорироваться.
Стандартные CNN слишком медленны для этой задачи, поэтому ученые IceCube уже давно полагаются на алгоритм под названием LineFit, который сообщает им о потенциально полезных обнаружениях. Но этот алгоритм ненадежен, сказал Ю, «а это значит, что мы можем упустить интересные события». Опять же, это среда с разреженным объемом данных, идеально подходящая для SCNN.
Ю вместе с Аргуэльесом-Дельгадо, его научным руководителем, и Джеффом Лазаром, аспирантом Университета Висконсина в Мэдисоне, количественно оценили это преимущество, показав в недавней статье, что эти сети будут примерно в 20 раз быстрее, чем типичные CNN. «Это достаточно быстро, чтобы обрабатывать каждое событие, выходящее из детектора», — около 3000 в секунду, — сказал Лазар. «Это позволяет нам принимать более правильные решения о том, что выбросить, а что оставить».
Авторы также успешно применили SCNN в моделировании с использованием официальных данных IceCube, и следующим шагом будет тестирование их системы на точной копии вычислительной системы Южного полюса. Если все пойдет хорошо, полагает Аргуэльес-Дельгадо, в следующем году они должны установить свою систему в Антарктической обсерватории. Но эта технология может найти еще более широкое применение. «Мы думаем, что [SCNN могут принести пользу] всем нейтринным телескопам, а не только IceCube», — сказал Аргуэльес-Дельгадо.
За пределами нейтрино
Филип Харрис, физик из Массачусетского технологического института, надеется, что SCNN смогут помочь в создании крупнейшего из всех коллайдеров частиц: Большого адронного коллайдера (БАК) в ЦЕРНе. Харрис услышал об этом виде нейронной сети от своего коллеги из Массачусетского технологического института, ученого-компьютерщика Сун Хана. «Сонг — эксперт в создании быстрых и эффективных алгоритмов», — сказал Харрис. Это идеально подходит для БАК, где каждую секунду происходит 40 миллионов столкновений.
Когда они разговаривали пару лет назад, Сонг рассказал Харрису о проекте автономного транспортного средства, который он реализовал вместе с сотрудниками своей лаборатории. Команда Сонга использовала SCNN для анализа трехмерных лазерных карт пространства перед транспортным средством, большая часть которого пуста, чтобы увидеть, есть ли впереди какие-либо препятствия.
Харрис и его коллеги сталкиваются с аналогичными проблемами на БАКе. Когда два протона сталкиваются внутри машины, в результате столкновения создается расширяющаяся сфера, состоящая из частиц. Когда одна из этих частиц попадает на коллектор, возникает ливень вторичных частиц. «Если вы сможете наметить всю протяженность этого потока, — сказал Харрис, — вы сможете определить энергию частицы, которая его породила», что может стать объектом особого интереса — чем-то вроде бозона Хиггса, который физики открытая в 2012 году, или частица темной материи, которую физики до сих пор ищут.
«Проблема, которую мы пытаемся решить, сводится к соединению точек», — сказал Харрис, точно так же, как беспилотный автомобиль может соединить точки лазерной карты, чтобы обнаружить препятствие.
По словам Харриса, SCNN ускорят анализ данных на БАКе как минимум в 50 раз. «Наша конечная цель — внедрить [SCNN] в детектор» — задача, которая потребует как минимум года бумажной работы и дополнительной поддержки со стороны сообщества. Но он и его коллеги полны надежд.
В целом, весьма вероятно, что SCNN — идея, первоначально зародившаяся в мире компьютерных наук — вскоре сыграет роль в крупнейших экспериментах, когда-либо проводившихся в области нейтринной физики (DUNE), нейтринной астрономии (IceCube) и физики высоких энергий (LHC). ).
Грэм сказал, что он был приятно удивлен, узнав, что SCNN пробились в физику элементарных частиц, хотя он не был полностью шокирован. «В абстрактном смысле, — сказал он, — частица, движущаяся в пространстве, немного похожа на движение кончика ручки по листу бумаги».
