[Перевод] Могут ли Big Data и ИИ разрешить глобальный кризис водных ресурсов?

Нет ничего важнее для жизни на Земле, чем вода.

Круглый год по всему миру почти 663 млн человек вообще не имеют безопасного доступа к чистой воде. Проблема изменения климата, вероятно, только ухудшит ситуацию, и поиск путей решения для менее экономически развитых стран является приоритетом. Новые технологии, такие как Big Data (большие данные) и ИИ могут помочь найти выход…

Katy Walters / Вода, вода везде / [CC BY-SA 2.0]

Большие данные — анализ огромного массива информации инструментами, которые могут обработать их намного быстрее, чем люди могут сделать это без технической поддержки.

Получение и накопление данных увеличилось в объемах в последние годы благодаря дешевым сенсорам и росту применения геопространственного анализа. Эти новые технологии улучшили нашу возможность находить и осуществлять контроль за запасами воды. Более того, инфраструктура, обеспеченная современными датчиками, создает возможности для облачных вычислений и возросшей доступности данных на всех системах.

Сельское хозяйство

Сельское хозяйство однозначно является самым крупным пользователем (и расточителем) воды в мире. Фермеры используют 70% мирового запаса пресной воды, но 60% из неё утрачивается в результате протечек в оросительных установках и нерациональных способах применения.

Анализ больших данных может продолжать поиск оптимальных решений для уравновешивания производительности и надежности, когда речь идет о сельском хозяйстве. Он также может предотвращать спровоцированные человеком аварии, такие как внезапное падение качества воды, которое может оставаться скрытым до полного проявления последствий.

Это может помочь водоснабжающим компаниям понять тренды в землепользовании и климате, которые повлияют на ключевые решения при планировании адаптивной и регулируемой систем водоснабжения.

Большие данные и моделирование помочь в совместной работе водоснабжающих компаний и землеустроителей при оценке того, какое количество воды будет необходимо и доступно при различные вариантах развития.

Растрата воды

В XX веке население мира утроилось, в то время как использование воды человеком увеличилось шестикратно.

До сегодняшнего дня водоснабжающие компании находились в тупиковом положении в том, что касается времени и ресурсов. Их инфраструктура водоснабжения и водоотведения приходит в негодность, насосы ломаются, трубы протекают, а у других деталей истекает срок годности, но у стесненных в средствах предприятий нет денег или знаний инфраструктуры, чтобы произвести необходимые улучшения.

Насущная проблема с данными

По сути, большие данные обозначают наличие огромного количества данных. Водоснабжающие компании получают данные благодаря системам диспетчерского управления и сбора данных (SCADA), включая статистику потоков, онлайн мониторинг и т.п.

Диспетчерское управление и сбор данных (SCADA) — программное обеспечение, которое использует компьютеры, сети передачи локальных данных и графический пользовательский интерфейс для организации контроля и управления на высоком уровне.

Предприятия уже задействуют системы SCADA, что позволяет им собирать огромные объемы данных. Впрочем, часто оказывается, что они не знают или их не заботит, как сделать так, чтобы эти данные приносили конкретную пользу.

Их системы SCADA могут быть старыми, выдавать своеобразные форматы данных и не обязательно быть созданными для совместной работы (разобщенность).

Кроме того, данные, собранные в очистных сооружениях, часто обрывочны. Существует разобщенность в данных компьютерных систем, которые не всегда контактируют друг с другом. Разработки в больших данных и новые средства управления данными позволяют нам превратить все эти данные в понятную, полезную информацию, которая помогает нам стать более предусмотрительными и принимать лучшие хозяйственные решения.

Более того, сотрудники предприятий, имеющие на руках такой тип информации, скорее смогут заблаговременно определить потенциальные проблемы еще до того, как они произошли, а не бросаться чинить что-то типа сломанного насоса. Системы SCADA способны в режиме реального времени отображать текущую ситуацию и незамедлительно сигнализировать о проблемах. Способность предсказывать вероятные проблемы, используя умные платформы для обработки и анализа данных, в корне меняет положение дел.

Следующий шаг — объединение данных и использование инструментов аналитической обработки для прогноза того, куда нам следует направить свой взгляд, чтобы стать более дальновидными, — крайне значим для водного хозяйства.
Поставьте во главу угла качество, а не на количество.

Даже самая тонко организованная аналитическая обработка данных не может избежать ошибок в измерениях. Если вы не уверены в своих главных датчиках и анализаторах, у вас будет огромное количество неверных данных, которые бесполезны.

Как это работает

Data mining (прим. переводчика: есть несколько переводов данного термина, в данной статье будет использован «извлечение данных») — это то, как специалист по работе с большими данными обнаруживает информацию в потоке необработанных данных. Стимулы и выгоды с обеих сторон — поставщиков коммунальных услуг и потребителей — могут затем синхронизироваться с помощью математических моделей, таких как модели, основанные на байесовском выводе и теории игр. Знания о коммуникациях, полученные из больших данных, наконец, распространяются, чтобы операторы, инженеры и руководители взяли их на вооружение.

В необработанных данных недостатка нет. У почти 60% водоснабжающих компаний есть удаленные системы сбора данных на всех насосных станциях, а у 43% —сбор данных на всех резервуарах.

Преимущества больших данных:

— Продвинутый анализ тенденций
Высокопроизводительные большие данные (колоссально огромные наборы данных) имеют потенциал к созданию умного управления ресурсами инфраструктуры водоснабжения, предоставляя возможность руководителям грамотно и безошибочно оценивать, прогнозировать, а также распределять свои ресурсы. Водоснабжающим компаниям может помочь анализ тенденций, который при создании прогнозов на будущее основывается на аналитических методах, чтобы определять скрытые закономерности и тенденции, лежащие подспудно в старых данных.

— Прогноз спроса
Продвинутый анализ больших данных делает прогноз нагрузки на систему практически осуществимым для руководителей высокого уровня благодаря распознаванию паттернов и моделированию ряда сценариев, используя систему динамического моделирования и продвинутые алгоритмы машинного обучения. Усовершенствованный прогноз нагрузки на систему для предугадывая поведения при потреблении воды с использованием больших данных в нескольких наборах данных, таких как демографические факторы (плотность населения и т.п.), паттерны потребления за прошедшие периоды, климат (температура, влажность и т.п.), инфраструктура (используемые технологии, возраст, продуктивность и т.п.), политические, экономические и иные критерии. Эти составляющие представляют собой входные переменные для развития прогнозирующей модели, способной предвидеть потребительское поведение (то есть спрос на воду).

— Автоматизированный контроль
Что если вместо отправки сигналов команде инженеров, эти системы SCADA могли бы отправлять команды самонастройки? Давайте представим что-то вроде самоналаживающихся технологий, помогающих нам в регулировании воды.

— Открытые данные 

Некоторые другие области, в которых интеграция данных даёт толчок инновациям, — это открытые данные и гражданские науки. Оборотная сторона того, что коммунальные предприятия не работают в конкурентной среде, — возможность создать условия для инноваций для других. Наборы данных, собираемые предприятиями, могут стать, а в некоторых случаях уже стали доступны для третьей стороны как открытые данные.

Как применить ИИ

ИИ — это высокомасштабируемое и экономически целесообразное решение для большого количества водопроводных труб, которыми владеют коммунальные компании. Помимо интеграции данных, ИИ также усовершенствует процесс принятия решений, предоставляя рекомендации, основанные на этих данных.

Программное обеспечение с элементами ИИ на основе машинного обучения для оценки состояния труб — лучшая стратегия развития, чем просто роботизация. ИИ может проанализировать тысячи миль [труб] за считанные часы, становясь крайне выгодным в ценовом отношении решением.

Машинное обучение — лучший способ поиска значимых взаимосвязей внутри данных, а затем вывода функциональной зависимости, которая может использоваться для приятия решений.

К примеру, модели прогнозирования были разработаны, чтобы позволить коммунальным предприятиям предсказывать спрос с точностью вплоть до 98%. Эти модели задействуют собранные данные, объединяют с другими данными, такими как прогноз погоды, которые потом передаются в модели машинного обучения во внешних приложениях.

В то время как другие отрасли широко применяют анализ тенденций и прогнозирование, их ключевое значение остается тайной для весьма разобщенного водного хозяйства.

Поставщики услуг и коммунальные предприятия должны вкладывать средства в организацию надлежащих систем сбора данных для сбора, группировки и выполнения анализа тенденций микро- и макроданных в качестве первого шага навстречу оптимизации управления ресурсами инфраструктуры и принятия решений в водном хозяйстве.

Некоторые стартапы разрабатывают решения для управления водоснабжением на основе глубокого обучения. Компании обещают «предоставить возможность предупреждать утечку воды в системах водоснабжения, прогнозировать общее состояние системы и минимизировать текущие расходы». Они могут предложить данные с временными метками от датчиков и счетчиков, благодаря использованию самого передового алгоритма глубокого обучения для их анализа.

В Индии были разработаны две ИНС модели, чтобы определить качество воды в реке Гомти. В качестве набора данных были взяты такие параметры качества воды, как кислотность (pH), общее содержание твердых веществ, химическое потребление кислорода, и произведен предварительный расчет растворенного в воде кислорода и биологической потребности в кислороде.

Искусственная нейронная сеть (ИНС) — вычислительная модель на основе структуры и функционирования биологических нейронных сетей.

Прототип нейронной сети был разработан при помощи использования данных, которые содержали наблюдения за три года. Входные наборы данных рассчитывались с помощью коэффициента корреляции с растворенным кислородом. Вычисления прототипов ИНС сравнили, используя коэффициент корреляции, среднеквадратичная погрешность и коэффициент эффективности. Оценочные значения растворенного в воде кислорода и биологической потребности в кислороде совпали.

Пример процесса обработки данных с трубопровода

Конкретные примеры

В Бангалоре водоснабжающие компании могут измерять расход в любой момент и делать доступ к воде настолько справедливым, насколько это возможно. Наблюдая за единственной панелью управления, возможно отслеживать работу более чем 250 счетчиков на воду, а также уделять больше внимания отдельным блокам.

В штате Керала [Индия] компании полагаются на счетчики воды и датчики от IBM, чтобы отслеживать ситуацию с потреблением воды, в том числе выявлять нарушения, которые могут указывать на отдельные случаи несанкционированного использования. Преимущество платформ обработки и анализа больших данных в том, что они могут искать отклонения в паттернах, которые в противном случае могут остаться невыявленными.

И наконец, Google договорилась с несколькими странами развивать модель ИИ для прогнозирования наводнений.

Будущее анализа данных

Раз уж мы входим в эпоху больших данных, водоснабжающие компании будут иметь возможность применять усовершенствованные датчики, которые будут улавливать ранее не определявшиеся изменения в работе инфраструктуры. Эти технологии прогнозирования помогут компаниям предвосхищать неполадки и утечки в оборудовании.

Умные технологии могут помочь водоснабжающим компаниям совершенствовать их службу по работе с потребителями. К примеру, информационно-аналитическая система с функцией самообслуживания при помощи использования продвинутого способа учета и анализа данных о качестве воды могла бы позволить пользователям контролировать и оптимизировать собственный расход воды.

Новая волна технически совершенных инструментов аналитики предлагает водоснабжающим компаниям возможность удовлетворить эти насущные потребности и трансформировать необработанные данные в практически применимые сведения. Анализ данных может быстро определить неисправность в инфраструктуре, уменьшить потерю воды, предупредить перелив в водостоках и оценить состояние системы. Более того, данные могут раскрыть производительность, давать информацию об случаях упреждающего технического обслуживания и служить ориентиром в долгосрочном планировании.

Пока по большей части говорят о больших данных, как о замене физических активов цифровыми технологиями, более значительная и влиятельная тенденция — это использование онлайн-инструментов для улучшения эффективности использования физических активов на «офлайн» предприятиях, таких как водное хозяйство. В этом контексте роль данных не заставить руководителя умно говорить. Их задача помочь принимать лучшие решения. И вы не можете этого сделать только с технологиями или с анализом данных, не важно, насколько вы круты.

Данные и вода действительно совместимы.

Об авторе статьи. Alexandre Gonfalonieri пишет в своем блоге о применении искусственного интеллекта в повседневной жизни и решении насущных проблем.