Как нейросеть помогла узнать больше о пернатых соседях на даче

Одна птица с восходом солнца и часов до 10 утра заливается пением рядом с нашим подмосковным домиком в Нара-Фоминском районе Подмосковья. Мы садимся завтракать всей семьей, и наш пернатый сосед (или соседка) тоже созывает свою семью на завтрак. Впрочем, может, к 10 утра у нее уже обед. Птичка похожа на обычного городского воробья, но немного крупнее. Поет красиво, но все же… ну, не соловей. У того гамма звуков, если так можно выразиться (поправьте, музыканты, если термин неправильный) — гораздо шире.

И еще мы из года в год наблюдаем примерно с десяток птиц, которые мирно уживаются рядом и заливают пространство какофонией приятных слуху звуков. Некоторые, кстати, вьют гнезда и растят потомство прямо под крышей нашего дома, где нашли защиту от непогоды и хищников. В этом году наш дом «приютил» две семьи. Я решил положить конец спорам и сомнениям и найти приложение, которое точно распознает птицу по звуку — «чириканию», то есть.

В плеймаркете искал те, что были бы сделаны командой с участием профессиональных орнитологов, ученых. И мой выбор пал на BirdNet.
Приложение разработано Центром сохранения биоакустики Корнельского университета (США), а IT часть — кафедрой медиаинформатики Технологического университете в Хемнице (Германия). Таким образом, это совместный проект двух научных учреждений. Приложение имеет русскоязычную версию, загружается и работает в России без проблем.

Как это работает?

BirdNet классифицирует птичьи звуки с помощью машинного обучения. Как рассказали создатели сервиса, «рабочий процесс обучения Deep neural network (глубокой нейронной сети) состоял из сбора больших объемов аудиоданных, предварительной обработки этих данных для создания визуальных представлений звука, дополнения этих визуализаций и, наконец, обучения сложной модели. Архитектура с около 27 миллионами обучаемых параметров».
Подробнее можно почитать тут: https://www.sciencedirect.com/science/article/pii/S1574954121000273
А вот сылочка на GitHub, куда создатели сервиса выложили коды:
https://github.com/kahst/BirdNET-Analyzer

Так и что же за птичка поет постоянно по утрам под нашими окнами? BirdNet выяснил: это славка садовая.

А еще нейросеть среди наших соседей определила следующие виды:
Черный стриж
Полевой воробей
Сорока
Пеночка-теньковка
Клест-еловик
Трясогузка
Черноголовый щегол
Садовая славка
Серая ворона
Зарянка

Впрочем, это список неполный. Пару раз ночью прилетала сова. Но эта птица летает так тихо, что понимаешь, что этот сосед тоже рядом только когда ветром от взмазха его крыльев обдает.

Источник