Google представила облачное API для распознавания объектов на видео


Пример работы Cloud Video Intelligence API
Животное (97,76%)
Дикое животное (92,16%)
Тигр (90,11%)
Сухопутное животное (68,17%)
Бенгальский тигр (64,77%)
Усы (63,30%)
Зоопарк (58,16%)
Ревущие кошки (56,41%)
Кошка (44,12%)

Компания Google объявила о выпуске нового облачного сервиса Cloud Video Intelligence API (сейчас в стадии закрытого бета-тестирования). Это первые на рынке API для обработки видео с распознаванием объектов.

Cloud Video Intelligence API предназначен для обработки видеоконтента. Видеоролики становятся индексируемыми, с поиском по содержимому. Можно отследить все появления искомого объекта, продолжительность этих появлений, оценить их важность. Например, автоматически находить все сцены секса в многолетнем архиве с камер наблюдения. Поиск по видео становится таким же простым, как поиск по текстовым документам. Сами видеоролики в сервис можно загружать напрямую по мере надобности или интегрировав с Google Cloud Storage.

Системы глубинного обучения, нейросети и ИИ — это уже не игрушка для научных экспериментов, а реальная технология, которая всё чаще применяется в бизнесе. В таких областях как компьютерное зрение, распознавание речи, обработка естественного языка. Нейросети помогают предсказать, когда в сети произойдёт деградация (анализ твитов с геотегами), какой товар захочет купить покупатель. Слабый ИИ выявляет фродовые транзакции и осуществляет анализ медицинских изображений, помогая поставить диагноз.

Google является одним из лидером в научных разработках по изучению нейросетей, а сейчас это научное лидерство постепенно конвертируется в прибыль по мере того, как коммерческие компании начинают использовать системы ИИ в своей деятельности. С точки зрения ситуации на облачном рынке, эксперты говорят, что сервисы вроде распознавания объектов на фотографиях и видеороликах — это попытка Google подтянуться к двум лидерам: Amazon и Microsoft. То есть Google пытается использовать своё интеллектуальное превосходство над конкурентами, чтобы достать их.

Cloud Video Intelligence API распознаёт не только существительные (тигр, животное, собака, цветок), но и некоторые глаголы (бежать, плавать, летать) в содержимом видеороликов. Здесь используются алгоритмы машинного обучения Google, созданные с использованием TensorFlow и других фремйворков.

На странице с описанием есть два демо-примера, на которых показываются возможности системы. Кроме присвоения меток, как на первом скриншоте, она автоматически разбивает видеоролик на последовательность сцен — и показывает метки для каждой сцены. То есть система распознаёт изменение сцен.

Метаданные из видеоматериалов Cloud Video Intelligence API извлекаются простым в использованием REST API. На демо-странице опять же приводится пример такого запроса и ответа.

Запрос на аннотирование
https://videointelligence.googleapis.com/v1beta1/videos:annotate?key=YOUR_API_KEY_HERE

Тело запроса на аннотирование

{   "inputUri": "gs://cloudmleap/video/next/animals.mp4",   "features": [     "LABEL_DETECTION",     "SHOT_CHANGE_DETECTION"   ] }

Ответ с аннотациями

{   "name": "europe-west1.8668160167827035855" }

Запрос операции
https://videointelligence.googleapis.com/v1/operations/europe-west1.8668160167827035855?key=YOUR_API_KEY_HERE

Ответ

{   "name": "europe-west1.8668160167827035855",   "metadata": {     "@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.AnnotateVideoProgress",     "annotationProgress": [       {         "inputUri": "/cloudmleap/video/next/animals.mp4",         "progressPercent": 100,         "startTime": "2017-03-10T07:43:08.708173Z",         "updateTime": "2017-03-10T07:43:16.478607Z"       },       {         "inputUri": "/cloudmleap/video/next/animals.mp4",         "progressPercent": 100,         "startTime": "2017-03-10T07:43:08.708173Z",         "updateTime": "2017-03-10T07:43:17.493023Z"       }     ]   },   "done": true,   "response": {     "@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.AnnotateVideoResponse",     "annotationResults": [       {         "inputUri": "/cloudmleap/video/next/animals.mp4",         "labelAnnotations": [           {             "description": "African elephant",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.89221686,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Android",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.7447677,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.41145295,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Animal",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.9850994,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "83458",                   "endTimeOffset": "1584934"                 },                 "confidence": 0.8952162,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.9594428,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.9497467,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "23231533",                   "endTimeOffset": "26818435"                 },                 "confidence": 0.91483617,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "26860164",                   "endTimeOffset": "28695344"                 },                 "confidence": 0.9850994,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.97762877,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "30363608",                   "endTimeOffset": "32282246"                 },                 "confidence": 0.7097968,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "32323975",                   "endTimeOffset": "33241501"                 },                 "confidence": 0.9594428,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "33283230",                   "endTimeOffset": "34492731"                 },                 "confidence": 0.9446105,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "34534460",                   "endTimeOffset": "35160139"                 },                 "confidence": 0.8952162,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.9814149,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "37579269",                   "endTimeOffset": "38830499"                 },                 "confidence": 0.9850994,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.92503697,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.9844126,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "41958638",                   "endTimeOffset": "42959622"                 },                 "confidence": 0.9880168,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.9529697,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "45795786",                   "endTimeOffset": "47630966"                 },                 "confidence": 0.96517783,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.8952162,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "52385640",                   "endTimeOffset": "55513779"                 },                 "confidence": 0.9497467,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "55555508",                   "endTimeOffset": "56765009"                 },                 "confidence": 0.9696604,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "56806738",                   "endTimeOffset": "58057968"                 },                 "confidence": 0.9844126,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "61770057",                   "endTimeOffset": "63188075"                 },                 "confidence": 0.52341515,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "65148442",                   "endTimeOffset": "67108681"                 },                 "confidence": 0.96517783,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "81748392",                   "endTimeOffset": "83124681"                 },                 "confidence": 0.9850994,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "83166410",                   "endTimeOffset": "84209123"                 },                 "confidence": 0.9594428,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Animation",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "7382321",                   "endTimeOffset": "9551205"                 },                 "confidence": 0.71536106,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.50700074,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Aquarium",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "52385640",                   "endTimeOffset": "55513779"                 },                 "confidence": 0.66549724,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Beak",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "55555508",                   "endTimeOffset": "56765009"                 },                 "confidence": 0.77501494,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Bengal tiger",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.64773124,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.8644828,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.59538835,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Bird",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "55555508",                   "endTimeOffset": "56765009"                 },                 "confidence": 0.9931627,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Black",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "endTimeOffset": "41729"                 },                 "confidence": 0.70951056,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Body of water",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.8843631,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Branch",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "1626663",                   "endTimeOffset": "3211597"                 },                 "confidence": 0.59518576,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "3253198",                   "endTimeOffset": "5296895"                 },                 "confidence": 0.59518576,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Carnivores",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "32323975",                   "endTimeOffset": "33241501"                 },                 "confidence": 0.4039546,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.52672577,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Cat",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.6540427,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "26860164",                   "endTimeOffset": "28695344"                 },                 "confidence": 0.81855905,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.44117302,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "32323975",                   "endTimeOffset": "33241501"                 },                 "confidence": 0.8062887,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.7889559,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Cattle",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "41958638",                   "endTimeOffset": "42959622"                 },                 "confidence": 0.5799711,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Chipmunk",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.5361945,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.5034101,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Communication Device",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.9136269,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.5841158,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.9136269,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.9405665,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Consumer electronics",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.8531199,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.7966925,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.79614824,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.74901456,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Craft",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "21312895",                   "endTimeOffset": "23189804"                 },                 "confidence": 0.7232958,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Display device",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.6566272,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.527363,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Dog",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "83166410",                   "endTimeOffset": "84209123"                 },                 "confidence": 0.6979326,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Electronic device",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.8830752,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.4444712,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.4444712,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Elephant",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.9120662,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Elephants",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.9187563,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Facial expression",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "17225501",                   "endTimeOffset": "19477843"                 },                 "confidence": 0.44210455,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Feature phone",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.6804405,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.6868115,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.70522815,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Fish",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "52385640",                   "endTimeOffset": "55513779"                 },                 "confidence": 0.67274684,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "65148442",                   "endTimeOffset": "67108681"                 },                 "confidence": 0.45693684,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Flora",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "3253198",                   "endTimeOffset": "5296895"                 },                 "confidence": 0.6021202,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Fur",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "26860164",                   "endTimeOffset": "28695344"                 },                 "confidence": 0.62052464,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "32323975",                   "endTimeOffset": "33241501"                 },                 "confidence": 0.5825671,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "83166410",                   "endTimeOffset": "84209123"                 },                 "confidence": 0.83816683,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Gadget",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.87584877,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "69360895",                   "endTimeOffset": "71946813"                 },                 "confidence": 0.40696934,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.80872256,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.9088438,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.87584877,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Giraffe",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "83458",                   "endTimeOffset": "1584934"                 },                 "confidence": 0.7888411,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "37579269",                   "endTimeOffset": "38830499"                 },                 "confidence": 0.9983481,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Giraffidae",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "37579269",                   "endTimeOffset": "38830499"                 },                 "confidence": 0.8244073,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Graphic design",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "92801073",                   "endTimeOffset": "93218107"                 },                 "confidence": 0.41958028,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "93259836",                   "endTimeOffset": "98056239"                 },                 "confidence": 0.41958028,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Graphics",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "84667886",                   "endTimeOffset": "92759344"                 },                 "confidence": 0.42916313,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "92801073",                   "endTimeOffset": "93218107"                 },                 "confidence": 0.6215783,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "93259836",                   "endTimeOffset": "98056239"                 },                 "confidence": 0.6030297,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "House",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "19519444",                   "endTimeOffset": "21271294"                 },                 "confidence": 0.41790316,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Indian elephant",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.7122813,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Jungle",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.41892967,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Leaf",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "1626663",                   "endTimeOffset": "3211597"                 },                 "confidence": 0.6517387,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "3253198",                   "endTimeOffset": "5296895"                 },                 "confidence": 0.9094892,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Logo",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "84667886",                   "endTimeOffset": "92759344"                 },                 "confidence": 0.5190213,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "92801073",                   "endTimeOffset": "93218107"                 },                 "confidence": 0.53628016,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "93259836",                   "endTimeOffset": "98056239"                 },                 "confidence": 0.60437465,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Mascot",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.52543926,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.44586235,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Mobile device",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.9754991,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.85469896,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.9667602,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.9533528,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Mobile phone",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.9769415,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "69360895",                   "endTimeOffset": "71946813"                 },                 "confidence": 0.48726135,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.8672257,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.96640646,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.97986317,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Multimedia",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.44397694,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.41997322,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.45259473,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Nature",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.50565904,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "1626663",                   "endTimeOffset": "3211597"                 },                 "confidence": 0.4795686,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "3253198",                   "endTimeOffset": "5296895"                 },                 "confidence": 0.87490076,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "15348720",                   "endTimeOffset": "17183772"                 },                 "confidence": 0.54313797,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "19519444",                   "endTimeOffset": "21271294"                 },                 "confidence": 0.94635874,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "23231533",                   "endTimeOffset": "26818435"                 },                 "confidence": 0.7222316,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "30363608",                   "endTimeOffset": "32282246"                 },                 "confidence": 0.57741284,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.474022,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.474022,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.9293757,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.9293757,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Nature reserve",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.44622806,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.48912042,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Palm trees",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "15348720",                   "endTimeOffset": "17183772"                 },                 "confidence": 0.80078065,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Pet",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "55555508",                   "endTimeOffset": "56765009"                 },                 "confidence": 0.41684255,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "56806738",                   "endTimeOffset": "58057968"                 },                 "confidence": 0.41684255,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "83166410",                   "endTimeOffset": "84209123"                 },                 "confidence": 0.5270497,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Plant",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "3253198",                   "endTimeOffset": "5296895"                 },                 "confidence": 0.72045994,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "19519444",                   "endTimeOffset": "21271294"                 },                 "confidence": 0.4347451,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.41064587,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Plant stem",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "3253198",                   "endTimeOffset": "5296895"                 },                 "confidence": 0.8578779,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Plush",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.74255526,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.53740776,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Portable communications device",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.8782257,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.77704453,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.8725347,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.8802977,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Rabbit",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.79631186,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Rapids",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.6308835,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "River",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.6829149,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Roaring cats",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.564093,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.6252642,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.537465,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Samsung",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.45737183,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Saw",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "21312895",                   "endTimeOffset": "23189804"                 },                 "confidence": 0.49702922,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Smartphone",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.97850716,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "69360895",                   "endTimeOffset": "71946813"                 },                 "confidence": 0.41317958,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.83762443,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.9778874,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.9857585,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Smile",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "17225501",                   "endTimeOffset": "19477843"                 },                 "confidence": 0.6786328,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "71988542",                   "endTimeOffset": "73490146"                 },                 "confidence": 0.4861825,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Snout",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "83166410",                   "endTimeOffset": "84209123"                 },                 "confidence": 0.78420043,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Song",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.4209878,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Stream",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.8769414,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Stuffed toy",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.7915379,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "13638599",                   "endTimeOffset": "15306991"                 },                 "confidence": 0.40931365,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Telephone",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "67150410",                   "endTimeOffset": "69319294"                 },                 "confidence": 0.85756797,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "73531747",                   "endTimeOffset": "75909148"                 },                 "confidence": 0.42652282,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "75950877",                   "endTimeOffset": "78036303"                 },                 "confidence": 0.90821534,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.85756797,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Terrestrial animal",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.536368,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.6816744,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.6125775,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "37579269",                   "endTimeOffset": "38830499"                 },                 "confidence": 0.7665409,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.60995924,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.5185323,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Text",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "84667886",                   "endTimeOffset": "92759344"                 },                 "confidence": 0.696517,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "92801073",                   "endTimeOffset": "93218107"                 },                 "confidence": 0.4823912,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "93259836",                   "endTimeOffset": "98056239"                 },                 "confidence": 0.4200642,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Text messaging",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "78078032",                   "endTimeOffset": "81706663"                 },                 "confidence": 0.49540573,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Tiger",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.90107197,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "32323975",                   "endTimeOffset": "33241501"                 },                 "confidence": 0.68852603,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "33283230",                   "endTimeOffset": "34492731"                 },                 "confidence": 0.5181764,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "34534460",                   "endTimeOffset": "35160139"                 },                 "confidence": 0.95753914,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.9620449,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.90134215,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Tourism",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.4736032,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "23231533",                   "endTimeOffset": "26818435"                 },                 "confidence": 0.7137501,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "30363608",                   "endTimeOffset": "32282246"                 },                 "confidence": 0.4133858,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.6857583,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.59528834,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.6857583,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "52385640",                   "endTimeOffset": "55513779"                 },                 "confidence": 0.4736032,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Tourist destination",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.4342352,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "23231533",                   "endTimeOffset": "26818435"                 },                 "confidence": 0.77993846,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.6600144,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.7183539,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.71695065,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Toy",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "9592934",                   "endTimeOffset": "13596870"                 },                 "confidence": 0.57369184,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Tree",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "1626663",                   "endTimeOffset": "3211597"                 },                 "confidence": 0.5587302,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "19519444",                   "endTimeOffset": "21271294"                 },                 "confidence": 0.8711515,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.8734739,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Underwater",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "52385640",                   "endTimeOffset": "55513779"                 },                 "confidence": 0.45049176,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "65148442",                   "endTimeOffset": "67108681"                 },                 "confidence": 0.90563846,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "81748392",                   "endTimeOffset": "83124681"                 },                 "confidence": 0.45049176,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Vegetation",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.45803612,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Water feature",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.9122097,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Water resources",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.61155117,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Watercourse",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.55837154,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Waterfall",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.92332006,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Whiskers",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "26860164",                   "endTimeOffset": "28695344"                 },                 "confidence": 0.70904154,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.633004,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "32323975",                   "endTimeOffset": "33241501"                 },                 "confidence": 0.6301133,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "34534460",                   "endTimeOffset": "35160139"                 },                 "confidence": 0.5065674,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.5323837,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Wildlife",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.94118625,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "23231533",                   "endTimeOffset": "26818435"                 },                 "confidence": 0.9175038,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "26860164",                   "endTimeOffset": "28695344"                 },                 "confidence": 0.6023959,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.92160356,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "33283230",                   "endTimeOffset": "34492731"                 },                 "confidence": 0.9175038,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "34534460",                   "endTimeOffset": "35160139"                 },                 "confidence": 0.7541614,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "37579269",                   "endTimeOffset": "38830499"                 },                 "confidence": 0.94118625,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.82810974,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.82810974,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.8351515,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.45038256,                 "level": "SHOT_LEVEL"               }             ]           },           {             "description": "Zoo",             "languageCode": "en-us",             "locations": [               {                 "segment": {                   "startTimeOffset": "-1",                   "endTimeOffset": "-1"                 },                 "confidence": 0.9060432,                 "level": "VIDEO_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "23231533",                   "endTimeOffset": "26818435"                 },                 "confidence": 0.8143075,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "28737073",                   "endTimeOffset": "30322007"                 },                 "confidence": 0.58159506,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "33283230",                   "endTimeOffset": "34492731"                 },                 "confidence": 0.5717353,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "35201868",                   "endTimeOffset": "37537540"                 },                 "confidence": 0.920275,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "37579269",                   "endTimeOffset": "38830499"                 },                 "confidence": 0.6610618,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "38872228",                   "endTimeOffset": "39873212"                 },                 "confidence": 0.74015945,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "39914813",                   "endTimeOffset": "41916909"                 },                 "confidence": 0.75921035,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "44586157",                   "endTimeOffset": "45754057"                 },                 "confidence": 0.9589248,                 "level": "SHOT_LEVEL"               },               {                 "segment": {                   "startTimeOffset": "47672567",                   "endTimeOffset": "52343911"                 },                 "confidence": 0.9589248,                 "level": "SHOT_LEVEL"               }             ]           }         ],         "shotAnnotations": [           {             "endTimeOffset": "41729"           },           {             "startTimeOffset": "83458",             "endTimeOffset": "1584934"           },           {             "startTimeOffset": "1626663",             "endTimeOffset": "3211597"           },           {             "startTimeOffset": "3253198",             "endTimeOffset": "5296895"           },           {             "startTimeOffset": "5338624",             "endTimeOffset": "7340720"           },           {             "startTimeOffset": "7382321",             "endTimeOffset": "9551205"           },           {             "startTimeOffset": "9592934",             "endTimeOffset": "13596870"           },           {             "startTimeOffset": "13638599",             "endTimeOffset": "15306991"           },           {             "startTimeOffset": "15348720",             "endTimeOffset": "17183772"           },           {             "startTimeOffset": "17225501",             "endTimeOffset": "19477843"           },           {             "startTimeOffset": "19519444",             "endTimeOffset": "21271294"           },           {             "startTimeOffset": "21312895",             "endTimeOffset": "23189804"           },           {             "startTimeOffset": "23231533",             "endTimeOffset": "26818435"           },           {             "startTimeOffset": "26860164",             "endTimeOffset": "28695344"           },           {             "startTimeOffset": "28737073",             "endTimeOffset": "30322007"           },           {             "startTimeOffset": "30363608",             "endTimeOffset": "32282246"           },           {             "startTimeOffset": "32323975",             "endTimeOffset": "33241501"           },           {             "startTimeOffset": "33283230",             "endTimeOffset": "34492731"           },           {             "startTimeOffset": "34534460",             "endTimeOffset": "35160139"           },           {             "startTimeOffset": "35201868",             "endTimeOffset": "37537540"           },           {             "startTimeOffset": "37579269",             "endTimeOffset": "38830499"           },           {             "startTimeOffset": "38872228",             "endTimeOffset": "39873212"           },           {             "startTimeOffset": "39914813",             "endTimeOffset": "41916909"           },           {             "startTimeOffset": "41958638",             "endTimeOffset": "42959622"           },           {             "startTimeOffset": "43001351",             "endTimeOffset": "44544556"           },           {             "startTimeOffset": "44586157",             "endTimeOffset": "45754057"           },           {             "startTimeOffset": "45795786",             "endTimeOffset": "47630966"           },           {             "startTimeOffset": "47672567",             "endTimeOffset": "52343911"           },           {             "startTimeOffset": "52385640",             "endTimeOffset": "55513779"           },           {             "startTimeOffset": "55555508",             "endTimeOffset": "56765009"           },           {             "startTimeOffset": "56806738",             "endTimeOffset": "58057968"           },           {             "startTimeOffset": "58099697",             "endTimeOffset": "59392656"           },           {             "startTimeOffset": "59434385",             "endTimeOffset": "61728328"           },           {             "startTimeOffset": "61770057",             "endTimeOffset": "63188075"           },           {             "startTimeOffset": "63229804",             "endTimeOffset": "65106713"           },           {             "startTimeOffset": "65148442",             "endTimeOffset": "67108681"           },           {             "startTimeOffset": "67150410",             "endTimeOffset": "69319294"           },           {             "startTimeOffset": "69360895",             "endTimeOffset": "71946813"           },           {             "startTimeOffset": "71988542",             "endTimeOffset": "73490146"           },           {             "startTimeOffset": "73531747",             "endTimeOffset": "75909148"           },           {             "startTimeOffset": "75950877",             "endTimeOffset": "78036303"           },           {             "startTimeOffset": "78078032",             "endTimeOffset": "81706663"           },           {             "startTimeOffset": "81748392",             "endTimeOffset": "83124681"           },           {             "startTimeOffset": "83166410",             "endTimeOffset": "84209123"           },           {             "startTimeOffset": "84250852",             "endTimeOffset": "84626157"           },           {             "startTimeOffset": "84667886",             "endTimeOffset": "92759344"           },           {             "startTimeOffset": "92801073",             "endTimeOffset": "93218107"           },           {             "startTimeOffset": "93259836",             "endTimeOffset": "98056239"           }         ]       }     ]   } }

Использование Cloud Video Intelligence API — удобный способ извлекать содержимое видеороликов без использования собственных систем машинного обучения или компьютерного зрения.

Сейчас платформа Google поддерживает выбор региона, где будет происходить обработка видеоматериала (для соответствия нормативным требованиям).

Google обещает улучшать сервис, добавляя новую функциональность в Cloud Video Intelligence API на протяжении периода бета-тестирования. В самом деле, сейчас некоторых функций явно не хватает. Например, система не поддерживает распознавание лиц. Представьте с точки зрения отдела безопасности, как удобно было бы простым запросом к API определить встречались ли сотрудники А и Б между собой на территории офиса и рядом с ним за последний год. Как часто встречались и как увеличивалась среднее медианное продолжительности их разговоров за временной период.

Можно представить, что API распознавания объектов на видео начнут использовать в сельском хозяйстве, где сейчас почти всё автоматизировано, кроме некоторых работ по сбору урожая и других. С помощью API роботы смогут эффективно собирать фрукты, овощи и ягоды. Следовательно, компьютерная система позволит избавиться от остатков рабочей силы, которую сейчас приходится привлекать для сбора урожая, посевных работ. В перспективе такие API позволят освободить от работы миллионы инспекторов качества на производственных линиях, погрузчиков на складах, мойщиков окон, сортировщиков товаров, охранников и других низкоквалифицированных работников — продвинутое машинное зрение позволит отдохнуть работникам сотен разных специальностей.

С последним обновлением Google ещё больше расширяет платформу Cloud Machine Learning, которая теперь включает в себя сервисы Vision, Video Intelligence, Speech, Natural Language, Translation и Jobs. Все эти интерфейсы в совокупности позволяют современным компаниям использовать возможности нейросетей в своей работе.

Кроме Cloud Video Intelligence API компания Google сделала ещё несколько анонсов в области машинного зрения, в том числе обновила Cloud Vision API до версии 1.1 (beta). Это популярные интерфейсы для распознавания объектов на изображениях. С момента запуска в апреле 2016 года платформа уже обработала более 1 миллиарда изображений. В новой версии Google добавила возможность продвинутого распознавания символов, способного распознавать текст на сканах документов с большим количеством текста — контрактов, книг, научных работ.

Распознавание объектов на фото — удобная фича. Например, риелторские сайты с помощью этих API доставляют пользователям информацию о недвижимости по её фотографии (человек наводит смартфон на коттедж — и получает информацию о его стоимости, метраже, количестве спален).


Источник

Cloud Video Intelligence API, google, Видео, распознавание объектов

Читайте также