Ошибка, связанная с марсоходом, стоившая 500 миллионов долларов

Ошибка, связанная с марсоходом, стоившая 500 миллионов долларов
Кажется, что некоторые ошибки хуже, чем смерть.

Февральским вечером 2003 года я начал процедуру в Лаборатории реактивного движения НАСА в Пасадене, штат Калифорния. Я натянул костюм для чистой комнаты и прошёл в воздушный шлюз High Bay 1 здания 179, где создавались почти все межпланетные космические аппараты НАСА, начиная с программы «Рейнджер», делавшей снимки Луны в 1960-х. Спустя годы труда тысяч инженеров, техников и учёных оставалось всего две недели до того, как марсоход «Спирит» будет транспортирован на мыс Канаверал во Флориде для запуска перед его братом «Оппортьюнити».

Я был на своей второй неофициальной смене, уже отработав в ту среду двенадцать часов. Длинные смены — обычная ситуация на этапе сборки и тестирования. Каждая система космического аппарата тщательно тестируется, проверяется его идеальное рабочее состояние, прежде чем его подготовят к отправке с Земли. Миссии-близнецы «Спирит» и «Оппортьюнити» были одними из самых сложных космических аппаратов, построенных на то время, они воплотили в себе почти миллиард инвестированных НАСА долларов.

Марсоходы имели 62 щёточных двигателя, управлявших вращением и поворотами колёс, движением манипулятора, поворотом камер; кроме того, они направляли антенну на Землю и выполняли различные развёртывания после посадки. Марсоход подвергся тщательному тестированию, имитировавшему суровые условия, с которыми он столкнётся на Марсе в роли полевого геолога. В частности, критичными были действия, включающие в себя пиротехнику, так как взрывные волны могут нанести повреждения хрупким углеродным компонентам внутри двигателей. Тем вечером, когда мои коллеги занимались тестированием самого марсохода, мне было поручено проверить целостность двигателей в шлифовальной установке Rock Abrasion Tool (RAT), прикреплённой к манипулятору «Спирита».

«Спирит» (слева), «Оппортьюнити» (справа) и «Мария Кюри» (дублёр марсохода «Соджорнер»), понедельник, 10 февраля 2003 года

Разбирать и осматривать детали двигателя после каждого раунда испытаний в условиях, близких к эксплуатационным, непрактично. Однако мы можем контролировать их внутреннее состояние, исследуя электрические показатели. Для этого используется устройство под названием break-out-box: мы отсоединяем двигатель от космического аппарата и подключаем его к внешнему источнику питания и ленточному самописцу. При запуске у работоспособного двигателя диаграмма будет показывать плавное экспоненциальное снижение электрического тока, а все проблемы будут проявляться в виде скачков сигнала.

Этот тест я проводил бесчисленное количество раз. Разнообразные задачи, которыми я занимался в проекте, дали мне опыт, позволивший расшифровывать лабиринт диаграмм десяти тысяч соединений, обеспечивавших работу всех систем космического аппарата; я отвечал за написание инструкций по тому, как подключать и проверять все двигатели марсохода, поэтому меня и выбрали для этой серии испытаний.

Внутри чистой комнаты ответственный за электрику Джон помог мне найти всё необходимое оборудование. Затем наш специалист по электромонтажу Мэри аккуратно отсоединила контакты и подключила тестовое оборудование к интерфейсу. Мы провели нашу проверочную процедуру перед испытаниями. Интерфейс подключения работал, настройки источника питания и самописца были верны, а быстрый тестовый импульс на эталонный двигатель подтвердил правильность конфигурации. Убедившись, что всё в порядке, мы отключили эталонный двигатель и подсоединили двигатель RAT-Revolve «Спирита», отвечающий за вращение истирателя проб и щётки на марсианских породах. Ещё раз проверив этапы испытаний, мы получили одобрение на подачу энергии на двигатель.

Чтобы получить максимально чистый сигнал и выявлять самые мелкие неполадки двигателя, стандартно на него подаётся максимально возможная мощность. Поэтому крайне важно подать поток электронов в нужное место. Неправильное соединение могло привести к катастрофическим повреждениям с синим дымом. Наша подготовительная процедура была важной мерой предосторожности для проверки того, что эта потенциально опасная конфигурация правильна.

Импульс подали на двигатель. Как обычно, результат был мгновенным, но на этот раз настораживающе необычным. Ленточная диаграмма не походила ни на что виденное нами ранее. Она даже не походила на показания сломанного двигателя. Это определённо было что-то другое. Мой мозг начал искать объяснения и за секунду нашёл наиболее вероятное. Я отследил глазами движение проводов от breakout box на тестовом стенде до космического аппарата, и причина незнакомого сигнала пронзила моё сердце как кинжал. Вся мощность, которую мы только что подали, не пошла в двигатель RAT-Revolve. Из-за ошибки, совершённой мной при подключении break-out-box, он пошёл в другую сторону по интерфейсу разъёмов, подав всплеск напряжения не на двигатель, а прямиком на космический аппарат.

О-о-о-ох, ч-ч-ч-ё-ё-ё-рт.

Ленточная диаграмма с тех испытаний. Она должна быть не плоской, а экспоненциально опускаться вниз.

На меня волнами накатывала тошнота от предчувствия возможных последствий. Возможно, я только что превратил в кучу мусора оборудование на 500 миллионов долларов. А до запуска марсохода оставалось всего две недели, на восстановление после крупной проблемы времени не было. Я сразу же понял, что в этот синодический цикл, возможно, на Марс удастся запустить только один марсоход. А в моих руках находилось всё ещё тёплое оружие, потенциально убившее марсоход.

По бесчисленному количеству случаев из прошлого опыта в этом и других проектах я знал, что устаревая, плохие новости не становятся лучше, поэтому сразу же подключил к своим наушникам микрофон и рассказал о произошедшем Лео, отвечавшему за параллельное проведение других испытаний. Его ответ, казалось, провернул нож в моей груди. «Да, похоже, мы только что потеряли всю телеметрию с аппарата». Плохой знак.

Все, находящиеся рядом со мной, слушали разговор по контуру речевой связи в своих наушниках. Отвернувшись от микрофона, Джон сказал много нелестного обо мне, завернув так, что у него бы могли поучиться и опытные моряки. Команда немедленно выполнила процедуру аварийного отключения марсохода, и нам сказали, чтобы мы покинули чистую комнату для вероятного брифинга по оценке ущерба.

Меньше месяца назад мне исполнилось 28, но я выглядел и ощущал себя намного моложе, и я проработал всего несколько лет на своей первой серьёзной работе после колледжа. Это был первый существенный шаг в моей карьере инженера космических межпланетных аппаратов, о которой я мечтал со старшей школы. Вероятно, он станет и последним. Когда известие распространилось, коллеги в отделе испытаний систем начали шарахаться от меня. Менеджер по испытаниям в сборе и пусковым операциям Мэтт сухо приказал мне записать всё, что я могу вспомнить о произошедшем. Не помню, когда начал плакать, но я определённо продолжал рыдать, записывая все подробности в комнате для совещаний.

Получив мои записи, Лео с коллегами тщательно изучили события того вечера. Обнаружились две очевидных вещи. Во-первых, сильный электрический импульс пошёл не туда, куда нужно; во-вторых, от аппарата перестала поступать телеметрия. Звучит мрачно, но была надежда, что между двумя этими событиями нет явной связи. Когда команда обсуждала проблему, казалось, что электрический всплеск, скорее всего, завершился на цепи привода двигателя H-Bridge (по сути, умного контроллера трафика для электричества). То, что я сделал, было плохо, но, к счастью, благодаря явлению под названием «противо-ЭДС» (back-EMF) [1], это была та часть марсохода, которая проектировалась с расчётом на устойчивость к излишней энергии.

Мы решили, что бродячий импульс каким-то образом привёл к глитчу системы, достаточному для прерывания потока данных, не отключая его навсегда. Аппарат был отключён от питания, поэтому мы хотели поступить так же, как вы бы поступили с потребительской электроникой: включили бы обратно, чтобы проверить, решило ли это проблему.

Была уже полночь, уведомления об инциденте по цепочке руководства добрались до руководителя проекта Пита. На кону стояло повторное планирование всего проекта, в котором участвовала тысяча человек. Команда, задействовав всё внимание и осторожность, сконцентрировалась и провела стандартную процедуру включения аппарата. При запуске его систем включается множество разной электроники, затем запускается ПО и начинает генерировать телеметрию. В нём есть цепь, создающая импульс каждый цикл синхронизации (8 раз в секунду), превращая красную лампочку на стойке инструментов наземного обеспечения в показатель сердцебиения робота. Источник питания аппарата прошёл привычный процесс перепада напряжений и токов, но сердцебиение не началось, а телеметрия молчала.

Я не помню точно, что было дальше. Вероятно, утром проводили совещания, чтобы понять, что же делать дальше. Что я помню, так это чувство эмоциональной опустошённости, которое преследовало меня, когда я вернулся домой и пересказал историю своей жене. Я был уверен, что утром потеряю свою работу, и что моё имя войдёт в историю исследования космоса на позорных страницах.

Утром на совещании в лаборатории мы снова проработали подробную последовательность воссозданных событий в поисках подсказок или возможных вариантов ремонта, которые казались всё более иллюзорными, пока не обнаружилась одна критически важная часть пазла.

Цифровой мультиметр Fluke 87III — очень популярный инструмент в отделах Лаборатории реактивного движения. Когда я вошёл в чистую комнату прошлым вечером, мне нужен был он и я спросил моряка-лингвиста Джона, где его можно найти. Все мультиметры разобрали, поэтому он указал мне на прибор рядом с космическим аппаратом; тот следил за напряжением шины, но не использовался в испытаниях. Я аккуратно отключил разъёмы и направился на встречу с судьбой — тестировать двигатели RAT. Отключённый мной мультиметр мониторинга находился в цепи, питавшей телеметрию наземных испытаний аппарата. Отключив разъёмы, я ненамеренно разорвал соединение.

Мы сразу же поняли, что нужно вернуть мультиметр на место и включить питание аппарата.

Так мы и поступили. Всё заработало. Все облегчённо вздохнули, когда телеметрия включилась — всё-таки «Спирит» не умер!

Команда продолжила испытания, потеряв лишь несколько часов, а я совершил самый глубокий выдох за всю жизнь — возможно, я всё-таки не обрёк миссию на отправку единственного марсохода.

Всё остальное утро прошло как в тумане. За этим последовали две недели анализа канала H-bridge двигателя RAT-Revolve, приведшие к подробным обсуждениям возможной деметаллизации тонких плёнок. В конечном итоге проект собрал достаточно информации, чтобы постановить: использовать оборудование в том же виде.

Тянулись долгие смены. Я перебрался на мыс Канаверал, чтобы начать последние приготовления перед запуском роверов на Марс, дни и недели пронзали новые наполненные стрессом события. Когда «Спирит» оказался на Марсе и спустя год скрытого стресса оказалось, что двигатель RAT-Revolve отлично работал, а вся эта история стала мне жизненным уроком.

▍ Важный урок

Вспоминая эту историю позже, я не только обогатил своё понимание, но и вдохновил других изучать собственные провалы и делиться ими. Рассказы позволяют превращать этот опыт в ценные уроки, как для рассказывающих, так и для слушателей. На дальнейших этапах моей карьеры, работая в своём стартапе промышленного освоения астероидов Planetary Resources, мы осознали полезность этих нарративов в процессе найма и культуре команды. Мы намеренно просим кандидатов делиться своими историями провалов, чтобы они приняли их и учились на трудностях прошлого, в то же время поняв, что провал — неотъемлемая часть процесса обучения. Основной урок, который я извлёк из истории с марсоходом, можно выразить так:

Пусть ваши шрамы послужат вам; они являются бесценным опытом учёбы и вложением в ваши навыки и стрессоустойчивость.

На самом пике кризиса, когда у меня лились слёзы, а все коллеги отдалились от меня, меня поддержал единственный человек — добрый и мудрый Эрни, вышедший с пенсии, чтобы помочь с круглосуточными сменами в подготовке к запуску. Он подошёл ко мне, положил руку на плечо и мягким голосом дедушки успокоил меня. Потом он произнёс слова, которые я никогда не забуду: «Помни это чувство в следующий раз, когда тебе нужно будет расписываться в том, что всё в порядке».

Позже я стал руководителем полёта «Спирита» и «Оппортьюнити», когда они исследовали поверхность Марса, получил медаль НАСА «За выдающиеся достижения». Очевидно, меня не уволили за этот провал. Но это стало ясно только спустя несколько дней на одном из самых важных в моей жизни совещаний. В напряжённый период, последовавший за инцидентом, когда всё ещё ожидались результаты решающих анализов, начались страстные споры об опасностях испытаний, и многие считали, что их нужно полностью прекратить. Обсуждения закончились, было принято решение, что самое главное в этих испытаниях — обеспечение гарантий того, что двигатели будут безупречно работать на Марсе. Испытания было необходимо продолжать. И я всё ещё помню свой шок, когда руководитель проекта Пит рассказал о решении: «Испытания продолжатся. Крис будет продолжать руководить ими, потому что мы заплатили за его образование. Он единственный человек в мире, кто не повторит больше этой ошибки».

Я вернулся на «место своего преступления», чтобы продолжать испытания, и тщательно проверил все процедуры, чтобы устранить вероятность повторения той же ошибки. Каждый раз, когда я снова проводил этот тест, мне вспоминались решение Пита и мудрые слова Эрни, вызывая во мне прилив тошноты, чёткое напоминание об инциденте, но в то же время готовность продолжать. Доверие, выказанное мне руководством, несмотря на ошибку, стало ключевым моментом в моей карьере, подчеркнув мой рост и способность преодолевать трудности.

Каждый раз, когда мне нужно утвердить или поддержать что-то важное, я сразу вспоминаю этот момент — комнату, освещение, кресло, в котором я сидел, стол, тянущее чувство в животе, яркую смесь страха, тревоги и сожалений за недосмотр, который едва не привёл к катастрофе. Мудрость Эрни в сочетании с его состраданием в уязвимый для меня момент оставили во мне неизгладимый след. Сталкиваясь с необходимостью принятия критически важных решений, я не только вспоминаю этот опыт, но и стремлюсь помочь другим в переживании их собственных трудных моментов. Я, как и Пит, хочу помочь превратить этот опыт в катализатор для роста и повышения устойчивости, ведь наши реакции на несчастья способны определять наш путь вперёд.

Такие истории с опасными ситуациями, кривыми обучения и окончательными триумфами — не только мои, они бывают у многих людей, создающих что-то. В космических исследованиях провал — не один из вариантов, а неотъемлемая часть процесса. Каждый неверный шаг — это веха по пути к большему успеху; наша коллективная мудрость может проложить дорогу к будущим инновациям, достижениям и прорывам в развитии и наращивании нашего присутствия в космосе.

Ошибка, связанная с марсоходом, стоившая 500 миллионов долларовПроизводство марсохода «Спирит». Жёлтый цифровой мультиметр Fluke (слева внизу) и его незаменимая роль в телеметрии аппарата (январь 2003 года)

«Мы сеем семена успеха в долине неудач». — Джейсон Альтушер

«Ни один опыт сам по себе не является причиной нашего успеха или провала. Мы не страдаем от потрясений, вызванных нашим опытом (так называемой травмы), а создаём из него то, что соответствует нашим целям. Нас не определяет наш опыт, самоопределяющим является значение, которое мы ему придаём». — Ичиро Кишими, «Смелость не нравиться»

«Самые лучшие новости — это плохие новости, донесённые тогда, когда их ещё можно исправить». — Линди Элкинс-Тэнтон, ведущий исследователь миссии Psyche


[1] Back-EMF (ElectroMotive Force, электродвижущая сила): энергия, создаваемая двигателем, когда он начинает действовать как мини-генератор питания, особенно в моменты, когда он замедляется, или при не совсем правильной синхронизации.

Скидки, итоги розыгрышей и новости о спутнике RUVDS — в нашем Telegram-канале 🚀


 

Источник

Читайте также