По мере того как автомобили и самолеты, управляемые компьютерами, становятся все более распространенными, ключ к предотвращению аварий, по мнению исследователей, заключается в том, чтобы знать, чего вы не знаете.
Беспилотные автомобили и самолеты уже не являются чем-то из области будущего. Только в городе Сан-Франциско две таксомоторные компании зарегистрировали 8 миллионов миль автономного вождения до августа 2023 года. В США зарегистрировано более 850 000 автономных летательных аппаратов, или беспилотников, не считая тех, что принадлежат военным.
Но есть и обоснованные опасения по поводу безопасности. Например, за 10 месяцев, закончившихся в мае 2022 года, Национальная администрация безопасности дорожного движения сообщила о почти 400 авариях с участием автомобилей, использующих ту или иную форму автономного управления. В результате этих аварий погибли шесть человек, а пять получили серьезные травмы.
Обычный способ решения этой проблемы, который иногда называют "тестированием до изнеможения", заключается в том, чтобы испытывать эти системы до тех пор, пока не убедитесь в их безопасности. Но вы никогда не можете быть уверены, что этот процесс выявит все потенциальные недостатки. "Люди проводят испытания до тех пор, пока не исчерпают свои ресурсы и терпение, - говорит Саян Митра, специалист по информатике из Иллинойского университета в Урбане-Шампейне. Однако само по себе тестирование не может дать гарантий.
Митра и его коллеги могут. Его команде удалось доказать безопасность систем слежения за полосой движения для автомобилей и систем посадки для автономных самолетов. Сейчас их стратегия используется для посадки беспилотников на авианосцы, а компания Boeing планирует протестировать ее на экспериментальном самолете в этом году. "Их метод обеспечения сквозных гарантий безопасности очень важен", - говорит Корина Пасаряну, научный сотрудник Университета Карнеги-Меллон и Исследовательского центра НАСА имени Эймса.
В их работе речь идет о гарантиях результатов алгоритмов машинного обучения, которые используются для информирования автономных транспортных средств. На высоком уровне многие автономные автомобили состоят из двух компонентов: системы восприятия и системы управления. Система восприятия подсказывает, например, как далеко находится ваш автомобиль от центра полосы движения или в каком направлении движется самолет и каков его угол наклона по отношению к горизонту. Система работает, подавая необработанные данные с камер и других сенсорных устройств на алгоритмы машинного обучения, основанные на нейронных сетях, которые воссоздают окружающую среду вне автомобиля.
Потом эти оценки отправляются в отдельную систему, модуль управления, который решает, что делать. Например, если перед автомобилем возникает препятствие, он решает, нажать на тормоза или объехать его. По словам Луки Карлоне, доцента Массачусетского технологического института, хотя модуль управления опирается на хорошо отлаженную технологию, "он принимает решения на основе результатов восприятия, и нет никакой гарантии, что эти результаты верны"
Чтобы обеспечить гарантию безопасности, команда Митры работала над обеспечением надежности системы восприятия автомобиля. Сначала они предположили, что можно гарантировать безопасность при наличии идеальной визуализации внешнего мира. Затем они определили, сколько ошибок вносит система восприятия в воссоздание окружения автомобиля.
Ключом к этой стратегии является количественная оценка неопределенностей, известных как диапазон ошибок, или "известных неизвестных", как выразился Митра. Эти расчеты основаны на том, что он и его команда называют контрактом восприятия. В программной инженерии контракт - это обязательство, что при заданном входном сигнале компьютерной программы выходной сигнал будет находиться в определенном диапазоне. Выяснить этот диапазон не так-то просто. Насколько точны датчики автомобиля? Сколько тумана, дождя или солнечных бликов может выдержать беспилотник? Но если вы можете держать автомобиль в заданном диапазоне неопределенности и если определение этого диапазона достаточно точно, команда Митры доказала, что вы можете обеспечить его безопасность.
Это знакомая ситуация для тех, у кого есть неточный спидометр. Если вы знаете, что прибор никогда не отклоняется более чем на 5 миль в час, вы все равно можете избежать превышения скорости, всегда держась на 5 миль в час ниже ограничения скорости (как показывает ваш недоверчивый спидометр). Контракт на восприятие дает аналогичную гарантию безопасности несовершенной системы, которая зависит от машинного обучения.
"Вам не нужно идеальное восприятие", - говорит Карлоун. "Вы просто хотите, чтобы оно было достаточно хорошим, чтобы не подвергать безопасность риску". По его словам, самый большой вклад команды заключается в том, что она "представила всю идею контрактов восприятия" и предоставила методы их построения. Для этого они использовали методы из области информатики, называемой формальной верификацией, которая предоставляет математический способ подтверждения того, что поведение системы удовлетворяет набору требований.
"Даже если мы не знаем точно, как нейронная сеть делает то, что она делает, - сказал Митра, - они показали, что можно численно доказать, что неопределенность выхода нейронной сети находится в определенных границах. И если это так, то система будет безопасной. "Мы можем дать статистическую гарантию того, будет ли (и в какой степени) данная нейронная сеть действительно соответствовать этим границам".
В настоящее время аэрокосмическая компания Sierra Nevada тестирует эти гарантии безопасности при посадке беспилотника на авианосец. Эта задача в некотором смысле сложнее, чем управление автомобилями, поскольку в полете задействовано дополнительное измерение. "При посадке есть две основные задачи, - говорит Драгос Маргинанту, главный технолог по искусственному интеллекту в компании Boeing, - выровнять самолет по взлетно-посадочной полосе и убедиться, что на полосе нет препятствий. Наша работа с Sayan включает в себя получение гарантий для этих двух функций."
"Моделирование с использованием алгоритма Sayan показывает, что выравнивание [самолета перед посадкой] действительно улучшается", - сказал он. Следующим шагом, запланированным на конец этого года, будет использование этих систем при реальной посадке экспериментального самолета Boeing. Марджинанту отметил, что одной из самых сложных задач будет выяснение того, чего мы не знаем - "определение неопределенности в наших оценках" - и определение того, как это влияет на безопасность. "Большинство ошибок происходит, когда мы делаем то, что, как нам кажется, мы знаем, а оказывается, что нет."
Оригинал статьи перепечатан с разрешения журнала Quanta, независимого издания Фонда Саймонса, чья миссия заключается в улучшении понимания общественностью науки путем освещения научных разработок и тенденций в области математики, физических и биологических наук.