В ходе испытаний на одной из станций лондонский транспорт использовал систему компьютерного зрения для обнаружения преступлений и оружия, людей, падающих на рельсы, и безбилетных пассажиров.

Системы компьютерного зрения, подобные тем, что использовались в ходе испытаний, работают, пытаясь обнаружить объекты и людей на изображениях и видео. Во время лондонского испытания алгоритмы, обученные определять определенное поведение или движения, были объединены с изображениями, полученными с помощью 20-летних камер видеонаблюдения на станции метро, и анализировали изображение каждую десятую долю секунды. Когда система обнаруживала одно из 11 действий или событий, признанных проблемными, она выдавала предупреждение на iPad или компьютер сотрудников станции. Сотрудники TfL получили 19 000 оповещений для потенциального принятия мер и еще 25 000 - для аналитических целей, говорится в документах.

С октября 2022 года до конца сентября 2023 года компания Transport for London (TfL), управляющая городской сетью метро и автобусов, протестировала 11 алгоритмов для наблюдения за людьми, проходящими через станцию метро Willesden Green, расположенную на северо-западе города. Это испытание стало первым случаем, когда транспортная организация объединила искусственный интеллект и видеозаписи в реальном времени для создания предупреждений, которые отправляются персоналу. В ходе испытаний было выдано более 44 000 предупреждений, причем 19 000 из них были переданы сотрудникам станции в режиме реального времени.

В документах, присланных в ответ на запрос Закона о свободе информации, подробно описано, как TfL использовала широкий спектр алгоритмов компьютерного зрения для отслеживания поведения людей, находящихся на станции. Это первый случай, когда сообщаются полные подробности испытаний, и это после того, как в декабре TfL заявила, что расширит использование искусственного интеллекта для выявления безбилетного проезда на большее количество станций по всей британской столице.

В ходе испытаний на Willesden Green - станции, которую до пандемии Covid-19 посещали 25 000 человек в день, - система искусственного интеллекта была настроена на выявление потенциальных инцидентов безопасности, чтобы сотрудники могли помочь нуждающимся, но она также нацелена на преступное и антисоциальное поведение. В трех представленных документах подробно описано, как модели ИИ использовались для обнаружения инвалидных колясок, детских колясок, вейпинга, людей, заходящих в несанкционированные зоны или подвергающих себя опасности, подходя близко к краю железнодорожных платформ.

В документах, которые частично отредактированы, также показано, как ИИ допускал ошибки во время испытаний, например, отмечал детей, которые шли за родителями через билетные барьеры, как потенциальных безбилетников, или не мог отличить складной велосипед от нескладного. Полицейские также помогали в испытаниях, держа мачете и пистолет в поле зрения камер видеонаблюдения, пока станция была закрыта, чтобы помочь системе лучше обнаружить оружие.

Эксперты по приватности, изучившие документы, сомневаются в точности алгоритмов обнаружения объектов. Они также говорят, что неясно, сколько людей знали об испытании, и предупреждают, что в будущем подобные системы наблюдения могут быть легко расширены и включать более сложные системы обнаружения или программное обеспечение для распознавания лиц, которое пытается идентифицировать конкретных людей. "Хотя это испытание не было связано с распознаванием лиц, использование искусственного интеллекта в общественных местах для идентификации поведения, анализа языка тела и определения защищаемых характеристик поднимает многие из тех же научных, этических, правовых и социальных вопросов, которые поднимаются технологиями распознавания лиц", - говорит Майкл Биртвистл, помощник директора независимого исследовательского института Ada Lovelace Institute.

В ответ на запрос о свободе информации TfL заявляет, что использовала существующие изображения с камер видеонаблюдения, алгоритмы искусственного интеллекта и "многочисленные модели обнаружения" для выявления моделей поведения. "Предоставляя сотрудникам станций информацию и уведомления о передвижении и поведении клиентов, они, как мы надеемся, смогут быстрее реагировать на любые ситуации", - говорится в ответе. В ответе также говорится, что испытание позволило получить представление об уклонении от оплаты проезда, которое "поможет нам в наших будущих подходах и мероприятиях", а собранные данные соответствуют политике компании в отношении данных.

В заявлении, направленном после публикации этой статьи, Мэнди Макгрегор, глава TfL' по вопросам политики и общественной безопасности, говорит, что результаты испытания продолжают анализироваться, и добавляет, что "в данных, собранных в ходе испытания, не было обнаружено никаких признаков предвзятости". По словам МакГрегора, во время испытания на станции не было никаких табличек с упоминанием о тестировании средств наблюдения с использованием искусственного интеллекта.

"В настоящее время мы рассматриваем план и масштабы второго этапа испытания. Никаких других решений о расширении использования этой технологии, будь то другие станции или дополнительные возможности, принято не было". МакГрегор сказал. "Любое более широкое распространение технологии после эксперимента будет зависеть от всесторонних консультаций с местными сообществами и другими заинтересованными сторонами, включая экспертов в данной области."

Системы компьютерного зрения, подобные тем, что используются в испытаниях, работают, пытаясь обнаружить объекты и людей на изображениях и видео. В ходе лондонского испытания алгоритмы, обученные определять определенное поведение или движения, совмещались с изображениями, полученными с помощью 20-летних камер видеонаблюдения на станции метро, и анализировали снимки каждую десятую долю секунды. Когда система обнаруживала одно из 11 действий или событий, признанных проблемными, она выдавала предупреждение на iPad или компьютер сотрудников станции. Сотрудники TfL получили 19 000 предупреждений, по которым можно было принять меры, и еще 25 000 - для аналитических целей, говорится в документах.

Категории, которые пыталась выявить система: движение толпы, несанкционированный доступ, обеспечение безопасности, помощь в передвижении, преступность и антисоциальное поведение, человек на путях, раненые или нездоровые люди, опасности, такие как мусор или мокрый пол, оставленные без присмотра предметы, застрявшие клиенты и безбилетный проезд. Каждая из них имеет несколько подкатегорий.

Даниэль Лейфер, старший аналитик по вопросам политики в группе по защите цифровых прав Access Now, говорит, что когда он видит какую-либо систему, осуществляющую подобный мониторинг, первое, на что он обращает внимание, - пытается ли она выявить агрессию или преступление. "Камеры делают это, определяя язык тела и поведение", - говорит он. "Какой набор данных вы собираетесь получить, чтобы обучить что-то на этом?"

В отчете TfL об испытании говорится, что камера "хотела включить акты агрессии", но обнаружила, что "не смогла успешно их обнаружить". В нем также говорится, что не хватало данных для обучения - другие причины, по которым акты агрессии не включались, были зачеркнуты. Вместо этого система выдавала предупреждение, когда кто-то поднимал руки, что в документах описывается как "обычное поведение, связанное с актами агрессии".

"Обучающих данных всегда недостаточно, потому что эти вещи, вероятно, слишком сложны и нюансированы, чтобы быть должным образом отраженными в наборах данных с необходимыми нюансами", - говорит Лейфер, отмечая, что TfL признала, что у нее не было достаточно обучающих данных. "Я крайне скептически отношусь к тому, что системы машинного обучения могут быть использованы для надежного обнаружения агрессии таким образом, чтобы не просто воспроизводить существующие в обществе предубеждения относительно того, какое поведение допустимо в общественных местах". Согласно полученным документам, всего было 66 предупреждений об агрессивном поведении, включая данные тестирования.

Мадлен Стоун, старший специалист по защите прав человека в группе Big Brother Watch, ориентированной на защиту частной жизни, говорит, что многие путешественники из метро будут "встревожены", узнав, что власти подвергали людей слежке с помощью искусственного интеллекта. Стоун говорит, что использование алгоритма для определения того, является ли человек "агрессивным", "глубоко ошибочно", и отмечает, что британский регулятор данных предостерег от использования технологий анализа эмоций.

Сотрудники транспортной организации провели "обширные симуляции" на станции Willesden Green во время испытаний, чтобы собрать больше данных для обучения, говорится в документах. Они включали в себя падение сотрудников на пол, а некоторые из этих тестов проводились, когда станция была закрыта. "Вы увидите офицера BTP [Британской транспортной полиции] с мачете и пистолетом в разных местах станции", - говорится в одной из надписей в документах, хотя изображения отредактированы. Во время проверки, говорится в документах, на станции не было предупреждений об инцидентах с применением оружия.

Чаще всего предупреждения выдавались за людей, которые потенциально могли избежать оплаты проезда, перепрыгивая или проползая под закрытыми воротами для оплаты проезда, толкая открытые ворота, проходя через открытые ворота или пристраиваясь за кем-то, кто заплатил. По данным TfL, на безбилетный проезд уходит до 130 миллионов фунтов стерлингов в год, а в ходе испытаний было получено 26 000 предупреждений о безбилетном проезде.

Во время всех испытаний изображения лиц людей были размыты, а данные хранились не более 14 дней. Однако через шесть месяцев испытаний TfL решила размыть изображения лиц, когда люди подозревались в неуплате, и хранить эти данные дольше. Изначально планировалось, что сотрудники будут реагировать на предупреждения о безбилетном проезде, говорится в документах. "Однако из-за большого количества ежедневных предупреждений (в некоторые дни их было более 300) и высокой точности обнаружения мы настроили систему на автопризнание предупреждений", - говорится в документах.

Биртвистл из Института Ады Лавлейс говорит, что люди ожидают "надежного надзора и управления", когда внедряются подобные технологии. "Если эти технологии будут использоваться, они должны применяться только при наличии доверия, согласия и поддержки со стороны общественности", - говорит Биртвистл.

Большая часть испытаний была направлена на то, чтобы помочь персоналу понять, что происходит на станции, и реагировать на инциденты. 59 оповещений об инвалидных колясках позволили персоналу станции Willesden Green, на которой нет помещений для доступа инвалидных колясок, "обеспечить необходимую заботу и помощь", говорится в документах. Между тем, было почти 2200 предупреждений о том, что люди выходят за желтые линии безопасности, 39 - о том, что люди наклоняются над краем пути, и почти 2000 - о том, что люди сидят на скамейке в течение длительного времени.

"В течение всего периода эксплуатации мы наблюдали огромное увеличение количества публичных объявлений, сделанных персоналом, напоминающих клиентам о необходимости отойти от желтой линии", - говорится в документах. В них также говорится, что система генерировала предупреждения о "грубых спящих и попрошайках" у входов на станцию, и это позволило персоналу "удаленно отслеживать ситуацию и оказывать необходимую помощь". TfL утверждает, что система была опробована для того, чтобы помочь ей улучшить качество работы персонала на станциях и сделать ее более безопасной для пассажиров.

В файлах нет анализа того, насколько точна система обнаружения ИИ; однако в разные моменты ее приходилось корректировать. "Обнаружение объектов и определение поведения обычно довольно хрупки и не являются надежными", - говорит Лейфер из Access Nows. В одном случае система выдавала предупреждения о том, что люди находятся в несанкционированной зоне, в то время как на самом деле машинисты поезда выходили из состава. Солнечный свет, попадающий на камеру, также снижал эффективность системы, говорится в документах.

В ходе испытаний также выяснялось, может ли искусственный интеллект распознавать разложенные или нераскложенные велосипеды и эскутеры, которые в основном не допускаются в транспортную сеть. "Al не смог отличить разложенный велосипед от обычного, а электронный скутер от детского", - говорится в документах. Модель безбилетного проезда также отмечала детей. "В часы школьных поездок мы наблюдали всплеск предупреждений о том, что родители и дети едут на хвосте", - говорится в документах. Система была скорректирована таким образом, чтобы не отмечать людей, "чей рост был ниже ворот"

В последние годы использование искусственного интеллекта в общественных местах для обнаружения поведения, движений или личности людей стало более широким - часто под прикрытием подходов "умного города". В июле прошлого года появились сообщения о том, что на нескольких станциях метро Нью-Йорка ИИ используется для отслеживания случаев безбилетного проезда. В Лондоне компания TfL в декабре заявила, что распространит испытания системы отслеживания уклонения от оплаты проезда на другие станции, хотя статус этих экспериментов неизвестен

Многие из этих систем разрабатываются в условиях отсутствия конкретных законов, регулирующих их использование, и в Великобритании предупреждают о наличии нормативного вакуума. "Нормализация мониторинга с помощью искусственного интеллекта на транспортных узлах - это скользкий путь к государству наблюдения, и он должен быть предметом большей прозрачности и консультаций с общественностью", - говорит Стоун из Big Brother Watch.