В среду Mozilla Foundation опубликовала результаты анализа 11 так называемых чат-ботов для романтических отношений и компаньонов, в ходе которого было выявлено множество проблем, связанных с безопасностью и конфиденциальностью этих ботов. В совокупности эти приложения, которые были загружены более 100 миллионов раз на устройствах Android, собирают огромные объемы данных людей; используют трекеры, которые отправляют информацию в Google, Facebook, а также компаниям в России и Китае; позволяют пользователям использовать слабые пароли; и не имеют прозрачной информации об их владельцах и моделях искусственного интеллекта, на которых они работают.
После того как OpenAI выпустила ChatGPT на мировой рынок в ноябре 2022 года, разработчики бросились внедрять большие языковые модели и создавать чат-ботов, с которыми люди могут взаимодействовать и платить за подписку. Исследование Mozilla дает представление о том, как эта "золотая лихорадка" могла пренебречь приватностью людей, и о напряженности в отношениях между развивающимися технологиями и тем, как они собирают и используют данные. Оно также показывает, как сообщения в чате могут быть использованы хакерами.
Многие сервисы "ИИ-подружки" или романтические чат-боты выглядят одинаково. Они часто содержат сгенерированные искусственным интеллектом изображения женщин, которые могут быть сексуализированы или сопровождаться провокационными сообщениями. Исследователи Mozilla изучили множество чат-ботов, включая большие и маленькие приложения, некоторые из которых претендуют на роль "подружек". Другие предлагают людям поддержку через дружбу или близость, позволяют играть в ролевые игры и другие фантазии.
"Эти приложения предназначены для сбора тонны личной информации", - говорит Джен Калтридер, руководитель проекта Mozilla Privacy Not Included team, которая проводила анализ. "Они подталкивают вас к ролевым играм, много секса, много интимности, много обмена информацией". Например, на скриншотах чат-бота EVA AI можно увидеть текст, в котором говорится: "Мне нравится, когда ты присылаешь мне свои фотографии и голос", а также спрашивается, готов ли человек "поделиться всеми своими секретами и желаниями".
Калтридер говорит, что с этими приложениями и сайтами связано множество проблем. Многие из приложений могут не уточнять, какие данные они передают третьим лицам, где они расположены и кто их создает, говорит Калтридер, добавляя, что некоторые позволяют людям создавать слабые пароли, а другие предоставляют мало информации об используемом ими искусственном интеллекте. У всех проанализированных приложений были разные сценарии использования и слабые места.
Взять хотя бы Romantic AI, сервис, позволяющий "создать свою собственную девушку с искусственным интеллектом". Рекламные изображения на его главной странице изображают чатбота, отправляющего сообщение: "Только что купил новое нижнее белье. Хочешь посмотреть?". В документах о конфиденциальности приложения, согласно анализу Mozilla, говорится, что оно не будет продавать данные людей. Однако когда исследователи протестировали приложение, они обнаружили, что оно "разослало 24 354 рекламных трекера в течение одной минуты использования". Romantic AI, как и большинство компаний, упомянутых в исследовании Mozilla, не ответили на просьбу о комментарии. Другие приложения, за которыми велось наблюдение, имели сотни трекеров.
В целом, по словам Caltrider, приложения не имеют четкого представления о том, какими данными они могут делиться или продавать, и как именно они используют некоторые из этих данных. "Юридическая документация была расплывчатой, трудной для понимания, не очень конкретной - что-то вроде шаблонов", - говорит Калтридер, добавляя, что это может снизить доверие людей к компаниям.
Неясно, кто владеет или управляет некоторыми компаниями, стоящими за чат-ботами. На сайте одного приложения под названием Mimico-Your AI Friends указано только слово "Привет". Другие компании не указывают ни своих владельцев, ни местонахождения, либо просто указывают общие адреса электронной почты службы поддержки или помощи. "Это были очень маленькие разработчики приложений, которые были безымянными, безликими, безместными", - добавляет Калтридер.
Mozilla обратила внимание на то, что некоторые компании, по-видимому, используют слабые методы обеспечения безопасности при создании паролей. Исследователи смогли создать пароль из одного символа ("1") и использовать его для входа в приложения от Anima AI, которая предлагает "ИИ-парней" и "ИИ-подружек". Anima AI также не ответила на просьбу о комментарии. В других приложениях также допускаются короткие пароли, что потенциально облегчает хакерам задачу по перебору паролей и доступу к данным чата.
Камилла Сайфулина, руководитель отдела брендов EVA AI, сообщила в электронном письме, что ее "текущие требования к паролям могут создавать потенциальные уязвимости" и что компания пересмотрит свою политику в отношении паролей. Сайфулина ссылается на руководство по безопасности компании, в котором подробно описаны темы, о которых людям запрещено писать. В руководстве также указано, что сообщения проверяются на предмет нарушений другой моделью искусственного интеллекта. "Вся информация о пользователе всегда остается конфиденциальной. Это наш приоритет", - говорит Сайфулина. "Кроме того, пользовательские чаты не используются для предварительного обучения. Мы используем только наши собственные наборы данных, составленные вручную".
Помимо вопросов обмена данными и безопасности, анализ Mozilla также подчеркивает, что мало что известно о конкретных технологиях, используемых в чат-ботах. "Существует просто нулевая прозрачность в отношении того, как работает ИИ, - говорит Калтридер. В некоторых приложениях не предусмотрены средства контроля, позволяющие людям удалять сообщения. Некоторые не сообщают, какие генеративные модели они используют, или не уточняют, могут ли люди отказаться от использования их чатов для обучения будущих моделей.
Самым крупным приложением, о котором идет речь в исследовании Mozilla, является Replika, которое рекламируется как приложение-компаньон и ранее подвергалось пристальному вниманию со стороны регулирующих органов. Mozilla первоначально опубликовала анализ Replika в начале 2023 года. Евгения Куйда, генеральный директор и основатель Replika, заявила в пространном заявлении, впервые опубликованном в прошлом году, что компания не "использует разговорные данные между пользователем и приложением Replika в рекламных или маркетинговых целях", и оспорила некоторые выводы Mozilla.
Многие из анализируемых чат-ботов требуют платной подписки для доступа к некоторым функциям и были запущены за последние два года, после начала бума генеративного ИИ. Часто чат-боты призваны имитировать человеческие качества и вызывать доверие и близость с людьми, которые их используют. Одному человеку было предложено убить королеву Елизавету II во время общения с чатботом; другой, как сообщается, умер от самоубийства после шестинедельного общения с чатботом. Помимо того, что некоторые из приложений являются NSFW, они также играют роль полезных инструментов. На домашней странице Romantic AI говорится, что приложение "здесь для поддержания вашего психического здоровья", но в его правилах и условиях уточняется, что оно не является поставщиком медицинских или психиатрических услуг и что компания "не делает заявлений, не дает гарантий", что оказывает профессиональную помощь.
Вивиан Та-Джонсон, доцент психологии в колледже Лейк-Форест, говорит, что общение с чат-ботами может помочь некоторым людям чувствовать себя более комфортно, обсуждая темы, которые они обычно не поднимают с другими людьми. Однако, по словам Та-Джонсона, если компания прекратит свою деятельность или изменит принцип работы своих систем, это может стать "травмой" для людей, которые сблизились с чат-ботами. "Эти компании должны серьезно относиться к эмоциональным связям, которые пользователи установили с чат-ботами, и понимать, что любые серьезные изменения в работе чат-ботов могут иметь серьезные последствия для социальной поддержки и благополучия пользователей", - говорит Та-Джонсон.
Некоторые люди вряд ли будут тщательно обдумывать то, что они раскрывают чат-ботам. В случае с "подружками ИИ" это может включать сексуальные предпочтения или перегибы, местоположение или личные чувства. Это может нанести репутационный ущерб в случае взлома системы чатбота или случайной утечки данных. Аденике Косгроув, вице-президент по стратегии кибербезопасности в Европе, на Ближнем Востоке и в Африке компании Proofpoint, говорит, что киберпреступники регулярно используют доверие людей для мошенничества или эксплуатации, и что существует "неотъемлемый риск" для сервисов, которые собирают огромное количество данных о людях. "Многие пользователи не обращают внимания на последствия конфиденциальности своих данных, потенциально подвергая себя эксплуатации, особенно когда находятся в эмоционально уязвимом состоянии", - говорит Косгроув.
Для подружек ИИ и им подобных Caltrider говорит, что люди должны быть осторожны при использовании романтических чат-ботов и применять лучшие методы безопасности. Это включает в себя использование надежных паролей, отказ от входа в приложения с помощью Facebook или Google, удаление данных и отказ от сбора данных там, где это предлагается. "Ограничьте личную информацию, которой вы делитесь, насколько это возможно - не сообщайте имена, местоположение, возраст", - говорит Калтридер, добавляя, что для некоторых из этих сервисов этого может быть недостаточно. "Даже если вы сделаете все это, вы не будете в безопасности, как вам хотелось бы"
.