После школы Карандип Ананд часто застает свою шестилетнюю дочь за беседой с чат-ботом с искусственным интеллектом, когда она перекусывает за кухонным столом. Она еще слишком мала, чтобы печатать - не говоря уже о том, чтобы завести собственный аккаунт на Character.AI, - но это не мешает ей выхватывать его телефон, чтобы вести голосовые разговоры с ботом Шерлока Холмса, которого она использует для создания собственных таинственных историй.

Character.AI - это стартап, специализирующийся на ИИ-компаньонах (хотя Ананд любит говорить, что это' стартап для ролевых игр, о которых мы расскажем позже). Он занял пост генерального директора в июне, в разгар потенциально разрушительного судебного процесса для материнской компании и надвигающихся вопросов о безопасности детей. Когда я спрашиваю, не беспокоится ли он о том, что его дочь общается с чат-ботом с искусственным интеллектом, а не с реальным человеком, он быстро отвечает "нет".

"В любом из этих сценариев очень редко получается заменить человека", - сказал мне Ананд во время видеозвонка в конце прошлой недели. "В приложении очень четко указано, что это ролевая игра и развлечение, поэтому вы никогда не начнете углубляться в разговор, полагая, что это ваш реальный собеседник".

Это' деликатный момент для Character.AI.

В августе прошлого года компания Google заключила сделку на сумму около 2,7 миллиарда долларов на лицензирование технологии Character.AI. В рамках соглашения два соучредителя Character.AI ушли в подразделение Google по искусственному интеллекту.

Ананду, который ранее работал вице-президентом по бизнес-продуктам в Meta, было поручено собрать осколки, что он и сделал, частично оставив миссию основателей по созданию персонализированного сверхинтеллекта, чтобы сосредоточиться на развлечениях с искусственным интеллектом.

"Мы отказались от стремления основателей создать модели AGI - мы больше этим не занимаемся. Это борьба за инвестиции в сотни миллиардов долларов, которую ведет Big Tech", - говорит Ананд. "Взамен мы получили ясность и сосредоточенность, возможность единолично реализовывать концепцию развлечений с использованием ИИ".

В рамках этой смены стратегии Character.AI больше не пытается создавать собственные пограничные модели. "За последние шесть месяцев мы проделали большую работу, чтобы отказаться от собственных моделей текста и начать использовать модели с открытым исходным кодом", - говорит Ананд. Компания протестировала несколько из них: Llama от Meta, Qwen от Alibaba и DeepSeek. "Модели с открытым исходным кодом выигрывают у любой собственной модели", - утверждает Ананд.

Управление ИИ-стартапом без миллиардных доходов может быть жестоким уравнением, и Character.AI все еще выясняет, как заставить математику работать. Компания сообщила мне, что ее доход составляет более 30 миллионов долларов, и она планирует достичь 50 миллионов долларов к концу года. Когда я спросил Ананда, сколько пользователей платят за ежемесячную подписку стоимостью $10, он не назвал цифру, но отметил, что "монетизация не была в центре внимания до четырех или пяти месяцев назад".

"С тех пор как я стал членом совета директоров, стало ясно, что нам действительно нужно монетизироваться. И за последние шесть месяцев рост числа подписчиков составил, по-моему, почти 250 процентов. Так что база платных пользователей растет очень и очень хорошо", - говорит Ананд. По его словам, Character.AI недавно ввел рекламу, включая рекламу с вознаграждением (когда пользователи могут выбрать просмотр рекламы, чтобы получить доступ к поощрениям на платформе), чтобы помочь монетизации в странах, где подписка нецелесообразна.

"ИИ - это дорого. Давайте будем честными", - говорит Ананд.

В октябре 2024 года мать подростка, погибшего в результате самоубийства, подала иск о причинении смерти по неосторожности против Character Technologies, ее основателей, Google и Alphabet, утверждая, что компания нацелила ее сына на "антропоморфный, гиперсексуальный и пугающе реалистичный опыт, одновременно запрограммировав [чатбота] на ложное представление себя как реального человека, лицензированного психотерапевта и взрослого любовника". В то время представитель Character.AI заявил CNBC, что компания "убита горем из-за трагической потери" и "очень серьезно относится к безопасности наших пользователей"

Трагический инцидент поставил Character.AI под пристальное внимание. Ранее в этом году сенаторы США Алекс Падилла и Питер Уэлч написали письмо нескольким платформам ИИ-компаньонов, включая Character.AI, выразив обеспокоенность "рисками для психического здоровья и безопасности молодых пользователей" этих платформ.

"Команда очень ответственно подходит к этому уже почти год", - говорит мне Ананд. "ИИ стохастичен, и трудно всегда понять, что произойдет. Так что это не одноразовая инвестиция."

Это очень важно, потому что Character.AI растет. У стартапа 20 миллионов ежемесячных активных пользователей, которые в среднем проводят 75 минут в день, общаясь с ботом ("персонажем" в терминологии Character.AI). Пользовательская база компании на 55 процентов состоит из женщин. Более 50 процентов пользователей - представители поколения Z или поколения Alpha. С таким ростом приходит реальный риск - что делает Ананд, чтобы обезопасить своих пользователей?

"[За последние шесть месяцев мы вложили непропорционально много ресурсов в то, чтобы иметь возможность обслуживать пользователей младше 18 лет иначе, чем старше 18, чего не было в прошлом году", - говорит Ананд. Я не могу сказать: "О, я могу наклеить на свое приложение ярлык "18+" и использовать его для NSFW". В итоге вы создаете совсем другое приложение и другую небольшую платформу".

Более 10 из 70 сотрудников компании постоянно занимаются вопросами доверия и безопасности, говорит Ананд. Они отвечают за создание таких средств защиты, как проверка возраста, отдельные модели для пользователей младше 18 лет, а также новые функции, такие как родительская информация, которая позволяет родителям видеть, как их подростки используют приложение.

Модель для пользователей младше 18 лет была запущена в декабре прошлого года. По словам представителя компании Кэтрин Келли, она включает в себя "более узкий набор персонажей, по которым можно осуществлять поиск на платформе". "К этому набору были применены фильтры, чтобы удалить персонажей, связанных с деликатными или зрелыми темами."

Но Ананд говорит, что безопасность ИИ потребует не только технических доработок. "Обеспечение безопасности этой платформы - это партнерство между регулирующими органами, нами и родителями, - говорит Ананд. Именно это делает наблюдение за тем, как его дочь общается с персонажем, таким важным. "Это должно быть безопасно для нее".

Рынок ИИ-компаньонов переживает бум. В первой половине этого года потребители по всему миру потратили на ИИ-компаньонов 68 миллионов долларов, что на 200 процентов больше, чем в прошлом году, согласно оценке, приведенной CNBC. Стартапы, работающие в сфере искусственного интеллекта, стремятся занять свою долю рынка: в июле компания xAI выпустила жутковатого порнографического компаньона, и даже Microsoft называет свой чатбот Copilot компаньоном с искусственным интеллектом.

Как же Character.AI выделяется на переполненном рынке? Он полностью исключает себя из него.

"ИИ-компаньоны - это неправильный взгляд на то, что люди делают с Character. То, что люди делают с Character, на самом деле является ролевой игрой. И это звучит взаимозаменяемо, но это не так", - говорит мне Ананд, добавляя, что менее 20 процентов приложения используется для дружеского общения (это согласно отчету о внутреннем исследовании данных, предоставленных пользователями самостоятельно). Тем не менее, похоже, что приложение не полностью вышло из игры в симуляцию отношений - мне потребовалось всего несколько минут, чтобы найти парня с искусственным интеллектом для графической сексуальной ролевой игры.

"Люди хотят разыгрывать ситуации. Люди хотят играть в фантастику... Они хотят жить в альтернативных реальностях. Они хотят отключиться от повседневных дел", - говорит Ананд.

Лично я отключаюсь от своих будней с помощью другого вида виртуального мира. Я полностью пристрастился к видеоигре Stardew Valley. Я управляю фермой Гекльберри, как чертовы морпехи". Для Ананда эта видеоигра - скорее конкурент, чем Grok. "Когда речь зашла о ролевых играх, генеральный директор из Сиэтла говорит, что в основном использует персонажей для вампирских фанфиков. Проблема, по его словам, в том, что когда вампирский бот говорит о крови, это подвергается цензуре. "Нужно понимать контекст, поэтому мы отменяем фильтры, гораздо точнее определяя контекст", - говорит Ананд.

Этот уровень модерации контента - одно из многих изменений, над которыми Ананд работал с момента прихода в компанию в июне. Компания также изменила дизайн приложения, сделав его более современным, ориентированным на представителей поколения Z, и добавила новые инструменты для создателей платформы, которые генерируют более 9 миллионов символов в месяц. По его словам, эти обновления знаменуют собой переход от восприятия Character.AI как просто компании по созданию чатботов к чему-то более амбициозному: движку развлечений, где пользователи могут потреблять и создавать истории, ремикшировать контент и экспериментировать с новыми форматами, например аудиокнигами.

"У каждой истории может быть миллиард концовок, - говорит Ананд. Пользователь может даже устроить жаркую битву между Элоном Маском и Джеффом Безосом, добавляет он. "Вы можете задать это и получить на выходе что-то очень забавное".

Не уверен, что юристы, нанятые этими руководителями технологических компаний, были бы так же развлечены. Не говоря уже о людях, которые, возможно, не могут позволить себе армию сотрудников для защиты своей личности. Я сразу же вспомнил историю о семье 18-летней девушки, которая была убита в 2006 году, но обнаружила, что образ их дочери был воссоздан на сайте Character.AI. В той же истории редактор одного из игровых изданий обнаружила, что она была воссоздана на платформе после кампании домогательств, связанной с ее освещением.

Когда я заговорил об этом с Анандом, он объяснил, что когда пользователи создают персонажей по образцу таких общественных деятелей, как Маск или Безос, система призвана четко сигнализировать, что это пародии, а не попытки глубокой подделки или пародирования. (На странице чатбота Элона Маска таких предупреждений нет. Также как и на страницах чатботов Dr. Phil и Joe Rogan). Правда, под каждым чатом есть отказ от ответственности: "Это искусственный интеллект, а не реальный человек. Относитесь ко всему, что он говорит, как к вымыслу."

Ананд говорит, что Character.AI также ввел строгие ограничения на инструмент компании для создания видео, AvatarFX, чтобы предотвратить злоупотребления. Пользователи не смогут создавать реалистичные фейки, даже если попытаются, а на конкретные голоса или темы наложены строгие ограничения.

"Мы очень, очень четко понимаем, что остаемся на территории развлечений. Мы вообще не занимаемся созданием видео общего назначения. Мы 'не Google Veo 3. Мы не Runway", - говорит Ананд. "Это очень, очень важная грань."

Ананд сравнивает это с такими платформами, как Meta, где, по его словам, контент часто сначала загружается, а потом модерируется. В Character.AI, по его словам, защита контента заложена в сам процесс создания. "Наш процент реактивных удалений очень, очень мал", - говорит мне Ананд.

Я беспокоюсь, что по мере того, как эти инструменты становятся все более убедительными, одиночество будет углубляться, а не исчезать. Ананд понимает. Но ему тоже есть что продать.

"Я сам очень увлечен этой темой, и именно на нас лежит ответственность за формирование диалога вокруг нее наилучшим, здоровым образом, потому что поколение Z - носители ИИ", - говорит Ананд. "Вопрос в том, как нам создать такую систему, чтобы она была безопасной и надежной и привлекала к себе внимание правильными способами и с правильными стимулами? Это на нашей совести."

На прошлой неделе я сообщил, что Элон Маск провел общее собрание для сотрудников X и xAI. В январе Grok on X принес чуть менее 150 миллионов долларов, а другие услуги, такие как использование корпоративных API, добавили еще 28 миллионов долларов. Согласно графику, с начала 2025 года выручка выросла в десять раз и в июле достигла чуть менее 500 миллионов долларов - за счет Grok on X и подписки SuperGrok за 30 долларов в месяц. Меньшую часть доходов приносит недавно выпущенная подписка SuperGrok Heavy, которая стоит 300 долларов в месяц. xAI не ответила на просьбу о комментарии.

Это выпуск рассылки Кайли Робисон "Модельное поведение". Предыдущие выпуски можно прочитать здесь.