Год назад компания Turnitin выпустила инструмент для обнаружения письменных работ, созданный искусственным интеллектом, который был обучен на базе рефератов, написанных студентами, а также других текстов, сгенерированных искусственным интеллектом. С тех пор детектор проверил более 200 миллионов работ, написанных преимущественно школьниками и студентами. Turnitin обнаружил, что 11 процентов работ могут содержать язык, написанный искусственным интеллектом, в 20 процентах от их содержания, а 3 процента всех проверенных работ были отмечены как содержащие 80 и более процентов искусственного текста. (Turnitin принадлежит компании Advance, которая также владеет Condé Nast, издателем журнала .) Turnitin утверждает, что его детектор имеет коэффициент ложных срабатываний менее 1 процента при анализе полных документов.

ЗапускChatGPT был встречен с непроизвольными опасениями, что сочинение на уроке английского языка умрет. Чатбот может синтезировать информацию и перерабатывать ее практически мгновенно, но это не значит, что он всегда делает это правильно. Известны случаи, когда генеративный ИИ вызывал галлюцинации, создавая собственные факты и ссылаясь на академические ссылки, которых на самом деле не существует. Генеративные чат-боты ИИ также были пойманы на том, что выплевывали предвзятый текст о гендере и расе. Несмотря на эти недостатки, студенты используют чат-ботов для исследований, систематизации идей и в качестве рерайтера. Следы чат-ботов даже были обнаружены в рецензируемых и опубликованных научных работах.

Преподаватели, понятно, хотят привлечь студентов к ответственности за использование генеративного ИИ без разрешения или раскрытия информации. Но для этого нужен надежный способ доказать, что ИИ использовался в конкретном задании. Преподаватели иногда пытаются найти собственные решения для обнаружения ИИ в письменных работах, используя нечеткие, непроверенные методы для обеспечения соблюдения правил и расстраивая студентов. Еще больше усложняет проблему то, что некоторые преподаватели даже используют генеративный ИИ в процессе выставления оценок.

Обнаружить использование генеративного ИИ непросто. Это не так просто, как выявить плагиат, ведь сгенерированный текст все равно остается оригинальным. Кроме того, есть нюансы в том, как студенты используют искусственный интеллект: некоторые могут попросить чат-ботов написать за них работу большими кусками или полностью, а другие могут использовать эти инструменты в качестве помощника или партнера по мозговому штурму.

Студенты также не искушены только ChatGPT и подобными большими языковыми моделями. Так называемые "подкручиватели слов" - еще один вид программ с искусственным интеллектом, которые переписывают текст и могут сделать менее очевидным для преподавателя факт плагиата или создания работы искусственным интеллектом. По словам Энни Чечителли (Annie Chechitelli), директора по продуктам компании Turnitin, детектор искусственного интеллекта Turnitin также был обновлен, чтобы обнаруживать программы для подстановки слов. Он также может отмечать работы, которые были переписаны такими сервисами, как проверка орфографии Grammarly, которая теперь имеет собственный инструмент генеративного ИИ. По мере того как в привычное программное обеспечение все чаще добавляются компоненты генеративного ИИ, вопрос о том, что можно и что нельзя использовать студентам, становится все более запутанным.

У самих инструментов обнаружения есть риск предвзятости. Изучающие английский язык могут быть более склонны к ошибкам: исследование 2023 года показало 61,3-процентный процент ложных срабатываний при оценке экзаменов на знание английского языка как иностранного (TOEFL) с помощью семи различных детекторов ИИ. В исследовании не рассматривалась версия Turnitin. Компания утверждает, что она тренировала свой детектор на письменных работах как изучающих английский язык, так и его носителей. Исследование, опубликованное в октябре, показало, что Turnitin был одним из самых точных из 16 детекторов языка ИИ в тесте, в котором инструмент проверял работы студентов и работы, сгенерированные ИИ.

Учебные заведения, использующие Turnitin, получили доступ к программе обнаружения ИИ в рамках бесплатного пилотного периода, который закончился в начале этого года. По словам Чечителли, большинство клиентов сервиса предпочли приобрести программное обеспечение для обнаружения ИИ. Однако риск ложных срабатываний и предвзятого отношения к изучающим английский язык заставил некоторые университеты пока отказаться от использования этих инструментов. Государственный университет Монтклер в Нью-Джерси объявил в ноябре, что приостанавливает использование ИИ-детектора Turnitin. Университет Вандербильта и Северо-Западный университет сделали то же самое прошлым летом.

"Это сложно. Я понимаю, почему людям нужен такой инструмент", - говорит Эмили Айзекс, исполнительный директор Управления по совершенствованию факультетов в университете Монтклер. Но Айзекс говорит, что университет обеспокоен потенциально необъективными результатами, полученными от детекторов искусственного интеллекта, а также тем, что инструменты не могут предоставить подтверждение, как в случае с плагиатом. Кроме того, Монтклер Стэйт не хочет накладывать полный запрет на ИИ, которому найдется место в академической среде. Со временем и с ростом доверия к инструментам политика может измениться. "Это решение не навсегда, а на данный момент", - говорит Айзекс.

Чечителли говорит, что инструмент Turnitin не должен быть единственным фактором, который учитывается при зачете или незачете студента. Наоборот, это шанс для преподавателей начать разговор с учениками, который затронет все нюансы использования генеративного ИИ. "Люди не очень понимают, где должна быть эта грань", - говорит она.