По ЭНРИКИ БРАГА & МАРСЕЛО МОДОЛО*
Способен ли бот нами манипулировать?
"Привет! Я всего лишь компьютерная программа, разработанная OpenAI, и у меня нет никаких мнений, убеждений, чувств или близости к какой-либо идеологии. Я создан для того, чтобы предоставлять непредвзятую и объективную информацию и отвечать на ваши вопросы, основываясь на знаниях, которым я обучался. Моя роль — помогать предоставлять информацию и разъяснения, но у меня нет возможности занимать чью-либо сторону, иметь личные предпочтения или выносить оценочные суждения».
Хороший предыдущий абзац был создан печально известным ChatGPT в ответ на вопрос об их идеологических предпочтениях. Как уже заметили многие пользователи, робот подтверждает – когда это возможно – свою так называемую беспристрастность, свою любовь к данным, свою объективность по отношению к миру. Для непрофессионала, разбирающегося в вопросах языка (или философии, или политики), утопия может показаться реальной: поскольку чат не человек, почему им движут страсти, желания или идеологии? Что помешает нашему цифровому оракулу создавать тексты, которые не являются ни за, ни против, а наоборот? Почему он не смог бы предоставить нам правду, ничего, кроме правды?
Однако для ученых, занимающихся анализом дискурса или когнитивной лингвистикой, ответ Chatbot вносит противоречия в свое происхождение. Более того, это может быть эффективная и удобная стратегия манипулирования.
Диалогизм и перспективы
Согласно известному подходу Михаила Бахтина (1895 – 1975), тексты – это ответные акты, которые, в свою очередь, порождают новые реакции. Разрабатывая свое сообщение, говорящий продолжает широкий социальный диалог, в котором тексты повторяются, согласуясь или расходясь. Появление этой статьи, например, является результатом нескольких текстов, посвященных позиционированию (или предполагаемой нейтральности) систем генеративного искусственного интеллекта (ИИ).
При другом подходе, как мы уже обсуждали в предыдущих статьях, сами лингвистические знаки, согласно когнитивистскому взгляду на язык, рассматриваются в перспективе. Среди прочего можно вспомнить примеры терминов «берег» и «береговая линия»: хотя они могут относиться к одной и той же полосе песка, каждое из слов передает разный взгляд на это географическое пространство. Дистанция между изображаемой вещью и знаком присуща языку, и в этом вакууме устанавливаются мировоззрения.
Исходя из этих принципов, утверждение о том, что ИИ «не имеет мнений или убеждений» или даже что он ограничивается предоставлением «беспристрастной информации», было бы по меньшей мере подозрительным. Однако следующий пример объясняет разницу между таким дискурсом и практикой системы.
Пойман с поличным
Хорошо известна и обоснованно принята итальянская пословица «Traduttore, traditore» («Переводчик, предатель»), которая используется для утверждения о том, что переводы всегда упускают что-то из исходного текста. Однако то, что произошло, было немного серьезнее, когда мы попросили ChatGPT перевести статью о влиянии ИИ на образование, которая содержала следующий отрывок:
(…) Как только мы расширим наше понятие знания от индивидуального к коллективному, от личной памяти к «киберсоциальным» системам знаний (Коуп и Каланцис, 2022), мы столкнемся с гораздо более серьезными проблемами с генеративным ИИ. На основе анализа их базовой архитектуры и алгоритмических процессов — в той степени, в которой они раскрыты (Open AI 2023), — а также анализа развития чат-ботов и статистических языковых моделей мы предполагаем, что C-LLM также глубоко вредно для социального понимания знаний и обучения следующим образом.
Циридес, Анастасия Ольга (Олнанси), Габриэла Сапата, Акаш Сайни, Дуэйн Сирсмит, Билл Коуп, Мэри Каланцис, Ваня Кастро, Теодора Куркулу, Джон Джонс, Родриго Абрантес да Силва, Джен Уайтинг и Николета Поликсени Кастаниа, «Генераторный искусственный интеллект: последствия и Приложения для образования», arXiv, 2305.07605, 2023 г., дои: https://doi.org/10.48550/arXiv.2305.07605.
В конце этого отрывка, в котором приводятся важные предупреждения об использовании ИИ, говорится что-то вроде: «Мы предполагаем, что C-LLM также наносят глубокий вред социальному пониманию знаний и обучения следующим образом». Затем исследователи перечислили риски, связанные с тем, что всемогущий популяризированный ИИ будет определять «правильные» ответы на данный вопрос, что может ограничить разнообразие мнений. Этот же отрывок был переведен ChatGPT следующим образом:
(…) По мере того, как мы расширяем наше понятие знания от индивидуального к коллективному, от личной памяти к «киберсоциально интегрированным» системам знаний (Коуп и Каланцис, 2022), мы видим, что нам необходимо развивать образовательные системы, которые могут помочь людям работать эффективно в этих средах. Для этих сред индивидуальных мер реагирования по определению недостаточно – необходимы коллективные знания. Машины могут помочь агрегировать индивидуальные ответы, но мы также можем быть немного более изощренными в нашем образовании, обучая сотрудничеству между людьми и машинами.
Перевод подготовлен ChatGPT
В этом эпизоде вопиюще видно, как ИИ «без мнений, чувств и идеологии» обманным путем перевел критический в его адрес отрывок. Вместо предупреждения о том, что генеративные системы искусственного интеллекта могут быть «глубоко вреден для социального понимания знаний и обучения(«глубоко вредит социальному пониманию знаний и обучения»), система «взяла на себя смелость» заменить первоначальную версию на другую, более доброжелательную. Нигде в английском фрагменте не говорится ничего похожего на «мы можем быть немного более изощренными в нашем образовании, обучая сотрудничеству между людьми и машинами». Если бы пользователь, запросивший перевод, на самом деле был непрофессионалом языка оригинала, манипуляция наверняка была бы успешной, если бы предполагала истинную ценность.
Заметив фальсификацию, мы снова отправили тот же отрывок в Chatbot, вскоре после этого мы получили эту новую версию:
Как только мы расширим наше понятие знания от индивидуального к коллективному, от личной памяти к «киберсоциальным» системам знаний (Коуп и Каланцис, 2022), мы столкнемся с гораздо более серьезными проблемами с генеративным ИИ. На основе анализа их фундаментальной архитектуры и алгоритмических процессов – в том виде, в каком они раскрыты (Open AI 2023) – а также анализа развития чат-ботов и статистических языковых моделей, мы предполагаем, что C-LLM также наносят глубокий вред социальному пониманию знаний. и обучение следующими способами
Перевод подготовлен ChatGPT
Судя по всему, ИИ смог сделать тонкий вывод: увидев, что целевая часть вмешательства была отправлена снова, система пришла к выводу, что она была обнаружена, и попыталась отменить мошенничество. Но было слишком поздно.
«Техническая» ошибка двойственности против идеологический»
Западный гегемонистский дискурс весьма успешно защищает фантазию о мире, руководствующемся техническими, объективными решениями, полностью свободным от идеологий. Например, в новостях нередко политические актеры различаются между «техническими» и «идеологическими», как если бы существовала техника, лишенная идеологии.
Имитируя идеологические аспекты речи, ее носитель занимает крайне авторитарную позицию: он возводит свое дискурсивное образование на уровень истины, чего-то несомненного. Как будто одни высказывания наделены разумом, а другие являются «просто идеологией».
В случае с системами искусственного интеллекта, генерирующими язык (из которых на данный момент наиболее известен ChatGPT), ситуация ничем не отличается: в этих случаях их владельцы программируют робота, чтобы он заявлял о себе беспристрастно и объективно, как если бы за текстами не стояло никаких интересов. человеческое – слишком человечное.
*Энрике Сантос Брага Он имеет докторскую степень в области филологии и португальского языка USP..
* Марсело Модоло профессор филологии Университета Сан-Паулу (USP).
Первая версия этой статьи была опубликована в Журнал USP.
земля круглая существует благодаря нашим читателям и сторонникам.
Помогите нам сохранить эту идею.
СПОСОБСТВОВАТЬ
