По ЭЛЕОНОРА АЛЬБАНО*
Беспорядочная популяризация чат-ботов может подорвать образовательные традиции, основанные на критическом мышлении.
Нападки капитализма на критическое мышление напрямую влияют на будущее университета. Они происходят, по крайней мере, с тех пор, как произошла финансиализация системы преподавания-исследований-расширения знаний, которую недавно узурпировали крупные технологические компании, заявив о себе как о «покровителях».
В данной статье рассматривается форма покровительства, которая делает так называемых разговорных роботов или «чатботов» доступными в Интернете.
Technoscience приписывает этим роботам интеллект, утверждая, что они способны готовить курсы любого уровня и ускорять исследования, автоматизировать библиографические обзоры и сокращать время сбора и обработки данных.
Здесь показано, что актуальность этих утверждений полностью зависит от критической подготовки пользователей чат-ботов.
Важно, чтобы вы знали, что эти люди просто редактируют высокочастотные «рассуждения» в Интернете. Необходимо также понимать, что это делается посредством упрощенной симуляции машины Тьюринга, которая предсказывает следующий символ в непрерывной и исчерпывающе взаимосвязанной последовательности, что на самом деле ничего не создает.
Таким образом, его некритическая и бессистемная популяризация может подорвать образовательные традиции, эффективность которых основана на многовековой практике критического мышления.
В этой статье рассматриваются инструменты, предлагаемые крупными технологическими компаниями студентам и преподавателям, с упором на приписывание интеллекта наиболее популярным из них, а именно, большим языковым моделям (далее GML, как в английском LLM – большие языковые модели, наиболее известным примером которого является ChatGPT). С этой целью он резюмирует и расширяет аргументы против подобных обвинений. опубликовано на сайте земля круглая в декабре 2023 года.
Всего предусмотрено шесть шагов.
Во-первых, я рассмотрю, в свете анализа социальных наук, непрерывные трансформации капитализма со времени финансиализации. Некоторые современные авторы, такие как, например, Цукалис,[Я] утверждают, что термин «неолиберализм» теряет свое значение, учитывая увеличение числа современных способов получения прибыли.
Однако мое внимание будет сосредоточено на поведенческих аспектах, то есть я попытаюсь понять дискомфорт, страдания и неуверенность, вызванные этими непрерывными изменениями в производственной системе.
Затем я перехожу к рассмотрению пагубных последствий этой ситуации для осуществления критики, указывая на определенные угрозы, которые уже нависли над ней.
Я продолжаю показывать, как неограниченное присвоение интернет-контента крупными технологическими компаниями проложило им путь к утверждению себя в качестве покровителей образования, обещая снабдить учителей, студентов и исследователей разнообразными инструментами.
Далее я проанализирую наиболее важные из них, а именно, языковые технологии персональных помощников (таких как Alexa от Amazon или Copilot от Microsoft). Во-первых, я показываю, что имитация вежливого и сдержанного тона обычного секретаря порождает всевозможные фантазии о когнитивных и даже социально-аффективных способностях пишущих/читающих машин (или говорящих/слушающих).[II]). Теперь я покажу, как подобные фантазии влияют на повседневную жизнь людей и учреждений и дестабилизируют ее.
Первая фантазия — это фантазия о разумности машины, то есть вера в ее способность испытывать ощущения и чувства, а также осознавать их.
Другая фантазия воскрешает древний миф о каменных оракулах, которые в античности считались одушевленными, чувствующими и разумными. В ее нынешней версии утверждается, что имитация человеческого мышления машиной достигает идеальной гомологии. Я продемонстрирую ложность этого предположения, шаг за шагом объяснив бихевиористскую архитектуру GML, лежащую в основе чат-ботов, основанную на оперантном обусловливании.
Ниже представлена демонстрация того, что «новые» значения, создаваемые языковыми роботами, на самом деле не являются новыми, поскольку они основаны исключительно на аналогиях, которые можно найти с помощью сложных статистических функций в гигантском корпусе, составленном Интернетом.
Критика, поскольку она требует постоянного сомнения, не вписывается в эти рамки. Тот факт, что скорость и эффективность поисковых систем позволяют машине давать приемлемые, очень хорошие или даже превосходные ответы, тем не менее, не позволяет ей задавать хорошие вопросы. Поэтому все вопросы остаются исключительной ответственностью пользователя.
Наконец, я указываю на некоторые подводные камни этих инструментов, которые могут дезориентировать пользователей, желающих использовать их для ускорения и механизации академических задач, таких как подготовка занятий, просмотр текстов и организация исследовательских данных.
Таким образом, я прихожу к выводу, что это очень полезные ресурсы, но только для тех, кто знает, как подвергнуть их строгой критической проверке.
Головокружительные трансформации капитализма
Со времени финансиализации капитализм создает новые способы получения прибыли, которые выходят далеко за рамки эксплуатации рабочих. С появлением и популяризацией Интернета потребители стали работать на владельцев платформ бесплатно, поскольку при их использовании они автоматически создают профиль своих социальных связей и привычек потребления, который продается, без их согласия, заинтересованным рекламодателям. Как отметила Шошана Зубофф,[III] Этот постоянный мониторинг нарушает конфиденциальность пользователей и, по сути, служит эффективной схеме слежки.
В настоящее время торговля данными не ограничивается кликами интернет-пользователей. Некоторые компании, не имея ресурсов для создания и поддержки пространств в Интернете, хранят свои базы данных в облаках, контролируемых крупными технологическими компаниями. Это радикальное изменение, которое разрушило рынки, переведя их на так называемые «облачные вычисления», Янис Варуфакис метко называет «технофеодализмом».[IV]
Технофеодализм эксплуатирует потребителей и капиталистов, эксплуатируя армию нестабильных и нанятых на аутсорсинг работников, которые классифицируют и маркируют данные в иерархической структуре, которая возможна только благодаря гигантским машинам.
Это высококвалифицированная и специализированная рабочая сила. Некоторые из них являются специалистами в области точной науки и сотрудничают в создании алгоритмической структуры сети. Другие — ученые-естественники и гуманитарии, которые тщательно изучают размещенный контент и создают сложную и иерархическую сетку классификации, которой могут руководствоваться не только поисковые системы, но и крупные языковые модели, приложения которых, постоянно расширяясь, все больше соблазняют и контролируют пользователей.
Феминистский мыслитель Нэнси Фрейзер[В] ввел термин «каннибальский капитализм» для обозначения этой формы предоставления услуг, которая охватывает все большее число людей и учреждений. Конгруэнтно, журналист и политический аналитик Рауль Зибечи[VI] предложил термин «мафиозный капитализм» для случая, когда эта прожорливая глотка связана с коррупцией, наркоторговлей и организованной преступностью в целом.
Давайте теперь задумаемся о последствиях злоупотребления этой анонимной силой для нашего разума и тела. Тела, уставшие от постоянного использования экранов, клавиатур и мышей, переключают свое внимание на виртуальные связи, полностью лишенные голосовых, жестовых и тактильных стимулов, которые придают сплоченность и согласованность физическому сосуществованию. Движимые этой рутиной, они в конечном итоге привыкают к неизбежной утрате социально-аффективного контакта.
Среди тех, кто зарабатывает на жизнь этими видами деятельности, по-прежнему сохраняется разочарование нестабильностью рынка труда и обеспокоенность по поводу количества часов, необходимых для получения базового дохода. Результатом является увеличение случаев хронического стресса, для которого психиатрия, не осознавая сложности явления, предлагает термин «выгорание», леча его медикаментозно.
В этом сценарии так называемое «общество знаний» было бы правильнее назвать наоборот, то есть «обществом невежества». Вместо того чтобы способствовать просвещению, обещанному его просветительскими заявлениями, он часто наводняет общественность специализированными знаниями, которые он производит, распространяет и рассеивает в соответствии с модой. Возникающий в результате этого взрывной рост словарного запаса приводит к еще большей путанице.
Другие угрозы психическому здоровью населения кроются в непрекращающейся вводящей в заблуждение пропаганде о преимуществах богатства, роскоши и показной роскоши. В последнее время люди с очень низкими доходами рискуют тем немногим, что у них есть, в помешательстве на онлайн-ставках. Погружение в разрушительную и повторяющуюся механику социальных сетей лишает их самых элементарных рассуждений и простейшего сочувствия к другим. Постепенно жестокость с неудержимой силой овладевает умами и сердцами.
Спад критики
Приведенная выше картина, безусловно, является не причиной, а следствием постепенного притупления критики. Причина более отдаленная: она кроется в десятилетиях открытых или скрытых атак со стороны последовательных версий капитализма на институты, охраняющие критическую мысль.
За пять десятилетий финансиализация, продиктованная неолиберализмом, ослабила государственное образование во всем мире.[VII] Школам на всех уровнях приходилось искать партнерства и/или спонсорскую поддержку, чтобы избежать взимания платы за обучение или, по крайней мере, сохранить жизнеспособность своих ценностей. Те, кому удалось сохранить бесплатные учебные программы, увеличили число платных курсов повышения квалификации и специализации, а также расширили спектр равноценно оплачиваемых внеклассных мероприятий.
Правительства принимают участие в выплате учителям очень низкой заработной платы, вынуждая их браться за несколько работ, чтобы выжить. Это ставит под угрозу не только вашу физическую форму, но и вашу приверженность постоянным тренировкам.
С другой стороны, частные школы продают семьям прекрасные обещания, будь то профессионализация и выход на рынок труда или энциклопедическая и/или междисциплинарная подготовка, которая готовит к жизни в постоянно меняющемся мире. Цель обучения, как правило, состоит не в том, чтобы размышлять о реальности, а в том, чтобы действовать в соответствии с ней.
Последний оплот критического мышления, государственный университет решает проблему недостаточного финансирования, открывая путь приватизации. Аспирантура и специализация все больше сливаются воедино, а фундаментальные исследования уступают место индивидуальным прикладным исследованиям.
Натурализовать эту ситуацию — значит отрицать, что свобода мысли должна быть независима от какой-либо частной поддержки. В условиях демократии необходимо сохранять автономию исследователей. Таким образом, работа по проблемам, поднимаемым траекторией каждой области знания, должна финансироваться из государственных источников.
Приватизация на периферии сделала школы — даже государственные — уязвимыми для критериев эффективности делового мира. Это часто приводит к тому, что они нанимают компании по управлению активами для контроля своих физических и символических активов с целью «оптимизации» их использования, производительности и стоимости. В число управляемых активов входят данные всех задействованных субъектов. И вот так образование неосторожно погружается в одну из самых агрессивных практик современного капитализма. Предполагается, что любой физический или информационный товар можно продать и, следовательно, использовать для получения прибыли.
Древний миф о разумном роботе
Задолго до появления автоматов, развлекавших европейскую знать и аристократию в эпоху Просвещения, уже существовали легенды об разумных машинах, способных подчиняться своим хозяевам. В ОдиссеяГомер рассказывает, что бог металлургии и ремесел Гефест и его золотые слуги использовали мехи для выполнения повторяющихся механических задач. Он также упоминает, что у финикийцев были корабли, которые подчинялись приказам своих капитанов и двигались со скоростью мысли, чтобы избежать опасностей мореплавания.
Искусственные люди, животные и мифические существа оставались популярными на протяжении всей античности, Средних веков и Нового времени. Подобные существа, сделанные из стекла, глины или металла, обычно рассматривались как рабы или слуги, призванные удовлетворять самые разные потребности, включая сексуальные.
Это было не просто воображение: эллины обладали передовыми механическими технологиями, которые позволяли создавать автоматы, приводимые в движение пружинами, веревками и/или рычагами. Это искусство частично сохранилось в средневековой Европе и распространилось по всему миру, сначала достигнув ислама, а затем распространившись на восток.
В восточных культурах также существовали автоматоны-хранители, охранявшие дворцы и реликварии, например, реликварий Будды.
Подобные механизмы были мощными инструментами социального контроля. Они стремились вызвать одновременно восхищение и страх. В то же время куклы-куртизанки, оказывая физическую поддержку мастурбационным фантазиям, подпитывали веру в предполагаемую «душу» машин.
Подобные фантазии также были популяризированы литературой. Например, в путешествия ГулливераДжонатан Свифт описывает Двигатель, машину, которая представляла собой «проект улучшения умозрительных знаний посредством практических и механических операций». Арендуя его по скромной цене, «любой невежественный человек, имеющий минимум образования и не имеющий наставника», мог мобилизовать свои силы только на «написание книг по философии, поэзии, политике, праву, математике и теологии».
Эффект Элизы упрощен
Открытие того, что люди легко переносят привязанность на машины, было сделано Джозефом Вайценбаумом.[VIII], немецкий еврей, семья которого эмигрировала в Америку в начале подъема нацизма. Травма преследования и трудности адаптации к новой среде не помешали его исключительному таланту в области математики и вычислений. Несмотря на отсутствие поддержки со стороны семьи, он сделал блестящую академическую карьеру, что позволило ему занять должность профессора в Массачусетском технологическом институте.
Его называют одним из отцов искусственного интеллекта, хотя он отверг это прозвище, поскольку считал, что машины способны только вычислять, а не рассуждать.
Помогая ему преодолеть прошлые травмы, психоанализ оказал решающее влияние на его карьеру. В то же время его приверженность социализму побудила его исследовать возможность демократизации психотерапии с помощью цифровых средств. С этой целью он изучил доступные течения и поставил смелый эксперимент с самым простым для компьютерного моделирования, а именно: роджерианским течением, названным в честь его изобретателя, американского психолога Карла Роджерса.
Это недирективная психотерапия, которую Карл Роджерс определил как «личностно-центрированную». По сути, он заключается во вставке высказывания пациента в такие фразы, как «Вы мне говорили, что…», за которыми следуют другие расплывчатые, но обнадеживающие клише, например: «И как нам с этим справиться?» По сути, это ставка на терапевтическую силу освобождения.
Несмотря на то, что Джозеф Вайценбаум задумал «Элизу» как инструмент для исследования возможности создания разговорного робота, она вскоре добилась неожиданного общественного успеха, что в конечном итоге повлияло на дизайн исследования. Причина в том, что участники утверждали, что их разговоры с машиной были конфиденциальными, и отказывались делиться их содержанием с исследователем.
Очевидно, Джозеф Вайценбаум был убежден, что Элиза не может быть живой и умной. Затем он понял, что привязанность участников к цифровому терапевту была формой переноса в психоаналитическом смысле.
Оказывается, в 1960–70-х годах в США уже было сильно лоббирование тех, кто интересовался компьютеризацией и автоматизацией общества, и это стимулировало эмоциональную вовлеченность пользователей в машины. Джозеф Вайценбаум выступил против этой кампании, написав книги и статьи, в которых он исследовал разницу между человеческим мышлением и символическими вычислениями.
Однако вскоре он пожинал горькие плоды яростного неприятия со стороны своих коллег из Массачусетского технологического института, особенно Джона Маккарти, которого сегодня помнят как отца искусственного интеллекта. Фактически, этот термин был придуман им как маркетинговый ход, чтобы привлечь финансирование от Министерства обороны США для симпозиума, который он организовал в Колледж Дартмут в 1956 году. Очевидно, военные были очарованы негласным обещанием цифрового наблюдения.
Дискомфорт был настолько велик, что Йозеф Вайценбаум предпочел вернуться в Германию и продолжить работу со своими собеседниками там — все молодые, критически настроенные и энтузиасты.
Однако в то время американская экономическая мощь все больше обращалась к Интернету как к месту для контроля и манипулирования поведением. Таким образом, он использовал все доступные возможности для популяризации идеи о том, что компьютеры способны мыслить. Решающее значение для успеха этой пропаганды имели поражения, которые один за другим наносили роботы-игроки известным чемпионам мира по шахматам.
Таким образом, появление GML стало последней каплей для эффекта Элизы, который заполонил Интернет и побудил пользователей привязаться к своим персональным компьютерам. Его разговорные характеристики настолько хороши, что неспециалист может отождествить его выходной сигнал с естественным языком. Большинству людей трудно поверить, что это всего лишь логико-символический расчет, не имеющий ничего общего со структурой и функцией человеческих языков.
Давайте посмотрим ниже, как работает этот обман.
Поведенческая механика больших языковых моделей
Огромная способность к конкатенации слов, демонстрируемая крупными языковыми моделями, имеет три компонента: (i) присвоение всего контента интернета крупными технологическими компаниями; (ii) появление типа рекуррентной нейронной сети, способной вычислять множественные ассоциации между словами в режиме реального времени – так называемой трансформеры, то есть трансформаторы; и (iii) непрекращающиеся организационные усилия легионов нестабильных, но высококвалифицированных работников из различных областей знаний.
Обратите внимание, что естественные человеческие языки содержат важные синтаксические разрывы, например, в придаточных предложениях. Предложение типа «Лягушка, съевшая насекомое, умерла» говорит о смерти лягушки, а не насекомого. То же самое происходит и в морфологии, в таких глаголах, как «enraizar», которые образуются путем добавления префикса и суффикса к корню.
Однако работа Больших языковых моделей является чисто линейной, т. е. она всегда заключается в предсказании следующего слова. Как же тогда устраняются эти разрывы? Ответ прост: посредством сложного расчета вероятностей. Трансформатор в режиме реального времени получает вероятности совместного появления пар слов из всей базы данных Интернета, выбирает лучший вариант и движется дальше.
Поэтому стоит задаться вопросом, как такие простые операции могут составлять последовательности, имеющие смысл для читателя.
Просто эта простота только кажущаяся. Вероятности совместной встречаемости рассчитываются не только для словарного запаса. Корпус аннотирован на нескольких уровнях анализа, которые включают синтаксическую, семантическую и даже прагматическую информацию. Функция оптимизации выбирает набор пар с наибольшей вероятностью последовательной интеграции всех этих аспектов.
Лингвистические аннотаторы отмечают структурные свойства текста: правила конъюнкции и дизъюнкции, то есть синтаксис; основные и ассоциативные значения – то есть семантика –; и ссылка на сам текст и/или контекст, как в случае личных местоимений и наречий места и времени – иными словами, прагматика.
Аннотаторы в других гуманитарных и социальных науках добавляют несколько слоев контента и стилистических тегов. Аналогичным образом аннотаторы в области естественных и точных наук добавляют тегированный контент из своих областей. В конце концов, компьютерные специалисты, знакомые с трансформаторами, вводят в упреждение сети результирующая иерархия уровней анализа.
Важно отметить, что функционирование трансформаторов сопоставимо с наиболее радикальной формой бихевиоризма — оперантным обусловливанием.[IX]. Комбинации с наибольшей вероятностью успеха закрепляются, становясь более вероятными с каждым разом, когда они выбираются, что усиливает другие задействованные связи и влияет на выбор следующей пары. Эта процедура генерирует новые примеры пар одного и того же класса, способствуя увеличению их частоты в сети.
Нет сомнений, что это превосходный метод компьютерного моделирования естественного языка. Однако путать выходные данные трансформатора с естественными утверждениями — значит приписывать человеческому разуму функционирование посредством последовательности постоянно количественно определяемых и пересчитываемых ассоциаций.
Кстати, в 1930–40-х годах Беррес Ф. Скиннер, отец оперантного обусловливания, ответил на обвинения в фашизме со стороны своих коллег, заявив, что его метод контроля поведения имел единственную цель — формирование лучших граждан. Обсуждение дошло до New York Times, где, кстати, доступна онлайн-версия репортажа журналиста Роберта Рейнхольда за 1972 год.[X] о симпозиуме, состоявшемся в Йельском университете, на котором идеи Скиннера были осуждены большинством академического психологического сообщества.
Скиннер потерпел неудачу в своих образовательных проектах, но был спасен крупными технологическими корпорациями, которые помогли приблизить людей к машинам. К сожалению, сегодня неизбирательное использование алгоритма, реализующего оперантное обусловливание, уже влияет на поведение пользователей. Люди все чаще подражают чат-ботам, злоупотребляя клише. Аналогичным образом они некритически принимают клише, которые получают в ответ на задаваемые им вопросы.
Короче говоря, преобразователи не производят новых знаний, поскольку они способны лишь подражать, стилизуя, поверхностной форме простых рассуждений. Поэтому они функционируют как поисковые системы только тогда, когда целью является сбор информации из надежных интернет-источников по заданной теме. Как вы знаете, некоторые редкие сайты модерируются и/или курируются экспертами.
С другой стороны, крупные технологические компании в настоящее время заинтересованы только в найме конспектировщиков, а не модераторов. Все, что выходит из трансформатора, возвращается во входной корпус. Недавно компании X и Meta уволили тех немногих людей, которые фильтровали и отбрасывали неточные или ложные ответы чат-ботов. Microsoft по-прежнему поддерживает некоторые фильтры, но не раскрывает подробности их работы. Таким образом, по мере того, как модерация становится все более слабой и непрозрачной, фактические ошибки накапливаются, и Интернет наполняется неточностями, ложью и противоречиями.
Более того, вопросы и комментарии пользователей, какими бы наивными, сектантскими или оскорбительными они ни казались, автоматически включаются в базу данных, что делает ее неисчерпаемым источником потенциально опасных предубеждений. Истина уступает место ложной или сосуществует с ней, учитывая отсутствие признаков, позволяющих их различить.
Таким образом, сердечный и назидательный тон чат-ботов соблазняет и запутывает пользователя, постепенно подрывая его способность распознавать факторы, вовлеченные в сам вопрос, и оценивать или сомневаться в ответе. Легко привыкнуть к механизму, который дает немедленные и, казалось бы, простые ответы, поскольку их легко повторить.
Однако эта легкость имеет и безрассудную сторону. Йозеф Вайзембаум наверняка впал бы в депрессию, если бы он был среди нас в 2023 году, когда бельгийский семьянин протестовал против экологической катастрофы, совершив самоубийство при поддержке версии Элизы, реализованной Eleuther AI на основе Chat GPT. По словам его жены, он использовал чат-бот для лечения депрессии.
Опасный баланс – передача ответственности пользователям
Вернемся теперь к вопросу о качестве жизни перегруженных работой учителей, которых, по сути, большинство, в том числе и в высшей школе.
В университете чат-боты вторгаются в администрацию, что приводит к сокращению очного обслуживания населения. Также проводятся эксперименты по настройке роботов для академического использования. Даже в этом случае, когда контент подвергается фильтрации, модерация неудовлетворительна из-за архитектуры упреждение трансформаторов.
Таким образом, услуги по поиску, компиляции и организации текстов, предоставляемые крупными технологическими компаниями работникам начального и высшего образования, не приносят ничего, кроме усиления их замешательства и дискомфорта.
Раздаточные материалы, составленные с использованием этих ресурсов, имеют тенденцию загрязнять преподавание очевидностью и дезинформацией, поскольку они не поощряют размышления, а лишь некритическое воспроизведение. Плагиат, и без того широко распространенный в Интернете, теперь принимает новую форму: слепую, неразборчивую стилизацию, без каких-либо критериев отбора.
В эпоху, когда печатные книги находятся на грани исчезновения, чат-боты грозят положить конец образовательной традиции, корни которой уходят в глубокую древность.
Какое будущее ждет древние основы критического мышления? Мы узнаем это только путем тщательного выявления и анализа последствий (особенно менее прозрачных) языковых технологий для всех слоев общества, которые влияют на формальное и неформальное образование. Тем, кто изучает этот темный горизонт, предстоит прояснить еще множество вопросов.
* Элеонора Альбано, профессор на пенсии Института языковых исследований при Юникампе, психолог, лингвист, эссеист; координировал первый бразильский проект по речевым технологиям.
Примечания
[II] Как я показал в первой цитируемой статье, можно дать персонализированные голоса помощникам.
[III] Шошана Зубофф. Большой другой: капитализм наблюдения и перспективы информационной цивилизации. Журнал информационных технологий, 30, 75–89, 2015.
[IV] Янис Варуфакис. Технофеодализм: что делало капитализм таким особенным? Лондон: Vintage Books, 2023.
[В] Нэнси Фрейзер.Каннибальский капитализм. Сан-Паулу: литературная автономия, 2024.
[VII] Я проанализировал эту ситуацию в опубликованная статья на сайте земля круглая.
[VIII] Йозеф Вейзембаум. Мощь компьютера и человеческий разум: от суждения к расчету. Нью-Йорк: WF Freeman & Co, 1976.
[IX] Скиннер, BF (1938). Поведение организмов: экспериментальный анализ. Нью-Йорк: Appleton-Century-Crofts.
земля круглая есть спасибо нашим читателям и сторонникам.
Помогите нам сохранить эту идею.
СПОСОБСТВОВАТЬ
