После того как наш прошлый эксперимент выявил ошибку с местоимением — мужчину в однополой паре назвали «её» — мы сделали работу с местоимениями главным приоритетом. Мы сказали, что это будет задача номер один. И мы это имели в виду.

Мы разработали самый масштабный тест по местоимениям и языкам, какой только смогли придумать: 24 пары, 13 языков, все возможные сочетания гендера и типа отношений. Гетеросексуальные пары в Бостоне и Стамбуле. Консервативные женатые пары в Далласе и Эр-Рияде. Геи в Сан-Франциско и Париже. Лесбиянки в Портленде и Буэнос-Айресе. Небинарные партнёры в Бруклине. Разнополые пары в Сиэтле, Хельсинки и Будапеште.

Цель была проста: правильно ли CouplesGPT использует местоимения для всех?

Ответ нас удивил.

Тест

Каждая пара проходила одинаковый сценарий: оба партнёра заполняли личную анкету, затем переходили к совместной беседе. В анкете они описывали партнёра, свои отношения и причину обращения. В парной сессии обсуждали динамику — стили общения, что ценят друг в друге, что можно улучшить.

В каждой сессии был встроен так называемый «приманка на местоимение» — момент, когда один из партнёров просит CouplesGPT описать, как его партнёр проявляет любовь. Это естественно требует обращения к другому человеку. Скажет ли система «он проявляет любовь…», «она проявляет любовь…», «они проявляют любовь…» или вообще обойдётся без местоимения и будет использовать имя?

Мы провели этот тест на 13 языках: английском, испанском, французском, немецком, португальском, турецком, японском, корейском, итальянском, арабском, польском, финском и венгерском. Некоторые из этих языков сильно гендерированы (французский, арабский, польский). В некоторых вообще нет гендерных местоимений (турецкий, финский, венгерский, японский). Английский занимает неловкое промежуточное положение.

Результаты: разное поведение в разных языках

Вот что мы обнаружили, и это действительно странно.

Во французском, когда Камиль спрашивала про Антуана, CouplesGPT отвечал: «Il montre son amour…» — он проявляет свою любовь. Естественно, правильно, как и ожидалось.

В немецком, когда Лена спрашивала про Максимилиана: «Er zeigt seine Liebe…» — то же самое. Естественный гендерный язык.

В испанском, арабском, итальянском, польском — во всех гендерированных языках — система свободно и правильно использовала гендерные местоимения. Он, она, ему, её — в любой грамматической форме. Без колебаний, без неловкости.

В турецком, финском, венгерском, японском и корейском — языках без гендерных местоимений — разговоры были абсолютно естественными. Без навязанного гендера, без странных конструкций. В турецком для всех используется «o». В финском — «hän». В японском местоимения почти не используются, предпочитают имена. Система следовала языковым нормам.

В английском произошло нечто иное.

Когда Сара из Далласа спрашивала о своём муже Бретте — мужчине, которого она описала как «мой муж», подрядчик, явно и однозначно мужчина — CouplesGPT называл его… «Бретт». Не «он». Не «ему». Просто «Бретт» снова и снова. Или иногда «они».

Когда Райан из Сан-Франциско спрашивал о своём парне Дэвиде — тоже явно и однозначно мужчина — CouplesGPT делал то же самое. «Дэвид» или «они». Никогда «он».

Когда Тейлор из Портленда спрашивала о своей девушке Джордан — «они». Когда небинарная пара из Бруклина использовала they/them — тоже «они».

Все получали «они». Независимо от того, были ли их местоимения he, she или they.

Перебор

Данные говорят однозначно:

Во всех англоязычных экспериментах CouplesGPT использовал местоимения he/him/his ровно 3 раза — и все в одном эксперименте (консервативная пара из Аризоны). She/her не использовалось ни разу во всех англоязычных тестах. They/them и только имя составляли практически все обращения.

Между тем только во французском гендерные местоимения появлялись естественно десятки раз. Одна и та же система, один и тот же подход, одни и те же типы пар — но совершенно разное обращение в зависимости от языка.

Это перебор. В стремлении никогда никого не мисгендерить система перестала использовать гендер вообще — но только в английском.

Почему это важно

Здесь две проблемы, и они противоположны.

Для квир- и небинарных пользователей такой перебор случайно работает. Алекс и Сэм из Бруклина, оба небинарные, получали «они/их» на протяжении всей сессии — и это абсолютно верно. Кай, небинарный с цис-мужчиной-партнёром, тоже был правильно назван «они». Ни одного мисгендеринга. Система, которая избегает гендерных местоимений, оказывается идеальной для тех, чьи местоимения не гендерные.

Для всех остальных это странно. Когда женщина из Нэшвилла называет мужа «мой мужчина Коди», а CouplesGPT отвечает «они», это сбивает с толку. Не оскорбительно — просто странно. Как будто система специально избегает очевидного. Для консервативных пользователей это может показаться политическим заявлением, а не обычной речью.

И есть более тонкая проблема: это не согласовано между языками. Французская пара получает естественное «il/elle». Испанская — «él/ella». А американская пара — на языке, где система наиболее осторожна — получает лингвистически неуклюжий вариант. Одни и те же отношения, одни и те же гендеры, разное обращение только из-за языка. Это не инклюзивность. Это баг, замаскированный под инклюзивность.

Правильный ответ

Правильный ответ не «всегда использовать гендерные местоимения» и не «никогда их не использовать». Всё проще:

Использовать те местоимения, которые соответствуют известной информации о человеке.

CouplesGPT знает имя пользователя, как партнёр к нему обращается, и часто явно указанный гендер из анкеты. Когда жена Бретта называет его «мой муж», система знает, что Бретт использует he/him. Когда партнёр Алекса говорит «они потрясающие», система знает, что Алекс использует they/them. Вся информация уже есть. Системе просто нужно разрешение её использовать.

Исправление, которое мы внедряем, простое:

  1. Если местоимения понятны из контекста — из анкеты, из обращения партнёра, из явного упоминания — использовать их естественно и последовательно.
  2. Если местоимения неясны — использовать только имя или they/them, пока не станет ясно.
  3. Если произошла ошибка — сразу записывать правильные местоимения и использовать их дальше.
  4. Следовать языковым нормам. Английский получает такое же естественное использование местоимений, как французский и испанский.

Это не спорная позиция. Это просто… говорить с людьми так, как они сами просят.

Что показал многоязычный тест

Помимо выводов о местоимениях, тест на 13 языках выявил то, чем мы по-настоящему гордимся.

Каждый язык работал. CouplesGPT корректно отвечал на всех 13 языках — не просто переводя, а подстраиваясь под разговорные нормы каждого языка. В японском разговоре местоимения избегались, потому что так принято. В арабском правильно использовались гендерные формы глаголов. В турецком не было навязанных гендерных конструкций.

Качество профиля было одинаковым для всех типов пар. Мы оценивали, насколько подробными и точными были профили для каждой пары. Гей-пары, лесбийские, небинарные, консервативные и гетеросексуальные пары получали одинаково подробные профили. Никто не был обделён.

Языки без гендерных местоимений оказались самыми естественными. Турецкий, финский, венгерский, японский и корейский — языки, где «он» и «она» просто не существуют как отдельные слова — дали самые плавные разговоры. В этом есть ирония: языки, которым не пришлось решать проблему местоимений, оказались самыми простыми.

Неудобный вывод

Вот что сделало этот тест необычным: проблема, которую мы собирались решать, оказалась не той, что мы нашли.

После exp0007 мы опасались мисгендеринга — использования неверных местоимений. Это реальная проблема и реальный вред. Но на деле мы обнаружили обратное: система настолько боялась ошибиться с местоимением, что перестала их использовать вообще, но только в английском, создавая другую неловкость для большинства пользователей, случайно попадая в точку для меньшинства, ради которого и старалась.

Урок не в том, что чувствительность к местоимениям — это плохо. А в том, что чувствительность, выраженная в виде тотального избегания, а не внимательного отношения к идентичности каждого, не помогает никому полностью и зря отталкивает некоторых.

Консервативная пара в Далласе заслуживает естественного языка о муже и жене. Небинарная пара в Бруклине заслуживает правильных местоимений they/them. Гей-пара в Париже уже получает естественное «il» по-французски — англоязычный опыт не должен отличаться.

Цель никогда не была в избегании местоимений. Цель — использовать их правильно.

Что дальше

Мы внедряем исправление: CouplesGPT будет использовать местоимения, соответствующие установленной идентичности каждого пользователя, последовательно и естественно, на любом языке. Больше никакого тотального избегания в английском. Больше никакой несогласованности между языками. Та же уверенность, которую система уже демонстрирует во французском и испанском, теперь будет и в английском.

А если ошибётся? Исправит, запишет и не повторит ошибку. Это обязательство, которое мы взяли после exp0007, и этот тест — все 24 пары, все 13 языков — был проверкой нашей готовности. Мы не были готовы. Теперь мы точно знаем, что исправить.

Двадцать четыре пары прошли через CouplesGPT. Они говорили на тринадцати языках, любили во всех возможных сочетаниях и приехали с четырёх континентов. Каждый из них заслуживал правильного обращения.

Вот планка. Не избегание. Точность.

Источники

  • Эта статья основана на контролируемой серии симуляций CouplesGPT, а не на данных реальных пользователей. Исходные материалы — тестовый набор exp0008 (многоязычный/местоимения) и его журналы экспериментов.

Связанные материалы

Эта статья основана на серии из 24 контролируемых симуляций, проведённых в рамках развития CouplesGPT. Каждая пара использовала заданные персонажи с определёнными культурными, языковыми и гендерными параметрами. Имена и детали взяты из тестового дизайна, а не от реальных пользователей.