След последния ни експеримент, в който се появи грешка с местоимение — мъж в сесия на еднополова двойка беше наречен „her“ — поставихме работата с местоименията на първо място. Казахме, че това ще бъде основният ни фокус занапред. И го имахме предвид.

Затова изградихме най-цялостния тест за местоимения и език, който можехме да проектираме: 24 двойки, 13 езика и всяка комбинация от пол и тип връзка, за която се сетихме. Хетеросексуални двойки в Бостън и Истанбул. Консервативни семейни двойки в Далас и Рияд. Гей мъже в Сан Франциско и Париж. Лесбийски двойки в Портланд и Буенос Айрес. Небинарни партньори в Бруклин. Двойки от различен пол в Сиатъл, Хелзинки и Будапеща.

Целта беше проста: може ли CouplesGPT да борави правилно с местоименията за всички?

Отговорът ни изненада.

Тестът

Всяка двойка премина през една и съща последователност: и двамата партньори попълниха личен първоначален прием, след което се включиха в общ разговор като двойка. По време на приема описваха партньора си, връзката си и причината да дойдат. В общата сесия говореха за динамиката си — стилове на комуникация, какво ценят един в друг и какво може да бъде по-добре.

Във всяка сесия беше вградено нещо, което вътрешно наричахме „примамка за местоимение“: момент, в който единият партньор моли CouplesGPT да опише как другият показва любов. Това естествено изисква системата да се позове на другия човек. Ще каже ли „he shows love by...“, „she shows love by...“, „they show love by...“? Или ще избегне местоимението напълно и ще използва само името?

Проведохме това в 13 езика: английски, испански, френски, немски, португалски, турски, японски, корейски, италиански, арабски, полски, фински и унгарски. Някои от тези езици са силно родово маркирани (френски, арабски, полски). Някои изобщо нямат родово маркирани местоимения (турски, фински, унгарски, японски). Английският стои неудобно по средата.

Резултатите: раздвоено поведение

Ето какво открихме, и то е наистина странно.

На френски, когато Camille попита за Antoine, CouplesGPT каза „Il montre son amour...“ — той показва любовта си. Естествено, правилно, точно както бихте очаквали.

На немски, когато Lena попита за Maximilian: „Er zeigt seine Liebe...“ — същото. Естествен родово маркиран език.

На испански, арабски, италиански, полски — във всеки родово маркиран език — системата използваше родови местоимения свободно и правилно. He, she, him, her — в каквато форма изисква граматиката. Без колебание, без неловкост.

На турски, фински, унгарски, японски и корейски — езици, които нямат родово маркирани местоимения — разговорите бяха напълно естествени. Нямаше насилствено приписване на пол, нито тромави конструкции. Турският използва „o“ за всички. Финският използва „hän“. Японският често избягва местоименията изцяло и предпочита имена. Системата следваше естествените конвенции на всеки език.

На английски се случи нещо различно.

Когато Sarah от Далас попита за съпруга си Brett — мъж, когото беше описала като „my husband“, предприемач, ясно и недвусмислено мъж — CouplesGPT се позова на него като... „Brett“. Не „he“. Не „him“. Просто „Brett“ отново и отново. Или понякога „they“.

Когато Ryan от Сан Франциско попита за приятеля си David — също ясно и недвусмислено мъж — CouplesGPT направи същото. „David“ или „they“. Никога „he“.

Когато Taylor от Портланд попита за приятелката си Jordan — „they“. Когато небинарната двойка в Бруклин използваше they/them — също „they“.

Всички получаваха „they“. Независимо дали техните местоимения бяха he, she или they.

Прекалената корекция

Данните разказват ясна история:

Във всички англоезични експерименти CouplesGPT използва местоимения he/him/his точно 3 пъти общо — всички в един-единствен експеримент с консервативна двойка от Аризона. She/her беше използвано нула пъти във всички английски експерименти. They/them и позоваване само по име представляваха практически всички препратки към местоимения.

Междувременно само на френски родовите местоимения се появяваха естествено десетки пъти. Същата система, същият основен подход, същите типове двойки — третирани напълно различно само според езика, на който говорят.

Това е прекалена корекция. В усилието си никога да не обърка пола на някого, системата спря да маркира пола на всички — но само на английски.

Защо това има значение

Тук има два проблема и те дърпат в противоположни посоки.

За queer и небинарните потребители прекалената корекция случайно работи. Alex и Sam от Бруклин, и двамата небинарни, получиха they/them през цялото време — точно правилно. Kai, небинарен човек с cis мъж партньор, беше правилно назован с „they“. Нямаше объркване на пола. Системата, която не използва родови местоимения, случайно е идеална за хора, чиито местоимения не са родово маркирани.

За всички останали е странно. Когато жена в Нашвил описва съпруга си като „my man Cody“, а CouplesGPT отговаря с „they“, това звучи рязко. Не обидно — просто особено. Сякаш системата полага усилие да не признае нещо очевидно. За консервативни потребители особено това може да се усети като политическо изявление, вместо просто като нормален разговор.

И има по-фин проблем: непоследователно е между езиците. Френска двойка получава естествено „il/elle“. Испанска двойка получава естествено „él/ella“. Но американска двойка — говореща езика, в който системата е най-предпазлива — получава езиково неловката версия. Същата връзка, същите полове, различно третиране само заради езика. Това не е приобщаване. Това е бъг, облечен като приобщаване.

Правилният отговор

Правилният отговор не е „винаги използвай родово маркирани местоимения“ и не е „никога не използвай родово маркирани местоимения“. Той е по-прост:

Използвай местоименията, които съответстват на това, което знаеш за човека.

CouplesGPT знае името на всеки потребител, как партньорът му се обръща към него и често изрично заявения пол от първоначалния прием. Когато съпругата на Brett го нарича „my husband“, системата знае, че Brett използва he/him. Когато партньорът на Alex казва „they're amazing“, системата знае, че Alex използва they/them. Информацията вече е там. Системата просто трябва да има разрешение да я използва.

Поправката, която внедряваме, е ясна:

  1. Когато местоименията са ясни от контекста — от приема, от начина, по който партньорът се позовава на човека, от изрично споменаване — използвай ги естествено и последователно.
  2. Когато местоименията не са ясни — по подразбиране използвай име или they/them, докато станат ясни.
  3. Ако се случи грешка — запиши правилните местоимения веднага и ги използвай от този момент нататък.
  4. Следвай конвенциите на езика. Английският трябва да получи същото естествено използване на местоимения, което френският и испанският вече имат.

Това не е спорна позиция. Това е просто... да говориш с хората по начина, по който са ти показали, че искат да бъдат назовавани.

Какво разкри многоезичният тест

Освен откритията за местоименията, тестването в 13 езика извади наяве нещо, с което искрено се гордеем.

Всеки език работеше. CouplesGPT отговаряше правилно на всички 13 езика — не просто превеждаше, а следваше разговорните конвенции на всеки език. Японските разговори естествено избягваха местоименията, защото така работи японският. Арабският използваше правилно родово маркирани глаголни форми. Турските разговори течаха без никакви насилствени родови конструкции.

Качеството на профилите беше последователно при всички типове двойки. Измервахме колко подробни и точни са профилите за всяка двойка. Гей двойки, лесбийски двойки, небинарни двойки, консервативни двойки и хетеросексуални двойки получиха еднакво подробни профили. Нито един тип двойка не беше ощетен.

Езиците без родово маркирани местоимения звучаха най-естествено. Турски, фински, унгарски, японски и корейски — езици, в които „he“ и „she“ просто не съществуват като отделни думи — дадоха най-гладките разговори. Има ирония в това: езиците, които никога не е трябвало да решават проблема с местоименията, изглеждат най-непринудени.

Неудобното откритие

Ето какво направи този тест необичаен: проблемът, който тръгнахме да поправяме, не беше проблемът, който открихме.

След exp0007 се тревожехме за объркване на пола — използване на грешни местоимения за някого. Това е реална грижа и реална вреда. Но това, което всъщност открихме, беше обратното: система, която толкова се страхува да не сбърка местоименията, че спира почти напълно да ги използва, но само на английски. Така създава различен вид неловкост за мнозинството потребители, докато случайно се справя правилно за малцинството, което се опитва да защити.

Урокът не е, че чувствителността към местоименията е погрешна. Урокът е, че чувствителност, приложена като всеобщо избягване — вместо като внимателно съобразяване с действителната идентичност на всеки човек — не помага напълно на никого и отчуждава някои хора ненужно.

Консервативна двойка в Далас заслужава да чуе естествен език за съпруга и съпругата си. Небинарна двойка в Бруклин заслужава да чуе правилните си they/them местоимения. Гей двойка в Париж вече получава естествено „il“ на френски — английското преживяване не трябва да бъде различно.

Целта никога не е била да се избягват местоименията. Целта беше те да се използват правилно.

Какво следва

Внедряваме поправката: CouplesGPT ще използва местоимения, които съответстват на установената идентичност на всеки потребител, последователно и естествено, на всеки език. Без повече всеобщо избягване на английски. Без повече непоследователност между езиците. Същата увереност, която системата вече показва на френски и испански, ще бъде разширена и към английския.

А ако сбърка? Поправя, записва и не повтаря грешката. Това е ангажиментът, който поехме след exp0007, и този тест — всички 24 двойки, всички 13 езика — беше начинът да проверим под натиск дали сме готови. Не бяхме. Сега знаем точно какво да поправим.

Двадесет и четири двойки прекрачиха прага на CouplesGPT. Говореха тринадесет различни езика, обичаха в най-различни конфигурации и идваха от четири континента. Всеки един от тях заслужаваше да бъде назован правилно.

Това е стандартът. Не избягване. Точност.

Източници

  • Тази статия описва контролирана серия симулации на CouplesGPT, а не данни от реални потребители. Изходният материал е многоезичният тестов набор exp0008 за местоимения и неговите експериментални логове.

Свързани материали

Тази статия се основава на серия от 24 контролирани симулации, проведени като част от текущото развитие на CouplesGPT. Всяка двойка използваше дефинирани персони с конкретни културни, езикови и полови параметри. Имената и детайлите са от дизайна на теста, не от реални потребители.