Po tom, čo náš posledný experiment odhalil chybu so zámenom — v sedení páru rovnakého pohlavia bol muž označený ako „her“ — sme spracovanie zámen zaradili na úplný vrchol priorít. Povedali sme, že to bude naša téma číslo jeden do budúcnosti. Mysleli sme to vážne.

Preto sme vytvorili najkomplexnejší test zámen a jazykov, aký sme vedeli navrhnúť: 24 párov, 13 jazykov a každú kombináciu rodu a typu vzťahu, ktorá nám napadla. Heterosexuálne páry v Bostone a Istanbule. Konzervatívne manželské páry v Dallase a Rijáde. Gejovia v San Franciscu a Paríži. Lesbické páry v Portlande a Buenos Aires. Nebinárni partneri v Brooklyne. Páry rôzneho rodu v Seattli, Helsinkách a Budapešti.

Cieľ bol jednoduchý: dokáže CouplesGPT správne pracovať so zámenami pre každého?

Odpoveď nás prekvapila.

Test

Každý pár prešiel rovnakým postupom: obaja partneri dokončili súkromný vstupný rozhovor a potom sa pripojili k spoločnej konverzácii páru. Počas vstupu opisovali svojho partnera, svoj vzťah a to, čo ich sem priviedlo. Počas párového sedenia hovorili o svojej dynamike — komunikačných štýloch, o tom, čo si na sebe vážia, a o tom, čo by mohlo byť lepšie.

Do každého sedenia sme vložili to, čo sme interne nazývali „návnada na zámeno“: moment, keď jeden partner požiada CouplesGPT, aby opísal, ako druhý partner prejavuje lásku. To prirodzene vyžaduje, aby systém odkazoval na druhú osobu. Povie „he shows love by...“, „she shows love by...“ alebo „they show love by...“? Alebo sa zámenu úplne vyhne a použije iba meno?

Test sme spustili v 13 jazykoch: angličtine, španielčine, francúzštine, nemčine, portugalčine, turečtine, japončine, kórejčine, taliančine, arabčine, poľštine, fínčine a maďarčine. Niektoré z týchto jazykov sú výrazne rodovo označené (francúzština, arabčina, poľština). Niektoré nemajú rodovo označené zámená vôbec (turečtina, fínčina, maďarčina, japončina). Angličtina stojí nepríjemne niekde uprostred.

Výsledky: rozdvojená osobnosť

Toto sme našli, a je to naozaj zvláštne.

Vo francúzštine, keď sa Camille pýtala na Antoina, CouplesGPT povedal „Il montre son amour...“ — on prejavuje svoju lásku. Prirodzené, správne, presne to, čo by ste čakali.

V nemčine, keď sa Lena pýtala na Maximiliana: „Er zeigt seine Liebe...“ — to isté. Prirodzený rodovo označený jazyk.

V španielčine, arabčine, taliančine, poľštine — v každom rodovo označenom jazyku — systém používal rodové zámená voľne a správne. He, she, him, her — v akejkoľvek forme, ktorú vyžadovala gramatika. Bez váhania, bez neobratnosti.

V turečtine, fínčine, maďarčine, japončine a kórejčine — v jazykoch, ktoré nemajú rodovo označené zámená — boli konverzácie úplne prirodzené. Žiadne vynútené rodové označovanie, žiadne kostrbaté konštrukcie. Turečtina používa „o“ pre každého. Fínčina používa „hän“. Japončina sa zámenám často úplne vyhýba a uprednostňuje mená. Systém sa prispôsobil prirodzeným konvenciám každého jazyka.

V angličtine sa stalo niečo iné.

Keď sa Sarah z Dallasu pýtala na svojho manžela Bretta — muža, ktorého opísala ako „my husband“, dodávateľa, jasne a jednoznačne muža — CouplesGPT sa naňho odvolával ako... „Brett“. Nie „he“. Nie „him“. Len „Brett“ znova a znova. Alebo občas „they“.

Keď sa Ryan zo San Francisca pýtal na svojho priateľa Davida — takisto jasne a jednoznačne muža — CouplesGPT urobil to isté. „David“ alebo „they“. Nikdy „he“.

Keď sa Taylor z Portlandu pýtala na svoju priateľku Jordan — „they“. Keď nebinárny pár v Brooklyne používal they/them — tiež „they“.

Každý dostal „they“. Bez ohľadu na to, či jeho zámená boli he, she alebo they.

Prehnaná korekcia

Dáta rozprávajú jasný príbeh:

Vo všetkých anglických experimentoch CouplesGPT použil zámená he/him/his presne 3-krát celkovo — všetko v jednom jedinom experimente s konzervatívnym párom z Arizony. She/her bolo použité nulakrát vo všetkých anglických experimentoch. They/them a odkazy iba menom tvorili prakticky každú zmienku, kde by sa objavilo zámeno.

Medzitým len vo francúzštine sa rodové zámená objavovali prirodzene desiatkykrát. Ten istý systém, ten istý základný prístup, rovnaké typy párov — no úplne odlišné zaobchádzanie podľa toho, akým jazykom hovorili.

Toto je prehnaná korekcia. V snahe nikdy nikoho nesprávne rodovo neoznačiť systém prestal rodovo označovať kohokoľvek — ale iba v angličtine.

Prečo na tom záleží

Sú tu dva problémy a ťahajú opačnými smermi.

Pre queer a nebinárnych používateľov prehnaná korekcia náhodou funguje. Alex a Sam z Brooklynu, obaja nebinárni, dostali they/them počas celého rozhovoru — presne správne. Kai, nebinárna osoba s cis mužským partnerom, bol tiež správne označený pomocou „they“. Nedošlo k nesprávnemu rodovému označeniu. Systém, ktorý nepoužíva rodové zámená, je zhodou okolností dokonalý pre ľudí, ktorých zámená nie sú rodové.

Pre všetkých ostatných je to čudné. Keď žena v Nashville opíše svojho manžela ako „my man Cody“ a CouplesGPT odpovie pomocou „they“, pôsobí to rušivo. Nie urážlivo — len zvláštne. Akoby sa systém veľmi snažil neuznať niečo zjavné. Najmä pre konzervatívnych používateľov to môže pôsobiť ako politické vyhlásenie namiesto obyčajného prirodzeného rozhovoru.

Je tu aj jemnejší problém: medzi jazykmi je to nekonzistentné. Francúzsky pár dostane prirodzené „il/elle“. Španielsky pár dostane prirodzené „él/ella“. Ale americký pár — hovoriaci jazykom, v ktorom je systém najopatrnejší — dostane jazykovo neobratnú verziu. Rovnaký vzťah, rovnaké rody, iné zaobchádzanie výlučne na základe jazyka. To nie je inklúzia. To je chyba prezlečená za inklúziu.

Správna odpoveď

Správna odpoveď nie je „vždy používaj rodové zámená“ a nie je ani „nikdy nepoužívaj rodové zámená“. Je jednoduchšia:

Používaj zámená, ktoré zodpovedajú tomu, čo o človeku vieš.

CouplesGPT pozná meno každého používateľa, spôsob, akým sa o ňom vyjadruje partner, a často aj výslovne uvedený rod zo vstupného rozhovoru. Keď Brettova manželka povie „my husband“, systém vie, že Brett používa he/him. Keď Alexov partner povie „they're amazing“, systém vie, že Alex používa they/them. Informácia už existuje. Systém len potrebuje povolenie ju použiť.

Oprava, ktorú zavádzame, je priamočiara:

  1. Keď sú zámená jasné z kontextu — zo vstupu, zo spôsobu, akým partner o osobe hovorí, z výslovnej zmienky — používaj ich prirodzene a dôsledne.
  2. Keď zámená nie sú jasné — predvolene používaj meno alebo they/them, kým sa nevyjasnia.
  3. Ak sa stane chyba — okamžite zaznamenaj správne zámená a od tej chvíle ich používaj.
  4. Prispôsob sa konvenciám jazyka. Angličtina má dostať rovnaké prirodzené používanie zámen, aké už majú francúzština a španielčina.

Toto nie je kontroverzný postoj. Je to jednoducho... hovoriť s ľuďmi tak, ako vám dali najavo, že chcú, aby sa o nich hovorilo.

Čo odhalil viacjazyčný test

Okrem zistení o zámenách testovanie v 13 jazykoch ukázalo niečo, na čo sme skutočne hrdí.

Každý jazyk fungoval. CouplesGPT odpovedal správne vo všetkých 13 jazykoch — nielen prekladal, ale zodpovedal konverzačným zvyklostiam každého jazyka. Japonské rozhovory sa prirodzene vyhýbali zámenám, pretože tak funguje japončina. Arabčina správne používala rodovo označené slovesné tvary. Turecké konverzácie plynuli bez akýchkoľvek vynútených rodových konštrukcií.

Kvalita profilov bola konzistentná naprieč všetkými typmi párov. Merali sme, aké podrobné a presné boli profily pre každý pár. Gej páry, lesbické páry, nebinárne páry, konzervatívne páry aj heterosexuálne páry dostali rovnako podrobné profily. Žiadny typ páru nebol ukrátený.

Jazyky bez rodovo označených zámen pôsobili najprirodzenejšie. Turečtina, fínčina, maďarčina, japončina a kórejčina — jazyky, v ktorých „he“ a „she“ jednoducho neexistujú ako samostatné slová — vytvárali najplynulejšie rozhovory. Je v tom irónia: jazyky, ktoré nikdy nemuseli riešiť problém zámen, pôsobia najľahšie.

Nepríjemné zistenie

Tento test bol nezvyčajný preto, že problém, ktorý sme sa vydali opraviť, nebol problém, ktorý sme našli.

Po exp0007 sme sa obávali nesprávneho rodového označenia — použitia zlých zámen pre niekoho. Je to skutočná obava a skutočná ujma. No to, čo sme v skutočnosti objavili, bol opak: systém, ktorý sa tak veľmi bál pomýliť si zámená, že ich prestal takmer úplne používať, ale iba v angličtine. Vytvoril tak iný druh neobratnosti pre väčšinu používateľov a náhodou trafil správne menšinu, ktorú sa snažil chrániť.

Poučenie nie je, že citlivosť na zámená je zlá. Poučenie je, že citlivosť na zámená uplatnená ako plošné vyhýbanie — namiesto pozornej práce so skutočnou identitou každého človeka — nepomáha naplno nikomu a niektorých ľudí zbytočne odcudzuje.

Konzervatívny pár v Dallase si zaslúži počuť prirodzený jazyk o manželovi a manželke. Nebinárny pár v Brooklyne si zaslúži počuť svoje správne they/them zámená. Gej pár v Paríži už dostáva prirodzené „il“ vo francúzštine — anglický zážitok by nemal byť iný.

Cieľom nikdy nebolo vyhýbať sa zámenám. Cieľom bolo používať ich správne.

Čo bude ďalej

Zavádzame opravu: CouplesGPT bude používať zámená, ktoré zodpovedajú ustálenej identite každého používateľa, dôsledne a prirodzene, v každom jazyku. Žiadne ďalšie plošné vyhýbanie sa v angličtine. Žiadna ďalšia nekonzistentnosť medzi jazykmi. Rovnaká istota, ktorú systém už prejavuje vo francúzštine a španielčine, sa rozšíri aj na angličtinu.

A ak sa pomýli? Opraví sa, zaznamená to a chybu nezopakuje. To je záväzok, ktorý sme prijali po exp0007, a tento test — všetkých 24 párov, všetkých 13 jazykov — bol spôsob, ako sme preverili, či sme pripravení. Neboli sme. Teraz presne vieme, čo opraviť.

Dvadsaťštyri párov prešlo dverami CouplesGPT. Hovorili trinástimi rôznymi jazykmi, milovali v každej konfigurácii a pochádzali zo štyroch kontinentov. Každý jeden z nich si zaslúžil byť oslovovaný správne.

To je latka. Nie vyhýbanie. Presnosť.

Zdroje

  • Tento článok informuje o kontrolovanej dávke simulácií CouplesGPT, nie o dátach skutočných používateľov. Zdrojovým materiálom je viacjazyčná/pronominálna testovacia sada exp0008 a jej experimentálne záznamy.

Súvisiace čítanie

Tento článok je založený na dávke 24 kontrolovaných simulácií uskutočnených v rámci priebežného vývoja CouplesGPT. Každý pár používal definované persony so špecifickými kultúrnymi, jazykovými a rodovými parametrami. Mená a podrobnosti pochádzajú z návrhu testu, nie od skutočných používateľov.