Pēc tam, kad mūsu pēdējais eksperiments atklāja vietniekvārda kļūdu — viendzimuma pāra sesijā vīrietis tika nosaukts ar „her“ — vietniekvārdu apstrādi izvirzījām par galveno prioritāti. Mēs teicām, ka turpmāk tas būs pirmais fokuss. Mēs to domājām nopietni.

Tāpēc izveidojām visaptverošāko vietniekvārdu un valodu testu, kādu spējām izstrādāt: 24 pāri, 13 valodas un katra dzimuma un attiecību tipa kombinācija, kas mums ienāca prātā. Heteroseksuāli pāri Bostonā un Stambulā. Konservatīvi laulāti pāri Dalasā un Rijādā. Geji Sanfrancisko un Parīzē. Lesbiešu pāri Portlendā un Buenosairesā. Nebināri partneri Bruklinā. Dažādu dzimumu pāri Sietlā, Helsinkos un Budapeštā.

Mērķis bija vienkāršs: vai CouplesGPT prot pareizi lietot vietniekvārdus attiecībā uz ikvienu?

Atbilde mūs pārsteidza.

Tests

Katrs pāris izgāja vienu un to pašu plūsmu: abi partneri pabeidza privātu sākotnējo ievadi un pēc tam pievienojās pāra sarunai. Ievades laikā viņi aprakstīja savu partneri, savas attiecības un to, kas viņus šurp atveda. Pāra sesijā viņi runāja par savu dinamiku — komunikācijas stiliem, to, ko novērtē viens otrā, un to, kas varētu būt labāk.

Katrā sesijā bija iestrādāts tas, ko iekšēji saucām par „vietniekvārda ēsmu“: brīdis, kad viens partneris lūdz CouplesGPT aprakstīt, kā otrs partneris izrāda mīlestību. Tas dabiski prasa, lai sistēma atsauktos uz otru personu. Vai tā teiks „he shows love by...“, „she shows love by...“ vai „they show love by...“? Vai arī pilnībā apies vietniekvārdu un lietos tikai vārdu?

Mēs to pārbaudījām 13 valodās: angļu, spāņu, franču, vācu, portugāļu, turku, japāņu, korejiešu, itāļu, arābu, poļu, somu un ungāru. Dažas no šīm valodām ir ļoti dzimtes ziņā marķētas (franču, arābu, poļu). Dažās nav dzimtes vietniekvārdu vispār (turku, somu, ungāru, japāņu). Angļu valoda neērti atrodas kaut kur pa vidu.

Rezultāti: sašķelta personība

Lūk, ko mēs atradām, un tas patiešām ir dīvaini.

Franču valodā, kad Camille jautāja par Antoine, CouplesGPT teica „Il montre son amour...“ — viņš izrāda savu mīlestību. Dabiski, pareizi, tieši tā, kā varētu gaidīt.

Vācu valodā, kad Lena jautāja par Maximilian: „Er zeigt seine Liebe...“ — tas pats. Dabiska dzimtes ziņā marķēta valoda.

Spāņu, arābu, itāļu un poļu valodā — katrā dzimtes ziņā marķētā valodā — sistēma brīvi un pareizi lietoja dzimtes vietniekvārdus. He, she, him, her — tādā formā, kādu prasīja gramatika. Bez vilcināšanās, bez neveiklības.

Turku, somu, ungāru, japāņu un korejiešu valodā — valodās, kurās nav dzimtes vietniekvārdu — sarunas bija pilnīgi dabiskas. Nekādas uzspiestas dzimtes, nekādu neveiklu konstrukciju. Turku valodā „o“ lieto visiem. Somu valodā lieto „hän“. Japāņu valodā vietniekvārdus bieži izvairās lietot vispār, dodot priekšroku vārdiem. Sistēma pielāgojās katras valodas dabiskajām konvencijām.

Angļu valodā notika kas cits.

Kad Sarah Dalasā jautāja par savu vīru Brett — vīrieti, kuru viņa bija aprakstījusi kā „my husband“, būvuzņēmēju, skaidri un nepārprotami vīrieti — CouplesGPT atsaucās uz viņu kā... „Brett“. Ne „he“. Ne „him“. Vienkārši „Brett“ atkal un atkal. Vai reizēm „they“.

Kad Ryan Sanfrancisko jautāja par savu draugu David — arī skaidri un nepārprotami vīrieti — CouplesGPT darīja to pašu. „David“ vai „they“. Nekad „he“.

Kad Taylor Portlendā jautāja par savu draudzeni Jordan — „they“. Kad nebinārais pāris Bruklinā lietoja they/them — arī „they“.

Visi saņēma „they“. Neatkarīgi no tā, vai viņu vietniekvārdi bija he, she vai they.

Pārmērīgā korekcija

Dati stāsta skaidru stāstu:

Visos angļu valodas eksperimentos CouplesGPT lietoja he/him/his vietniekvārdus tieši 3 reizes kopā — visas vienā eksperimentā ar konservatīvu Arizonas pāri. She/her visos angļu eksperimentos tika lietots nulle reižu. They/them un atsauces tikai ar vārdu veidoja praktiski visas vietniekvārdu atsauces.

Tikmēr franču valodā vien dzimtes vietniekvārdi parādījās dabiski desmitiem reižu. Tā pati sistēma, tā pati pamatpieeja, tādi paši pāri — taču pilnīgi atšķirīga attieksme atkarībā tikai no tā, kādā valodā viņi runāja.

Tā ir pārmērīga korekcija. Cenšoties nekad nevienu nepareizi dzimtiski nenosaukt, sistēma pārstāja dzimtiski marķēt jebkuru — bet tikai angļu valodā.

Kāpēc tas ir svarīgi

Šeit ir divas problēmas, un tās velk pretējos virzienos.

Queer un nebināriem lietotājiem pārmērīgā korekcija nejauši darbojas. Alex un Sam Bruklinā, abi nebināri, visā sarunā saņēma they/them — tieši pareizi. Kai, nebināra persona ar cis vīrieti kā partneri, arī tika pareizi minēts ar „they“. Nepareizas dzimtes piedēvēšanas nebija. Sistēma, kas nelieto dzimtes vietniekvārdus, nejauši ir perfekta cilvēkiem, kuru vietniekvārdi nav dzimtes ziņā marķēti.

Visiem pārējiem tas ir dīvaini. Kad sieviete Našvilā apraksta savu vīru kā „my man Cody“ un CouplesGPT atbild ar „they“, tas izklausās saraustīti. Ne aizvainojoši — vienkārši savādi. It kā sistēma īpaši censtos neatzīt kaut ko acīmredzamu. Īpaši konservatīviem lietotājiem tas var šķist kā politisks paziņojums, nevis vienkārši normāla saruna.

Un ir arī smalkāka problēma: tas ir nekonsekventi starp valodām. Franču pāris saņem dabisku „il/elle“. Spāņu pāris saņem dabisku „él/ella“. Bet amerikāņu pāris — runājot valodā, kurā sistēma ir vispiesardzīgākā — saņem lingvistiski neveiklu versiju. Tās pašas attiecības, tie paši dzimumi, atšķirīga attieksme tikai valodas dēļ. Tā nav iekļaušana. Tā ir kļūda, kas ģērbusies iekļaušanas drēbēs.

Pareizā atbilde

Pareizā atbilde nav „vienmēr lietot dzimtes vietniekvārdus“ un nav arī „nekad nelietot dzimtes vietniekvārdus“. Tā ir vienkāršāka:

Lieto vietniekvārdus, kas atbilst tam, ko tu zini par cilvēku.

CouplesGPT zina katra lietotāja vārdu, to, kā partneris uz viņu atsaucas, un bieži arī sākotnējā ievadē skaidri norādīto dzimumu. Kad Brett sieva viņu sauc par „my husband“, sistēma zina, ka Brett lieto he/him. Kad Alex partneris saka „they're amazing“, sistēma zina, ka Alex lieto they/them. Informācija jau ir tur. Sistēmai tikai vajag atļauju to izmantot.

Labojums, ko ieviešam, ir tiešs:

  1. Kad vietniekvārdi ir skaidri no konteksta — no ievades, no tā, kā partneris atsaucas uz personu, no tiešas pieminēšanas — lieto tos dabiski un konsekventi.
  2. Kad vietniekvārdi nav skaidri — pēc noklusējuma lieto vārdu vai they/them, līdz tie kļūst skaidri.
  3. Ja notiek kļūda — nekavējoties reģistrē pareizos vietniekvārdus un lieto tos no tā brīža.
  4. Saskaņo ar valodas konvencijām. Angļu valodai jāsaņem tāda pati dabiska vietniekvārdu lietošana, kāda franču un spāņu valodai jau ir.

Tā nav strīdīga nostāja. Tā ir vienkārši... runāt ar cilvēkiem tā, kā viņi ir parādījuši, ka vēlas, lai ar viņiem runā.

Ko atklāja daudzvalodu tests

Papildus vietniekvārdu secinājumiem testēšana 13 valodās atklāja kaut ko, ar ko mēs patiesi lepojamies.

Katra valoda darbojās. CouplesGPT pareizi atbildēja visās 13 valodās — ne tikai tulkoja, bet pielāgojās katras valodas sarunas konvencijām. Japāņu sarunas dabiski izvairījās no vietniekvārdiem, jo tā darbojas japāņu valoda. Arābu valoda pareizi izmantoja dzimtes ziņā marķētas darbības vārdu formas. Turku sarunas plūda bez jebkādām uzspiestām dzimtes konstrukcijām.

Profilu kvalitāte bija konsekventa visos pāru tipos. Mēs mērījām, cik detalizēti un precīzi bija profili katram pārim. Geju pāri, lesbiešu pāri, nebināri pāri, konservatīvi pāri un heteroseksuāli pāri visi saņēma vienlīdz detalizētus profilus. Neviens pāra tips netika atstāts novārtā.

Valodas bez dzimtes vietniekvārdiem šķita visdabiskākās. Turku, somu, ungāru, japāņu un korejiešu — valodas, kurās „he“ un „she“ vienkārši nepastāv kā atsevišķi vārdi — radīja visplūdenākās sarunas. Te ir ironija: valodas, kurām nekad nebija jārisina vietniekvārdu problēma, šķiet visvieglākās.

Neērtais secinājums

Šo testu neparastu padarīja tas, ka problēma, kuru mēs gribējām labot, nebija problēma, kuru atradām.

Pēc exp0007 mēs uztraucāmies par nepareizu dzimtes piedēvēšanu — nepareizu vietniekvārdu lietošanu attiecībā uz cilvēku. Tā ir īsta baža un īsts kaitējums. Bet tas, ko mēs patiesībā atklājām, bija pretējais: sistēma tik ļoti baidījās kļūdīties ar vietniekvārdiem, ka gandrīz pārstāja tos lietot vispār, bet tikai angļu valodā. Tā radīja cita veida neveiklību vairākumam lietotāju, vienlaikus nejauši pareizi rīkojoties ar mazākumu, ko tā centās aizsargāt.

Mācība nav tāda, ka jutīgums pret vietniekvārdiem ir nepareizs. Mācība ir tāda, ka jutīgums, kas tiek piemērots kā vispārēja izvairīšanās — nevis kā rūpīga uzmanība katra cilvēka faktiskajai identitātei — nevienam nepalīdz pilnībā un dažus cilvēkus nevajadzīgi atsvešina.

Konservatīvs pāris Dalasā ir pelnījis dzirdēt dabisku valodu par vīru un sievu. Nebinārs pāris Bruklinā ir pelnījis dzirdēt savus pareizos they/them vietniekvārdus. Geju pāris Parīzē jau franču valodā saņem dabisku „il“ — angļu pieredzei nevajadzētu būt citādai.

Mērķis nekad nebija izvairīties no vietniekvārdiem. Mērķis bija tos lietot pareizi.

Kas tālāk

Mēs ieviešam labojumu: CouplesGPT lietos vietniekvārdus, kas atbilst katra lietotāja nostiprinātajai identitātei, konsekventi un dabiski, katrā valodā. Vairs nekādas vispārējas izvairīšanās angļu valodā. Vairs nekādas nekonsekvences starp valodām. Tā pati pārliecība, ko sistēma jau rāda franču un spāņu valodā, tiks paplašināta uz angļu valodu.

Un ja tā kļūdās? Tā izlabo, reģistrē un neatkārto kļūdu. Tā bija apņemšanās, ko devām pēc exp0007, un šis tests — visi 24 pāri, visas 13 valodas — bija veids, kā pārbaudīt, vai esam gatavi. Mēs nebijām. Tagad mēs precīzi zinām, kas jālabo.

Divdesmit četri pāri ienāca pa CouplesGPT durvīm. Viņi runāja trīspadsmit dažādās valodās, mīlēja visdažādākajās konfigurācijās un nāca no četriem kontinentiem. Ikviens no viņiem bija pelnījis, lai viņu uzrunā pareizi.

Tā ir latiņa. Nevis izvairīšanās. Precizitāte.

Avoti

  • Šajā rakstā aprakstīta kontrolēta CouplesGPT simulāciju partija, nevis reālu lietotāju dati. Avota materiāls ir exp0008 daudzvalodu/vietniekvārdu testa kopa un tās eksperimentu žurnāli.

Saistīta lasāmviela


Šis raksts ir balstīts uz 24 kontrolētu simulāciju partiju, kas veikta CouplesGPT pastāvīgās izstrādes ietvaros. Katrs pāris izmantoja definētas personas ar konkrētiem kultūras, valodas un dzimtes parametriem. Vārdi un detaļas nāk no testa dizaina, nevis no reāliem lietotājiem.