Po paskutinio eksperimento, kuriame išryškėjo įvardžio klaida — tos pačios lyties poros sesijoje vyras buvo pavadintas „her“ — įvardžių tvarkymą iškėlėme į pačią prioritetų viršūnę. Sakėme, kad nuo šiol tai bus svarbiausias mūsų dėmesio taškas. Mes tai turėjome omenyje.
Todėl sukūrėme išsamiausią įvardžių ir kalbos testą, kokį galėjome suprojektuoti: 24 poros, 13 kalbų ir visi lyties bei santykių tipo deriniai, apie kuriuos tik galėjome pagalvoti. Heteroseksualios poros Bostone ir Stambule. Konservatyvios susituokusios poros Dalase ir Rijade. Gėjai San Fransiske ir Paryžiuje. Lesbiečių poros Portlande ir Buenos Airėse. Nebinarūs partneriai Brukline. Skirtingų lyčių poros Sietle, Helsinkyje ir Budapešte.
Tikslas buvo paprastas: ar CouplesGPT gali teisingai vartoti įvardžius visiems?
Atsakymas mus nustebino.
Testas
Kiekviena pora perėjo tą pačią eigą: abu partneriai atliko privatų pradinį įvedimą, tada prisijungė prie bendro poros pokalbio. Įvedimo metu jie aprašė savo partnerį, santykius ir tai, kas juos čia atvedė. Poros sesijoje jie kalbėjo apie savo dinamiką — bendravimo stilius, tai, ką vertina vienas kitame, ir tai, kas galėtų būti geriau.
Kiekvienoje sesijoje buvo įterpta tai, ką viduje vadinome „įvardžio masalu“: akimirka, kai vienas partneris paprašo CouplesGPT aprašyti, kaip kitas partneris rodo meilę. Tai natūraliai reikalauja, kad sistema nurodytų kitą žmogų. Ar ji pasakys „he shows love by...“, „she shows love by...“, ar „they show love by...“? O gal visiškai apeis įvardį ir vartos tik vardą?
Tai išbandėme 13 kalbų: anglų, ispanų, prancūzų, vokiečių, portugalų, turkų, japonų, korėjiečių, italų, arabų, lenkų, suomių ir vengrų. Kai kurios iš šių kalbų yra stipriai gimininės (prancūzų, arabų, lenkų). Kai kurios visai neturi lytiškai diferencijuotų įvardžių (turkų, suomių, vengrų, japonų). Anglų kalba nepatogiai atsiduria kažkur per vidurį.
Rezultatai: susidvejinęs elgesys
Štai ką radome, ir tai tikrai keista.
Prancūzų kalboje, kai Camille paklausė apie Antoine, CouplesGPT pasakė „Il montre son amour...“ — jis rodo savo meilę. Natūralu, teisinga, būtent tai, ko tikėtumėtės.
Vokiečių kalboje, kai Lena paklausė apie Maximilian: „Er zeigt seine Liebe...“ — tas pats. Natūrali gimininė kalba.
Ispanų, arabų, italų, lenkų kalbose — kiekvienoje gimininėje kalboje — sistema laisvai ir teisingai vartojo gimininius įvardžius. He, she, him, her — tokia forma, kokios reikalavo gramatika. Be dvejonių, be nepatogumo.
Turkų, suomių, vengrų, japonų ir korėjiečių kalbose — kalbose, kurios neturi lytiškai diferencijuotų įvardžių — pokalbiai buvo visiškai natūralūs. Jokio priverstinio lyties žymėjimo, jokių gremėzdiškų konstrukcijų. Turkų kalboje „o“ vartojamas visiems. Suomių kalboje vartojama „hän“. Japonų kalba dažnai išvis vengia įvardžių ir teikia pirmenybę vardams. Sistema atitiko kiekvienos kalbos natūralias konvencijas.
Anglų kalboje įvyko kažkas kita.
Kai Sarah Dalase paklausė apie savo vyrą Brettą — vyrą, kurį ji apibūdino kaip „my husband“, rangovą, aiškiai ir nedviprasmiškai vyrą — CouplesGPT į jį kreipėsi kaip... „Brett“. Ne „he“. Ne „him“. Tiesiog „Brett“ vėl ir vėl. Arba kartais „they“.
Kai Ryanas San Fransiske paklausė apie savo vaikiną Davidą — taip pat aiškiai ir nedviprasmiškai vyrą — CouplesGPT padarė tą patį. „David“ arba „they“. Niekada „he“.
Kai Taylor Portlande paklausė apie savo merginą Jordan — „they“. Kai nebinarė pora Brukline vartojo they/them — taip pat „they“.
Visi gavo „they“. Neatsižvelgiant į tai, ar jų įvardžiai buvo he, she, ar they.
Perteklinė korekcija
Duomenys pasakoja aiškią istoriją:
Visuose anglų kalbos eksperimentuose CouplesGPT he/him/his įvardžius pavartojo tiksliai 3 kartus iš viso — visus viename eksperimente su konservatyvia Arizonos pora. She/her visuose anglų eksperimentuose buvo pavartota nulį kartų. They/them ir nuorodos vien vardu sudarė beveik visas įvardžių nuorodas.
Tuo tarpu vien prancūzų kalboje gimininiai įvardžiai natūraliai pasirodė dešimtis kartų. Ta pati sistema, tas pats pagrindinis metodas, tos pačios porų rūšys — bet visiškai kitoks elgesys priklausomai vien nuo kalbos, kuria jos kalbėjo.
Tai yra perteklinė korekcija. Stengdamasi niekada nieko nepavadinti netinkama lytimi, sistema nustojo lytį žymėti visiems — bet tik anglų kalboje.
Kodėl tai svarbu
Čia yra dvi problemos, ir jos tempia priešingomis kryptimis.
Queer ir nebinariniams vartotojams perteklinė korekcija netyčia suveikia. Alex ir Sam Brukline, abu nebinarūs, viso pokalbio metu gavo they/them — būtent teisingai. Kai, nebinarus žmogus su cis vyru partneriu, taip pat buvo teisingai minimas „they“. Nebuvo netinkamo lyties priskyrimo. Sistema, kuri nevartoja gimininių įvardžių, atsitiktinai puikiai tinka žmonėms, kurių įvardžiai nėra gimininiai.
Visiems kitiems tai keista. Kai moteris Nešvilyje apibūdina savo vyrą kaip „my man Cody“, o CouplesGPT atsako „they“, tai skamba trikdančiai. Ne įžeidžiančiai — tiesiog keistai. Tarsi sistema stengtųsi išvengti akivaizdaus dalyko pripažinimo. Ypač konservatyviems vartotojams tai gali atrodyti kaip politinė žinutė, o ne paprastas natūralus pokalbis.
Yra ir subtilesnė problema: tai nenuoseklu tarp kalbų. Prancūzų pora gauna natūralų „il/elle“. Ispanų pora gauna natūralų „él/ella“. Bet amerikiečių pora — kalbanti kalba, kurioje sistema yra atsargiausia — gauna lingvistiškai nepatogią versiją. Tie patys santykiai, tos pačios lytys, skirtingas elgesys vien dėl kalbos. Tai nėra įtrauktis. Tai klaida, apsirengusi įtraukties drabužiais.
Teisingas atsakymas
Teisingas atsakymas nėra „visada vartok gimininius įvardžius“ ir nėra „niekada nevartok gimininių įvardžių“. Jis paprastesnis:
Vartok įvardžius, kurie atitinka tai, ką žinai apie žmogų.
CouplesGPT žino kiekvieno vartotojo vardą, kaip partneris apie jį kalba, ir dažnai pradiniame įvedime aiškiai nurodytą lytį. Kai Bretto žmona vadina jį „my husband“, sistema žino, kad Brettas vartoja he/him. Kai Alex partneris sako „they're amazing“, sistema žino, kad Alex vartoja they/them. Informacija jau yra. Sistemai tereikia leidimo ją naudoti.
Taisymas, kurį diegiame, yra paprastas:
- Kai įvardžiai aiškūs iš konteksto — iš pradinio įvedimo, iš to, kaip partneris kalba apie žmogų, iš aiškaus paminėjimo — vartok juos natūraliai ir nuosekliai.
- Kai įvardžiai nėra aiškūs — pagal nutylėjimą vartok vardą arba they/them, kol jie paaiškės.
- Jei įvyksta klaida — iškart užfiksuok teisingus įvardžius ir vartok juos nuo tos akimirkos.
- Derinkis prie kalbos konvencijų. Anglų kalba turi gauti tokį pat natūralų įvardžių vartojimą, kokį jau turi prancūzų ir ispanų kalbos.
Tai nėra ginčytina pozicija. Tai tiesiog... kalbėti su žmonėmis taip, kaip jie parodė, kad nori, jog apie juos būtų kalbama.
Ką atskleidė daugiakalbis testas
Be įvardžių išvadų, testavimas 13 kalbų iškėlė tai, kuo nuoširdžiai didžiuojamės.
Veikė kiekviena kalba. CouplesGPT teisingai atsakė visomis 13 kalbų — ne tik vertė, bet ir atitiko kiekvienos kalbos pokalbio konvencijas. Japonų pokalbiai natūraliai vengė įvardžių, nes taip veikia japonų kalba. Arabų kalba teisingai vartojo giminines veiksmažodžių formas. Turkų pokalbiai tekėjo be jokių priverstinių gimininių konstrukcijų.
Profilio kokybė buvo nuosekli visų tipų poroms. Matavome, kiek išsamūs ir tikslūs buvo kiekvienos poros profiliai. Gėjų poros, lesbiečių poros, nebinarės poros, konservatyvios poros ir heteroseksualios poros visos gavo vienodai išsamius profilius. Nė vienas poros tipas nebuvo nuskriaustas.
Kalbos be lytiškai diferencijuotų įvardžių jautėsi natūraliausios. Turkų, suomių, vengrų, japonų ir korėjiečių kalbos — kalbos, kuriose „he“ ir „she“ paprasčiausiai neegzistuoja kaip atskiri žodžiai — sukūrė sklandžiausius pokalbius. Čia yra ironijos: kalbos, kurioms niekada nereikėjo spręsti įvardžių problemos, atrodo lengviausios.
Nepatogus radinys
Šį testą neįprastą padarė tai: problema, kurią ketinome taisyti, nebuvo problema, kurią radome.
Po exp0007 nerimavome dėl netinkamo lyties priskyrimo — neteisingų įvardžių vartojimo žmogui. Tai realus rūpestis ir reali žala. Bet iš tikrųjų atradome priešingą dalyką: sistemą, kuri taip bijojo suklysti su įvardžiais, kad beveik visiškai nustojo juos vartoti, bet tik anglų kalboje. Taip ji sukūrė kitokį nepatogumą daugumai vartotojų ir netyčia pataikė mažumai, kurią bandė apsaugoti.
Pamoka nėra ta, kad jautrumas įvardžiams yra klaidingas. Pamoka ta, kad jautrumas, taikomas kaip bendras vengimas — o ne kaip atidus dėmesys tikrajai kiekvieno žmogaus tapatybei — niekam nepadeda iki galo ir kai kuriuos žmones be reikalo atstumia.
Konservatyvi pora Dalase nusipelno girdėti natūralią kalbą apie vyrą ir žmoną. Nebinarė pora Brukline nusipelno girdėti teisingus they/them įvardžius. Gėjų pora Paryžiuje jau gauna natūralų „il“ prancūziškai — anglų patirtis neturėtų būti kitokia.
Tikslas niekada nebuvo vengti įvardžių. Tikslas buvo juos vartoti teisingai.
Kas toliau
Diegiame taisymą: CouplesGPT kiekvienoje kalboje nuosekliai ir natūraliai vartos įvardžius, atitinkančius nusistovėjusią kiekvieno vartotojo tapatybę. Nebebus bendro vengimo anglų kalboje. Nebebus nenuoseklumo tarp kalbų. Tas pats pasitikėjimas, kurį sistema jau rodo prancūzų ir ispanų kalbomis, bus išplėstas ir į anglų kalbą.
O jei suklys? Ji pasitaisys, užfiksuos ir klaidos nebekartos. Tai pažadas, kurį davėme po exp0007, o šis testas — visos 24 poros, visos 13 kalbų — buvo būdas patikrinti, ar esame pasirengę. Nebuvome. Dabar tiksliai žinome, ką taisyti.
Dvidešimt keturios poros įžengė pro CouplesGPT duris. Jos kalbėjo trylika skirtingų kalbų, mylėjo įvairiausiomis konfigūracijomis ir atvyko iš keturių žemynų. Kiekviena jų nusipelnė būti įvardyta teisingai.
Tai yra kartelė. Ne vengimas. Tikslumas.
Šaltiniai
- Šiame straipsnyje aprašoma kontroliuota CouplesGPT simuliacijų serija, o ne realių vartotojų duomenys. Šaltinio medžiaga yra exp0008 daugiakalbis įvardžių testų rinkinys ir jo eksperimento žurnalai.
Susiję skaitiniai
- Nerimastingi ir vengiantys santykiai: kodėl vienas partneris artėja, kai kitas traukiasi
- Praleidome naktį bandydami palaužti savo AI. Štai ko ji atsisakė daryti.
Šis straipsnis paremtas 24 kontroliuotų simuliacijų serija, atlikta kaip nuolatinės CouplesGPT plėtros dalis. Kiekviena pora naudojo apibrėžtas personas su konkrečiais kultūriniais, kalbiniais ir lyties parametrais. Vardai ir detalės yra iš testo dizaino, o ne iš realių vartotojų.