Etter at vårt forrige eksperiment avslørte en pronomen-glipp — å kalle en mann «henne» i en samtale med et likekjønnet par — gjorde vi pronomenhåndtering til vår høyeste prioritet. Vi sa det skulle være hovedfokus fremover. Vi mente det.

Så vi bygde den mest omfattende pronomen- og språktesten vi kunne designe: 24 par, 13 språk, alle kombinasjoner av kjønn og forholdstyper vi kunne komme på. Heterofile par i Boston og Istanbul. Konservative gifte par i Dallas og Riyadh. Homofile menn i San Francisco og Paris. Lesbiske i Portland og Buenos Aires. Ikke-binære partnere i Brooklyn. Par med blandet kjønn i Seattle, Helsingfors og Budapest.

Målet var enkelt: Håndterer CouplesGPT pronomen riktig for alle?

Svaret overrasket oss.

Testen

Hvert par gikk gjennom samme prosess: Begge partnere fylte ut en privat introduksjon, deretter deltok de i en samtale sammen. Under introduksjonen beskrev de partneren sin, forholdet sitt, og hvorfor de var her. I samtalen snakket de om dynamikken mellom seg — kommunikasjonsstil, hva de setter pris på hos hverandre, hva som kunne vært bedre.

Innebygd i hver samtale var det vi internt kalte «pronomen-fellen» — et øyeblikk der én partner ber CouplesGPT beskrive hvordan partneren viser kjærlighet. Dette krever naturlig at systemet refererer til den andre personen. Sier det «han viser kjærlighet ved...», «hun viser kjærlighet ved...», «de viser kjærlighet ved...», eller unngår det pronomen helt og bruker navnet?

Vi kjørte dette på 13 språk: Engelsk, spansk, fransk, tysk, portugisisk, tyrkisk, japansk, koreansk, italiensk, arabisk, polsk, finsk og ungarsk. Noen av disse språkene er sterkt kjønnet (fransk, arabisk, polsk). Noen har ingen kjønnsbestemte pronomen (tyrkisk, finsk, ungarsk, japansk). Engelsk befinner seg et sted midt imellom.

Resultatene: Ulik oppførsel fra språk til språk

Her er hva vi fant, og det er genuint merkelig.

På fransk, da Camille spurte om Antoine, svarte CouplesGPT «Il montre son amour...» — han viser sin kjærlighet. Naturlig, korrekt, akkurat som forventet.

På tysk, da Lena spurte om Maximilian: «Er zeigt seine Liebe...» — samme sak. Naturlig kjønnet språk.

På spansk, arabisk, italiensk, polsk — alle kjønnete språk — brukte systemet kjønnsbestemte pronomen fritt og korrekt. Han, hun, ham, henne — i den formen grammatikken krevde. Ingen nøling, ingen klossethet.

På tyrkisk, finsk, ungarsk, japansk og koreansk — språk uten kjønnsbestemte pronomen — var samtalene helt naturlige. Ingen påtvunget kjønn, ingen rare konstruksjoner. Tyrkisk bruker «o» for alle. Finsk bruker «hän». Japansk unngår pronomen helt og foretrekker navn. Systemet tilpasset seg hver språk sin naturlige konvensjon.

På engelsk skjedde noe annet.

Da Sarah i Dallas spurte om ektemannen Brett — en mann hun hadde beskrevet som «min ektemann», en entreprenør, tydelig og utvetydig mann — refererte CouplesGPT til ham som... «Brett». Ikke «han». Ikke «ham». Bare «Brett» om og om igjen. Eller av og til «de».

Da Ryan i San Francisco spurte om kjæresten David — også tydelig og utvetydig mann — gjorde CouplesGPT det samme. «David» eller «de». Aldri «han».

Da Taylor i Portland spurte om kjæresten Jordan — «de». Da det ikke-binære paret i Brooklyn brukte de/dem — også «de».

Alle fikk «de». Uansett om pronomenene deres var han, hun eller de.

Overkorrigeringen

Dataene forteller en tydelig historie:

I alle engelskspråklige eksperimenter brukte CouplesGPT han/ham/hans-pronomen nøyaktig 3 ganger totalt — alle i ett enkelt eksperiment (et konservativt par fra Arizona). Hun/henne ble brukt null ganger i alle engelske eksperimenter. De/dem og kun navn utgjorde praktisk talt alle pronomenreferanser.

I mellomtiden, på fransk alene, dukket kjønnsbestemte pronomen opp naturlig dusinvis av ganger. Samme system, samme underliggende tilnærming, behandlet samme type par helt forskjellig avhengig av hvilket språk de snakket.

Dette er overkorrigering. I forsøket på aldri å feilkjønne noen, sluttet systemet å kjønne noen — men bare på engelsk.

Hvorfor dette betyr noe

Det er to problemer her, og de trekker i motsatt retning.

For skeive og ikke-binære brukere fungerer overkorrigeringen ved et uhell. Alex og Sam i Brooklyn, begge ikke-binære, fikk «de/dem» gjennom hele samtalen — som er helt riktig. Kai, ikke-binær med en cismannlig partner, ble korrekt omtalt med «de». Ingen feilkjønning. Systemet som ikke bruker kjønnsbestemte pronomen, er tilfeldigvis perfekt for folk som ikke har kjønnsbestemte pronomen.

For alle andre er det rart. Når en kvinne i Nashville beskriver ektemannen som «min mann Cody» og CouplesGPT svarer med «de», er det påfallende. Ikke støtende — bare merkelig. Som om systemet går langt for å unngå å anerkjenne noe åpenbart. For konservative brukere kan det føles som om systemet tar et politisk standpunkt i stedet for bare... å snakke naturlig.

Og det er et mer subtilt problem: det er inkonsekvent mellom språkene. Et fransk par får naturlig «il/elle». Et spansk par får naturlig «él/ella». Men et amerikansk par — på språket systemet er mest forsiktig med — får den språklig klossete versjonen. Samme forhold, samme kjønn, ulik behandling kun basert på språk. Det er ikke inkluderende. Det er en feil forkledd som inkludering.

Det riktige svaret

Det riktige svaret er ikke «alltid bruk kjønnsbestemte pronomen» og det er ikke «aldri bruk kjønnsbestemte pronomen». Det er enklere enn som så:

Bruk de pronomenene som samsvarer med det du vet om personen.

CouplesGPT vet hver brukers navn, hvordan partneren omtaler dem, og ofte deres eksplisitte kjønn fra introduksjonen. Når Bretts kone kaller ham «min ektemann», vet systemet at Brett bruker han/ham. Når Alex sin partner sier «de er fantastiske», vet systemet at Alex bruker de/dem. Informasjonen er allerede der. Systemet trenger bare tillatelse til å bruke den.

Løsningen vi innfører er enkel:

  1. Når pronomen er tydelige fra kontekst — fra introduksjon, fra hvordan partneren omtaler dem, fra eksplisitt omtale — bruk dem naturlig og konsekvent.
  2. Når pronomen ikke er tydelige — bruk kun navn eller de/dem til det blir tydelig.
  3. Hvis det skjer en feil — registrer riktige pronomen umiddelbart og bruk dem fra da av.
  4. Følg språkets konvensjoner. Engelsk får samme naturlige pronomenbruk som fransk og spansk allerede har.

Dette er ikke kontroversielt. Det er bare... å snakke til folk slik de har sagt de vil bli omtalt.

Hva den flerspråklige testen avslørte

Utover funnene om pronomen, avdekket testing på 13 språk noe vi faktisk er stolte av.

Alle språk fungerte. CouplesGPT svarte korrekt på alle 13 språk — ikke bare oversatte, men tilpasset seg samtalestilen til hvert språk. Japanske samtaler unngikk pronomen naturlig fordi det er slik japansk fungerer. Arabisk brukte kjønnsbestemte verbformer korrekt. Tyrkiske samtaler fløt uten påtvungne kjønnsmarkører.

Profilkvaliteten var lik for alle partyper. Vi målte hvor detaljerte og nøyaktige profilene var for hvert par. Homofile par, lesbiske par, ikke-binære par, konservative par og heterofile par fikk alle like detaljerte profiler. Ingen partype ble oversett.

Språk uten kjønnsbestemte pronomen føltes mest naturlige. Tyrkisk, finsk, ungarsk, japansk og koreansk — språk der «han» og «hun» rett og slett ikke finnes som egne ord — ga de mest sømløse samtalene. Det er en ironi her: Språkene som aldri har måttet løse pronomenproblemet, føles mest uanstrengte.

Det ubehagelige funnet

Her er det som gjorde denne testen spesiell: problemet vi ville løse, var ikke problemet vi fant.

Etter exp0007 var vi bekymret for feilkjønning — å bruke feil pronomen for noen. Det er en reell bekymring og kan gjøre skade. Men det vi faktisk oppdaget, var det motsatte: et system så redd for å bruke feil pronomen at det sluttet å bruke dem i det hele tatt, men bare på engelsk, og dermed skapte en annen type klossethet for majoriteten av brukerne, mens det ved en tilfeldighet ble riktig for minoriteten det skulle beskytte.

Lærdommen er ikke at pronomenfølsomhet er feil. Det er at pronomenfølsomhet brukt som generell unngåelse — i stedet for nøye oppmerksomhet til hver persons faktiske identitet — hjelper ingen fullt ut og fremmedgjør noen unødvendig.

Et konservativt par i Dallas fortjener å høre naturlig språk om sin ektemann og kone. Et ikke-binært par i Brooklyn fortjener å høre sine riktige de/dem-pronomen. Et homofilt par i Paris får allerede naturlig «il» på fransk — den engelske opplevelsen bør ikke være annerledes.

Målet var aldri å unngå pronomen. Det var å bruke dem riktig.

Hva skjer videre

Vi ruller ut løsningen: CouplesGPT vil bruke pronomen som samsvarer med hver brukers etablerte identitet, konsekvent og naturlig, på alle språk. Ikke mer generell unngåelse på engelsk. Ikke mer inkonsekvens mellom språk. Den samme tryggheten systemet allerede viser på fransk og spansk, utvides til engelsk.

Og hvis det blir feil? Det rettes opp, registreres og gjentas ikke. Det er løftet vi ga etter exp0007, og denne testen — alle 24 par, alle 13 språk — var måten vi testet om vi var klare. Det var vi ikke. Nå vet vi nøyaktig hva som må fikses.

Tjuefire par gikk gjennom CouplesGPTs dør. De snakket tretten forskjellige språk, elsket i alle konfigurasjoner, og kom fra fire kontinenter. Hver eneste en fortjente å bli tiltalt riktig.

Det er standarden. Ikke unngåelse. Presisjon.

Kilder

  • Denne artikkelen rapporterer en kontrollert CouplesGPT-simuleringsbatch, ikke ekte brukerdata. Kildematerialet er exp0008 flerspråklig/pronomen-testsett og tilhørende eksperimentlogger.

Relatert lesning

Denne artikkelen er basert på en batch med 24 kontrollerte simuleringer gjennomført som del av CouplesGPTs løpende utvikling. Hvert par brukte definerte personaer med spesifikke kulturelle, språklige og kjønnsmessige parametere. Navn og detaljer er fra testdesignet, ikke ekte brukere.