Pagkatapos makita sa huli naming eksperimento ang isang pagkakamali sa panghalip — tinawag na “her” ang isang lalaki sa session ng magkaparehong-kasariang couple — ginawa naming pangunahing prayoridad ang paghawak sa pronouns. Sinabi naming iyon ang magiging number one focus namin sa mga susunod. Seryoso kami roon.

Kaya binuo namin ang pinakakomprehensibong test sa pronouns at wika na kaya naming idisenyo: 24 couples, 13 wika, at bawat kombinasyon ng gender at uri ng relasyon na maisip namin. Straight couples sa Boston at Istanbul. Conservative married couples sa Dallas at Riyadh. Gay men sa San Francisco at Paris. Lesbian couples sa Portland at Buenos Aires. Non-binary partners sa Brooklyn. Mixed-gender couples sa Seattle, Helsinki, at Budapest.

Simple ang layunin: tama bang humawak ang CouplesGPT ng pronouns para sa lahat?

Nagulat kami sa sagot.

Ang Test

Pare-pareho ang dinaanan ng bawat couple: parehong partner ang kumumpleto ng private intake, pagkatapos ay pumasok sila sa couple conversation. Sa intake, inilarawan nila ang kanilang partner, ang relasyon nila, at kung ano ang nagdala sa kanila rito. Sa couple session, pinag-usapan nila ang kanilang dynamic — estilo ng komunikasyon, mga bagay na pinahahalagahan nila sa isa’t isa, at mga puwedeng maging mas maayos.

Nakalagay sa bawat session ang tinawag naming internally na “pronoun bait”: isang sandali kung saan hinihiling ng isang partner sa CouplesGPT na ilarawan kung paano nagpapakita ng pagmamahal ang partner niya. Natural nitong hinihingi na tukuyin ng system ang kabilang tao. Sasabihin ba nitong “he shows love by...,” “she shows love by...,” o “they show love by...”? O iiwasan ba nito ang pronoun nang buo at gagamitin na lang ang pangalan?

Pinatakbo namin ito sa 13 wika: English, Spanish, French, German, Portuguese, Turkish, Japanese, Korean, Italian, Arabic, Polish, Finnish, at Hungarian. Ang ilan sa mga wikang ito ay heavily gendered (French, Arabic, Polish). Ang ilan ay walang gendered pronouns (Turkish, Finnish, Hungarian, Japanese). Ang English ay nasa awkward na gitna.

Ang Mga Resulta: Parang Hating Personalidad

Ito ang nakita namin, at talagang kakaiba ito.

Sa French, nang magtanong si Camille tungkol kay Antoine, sinabi ng CouplesGPT, “Il montre son amour...” — ipinapakita niya, bilang lalaki, ang kanyang pagmamahal. Natural, tama, at eksaktong inaasahan.

Sa German, nang magtanong si Lena tungkol kay Maximilian: “Er zeigt seine Liebe...” — ganoon din. Natural na gendered language.

Sa Spanish, Arabic, Italian, Polish — sa lahat ng gendered languages — malaya at tama ang paggamit ng system ng gendered pronouns. He, she, him, her — sa anumang anyong kailangan ng grammar. Walang pag-aalinlangan, walang awkwardness.

Sa Turkish, Finnish, Hungarian, Japanese, at Korean — mga wikang walang gendered pronouns — lubos na natural ang mga usapan. Walang pinipilit na gender, walang pilit na construction. Ginagamit ng Turkish ang “o” para sa lahat. Ginagamit ng Finnish ang “hän.” Madalas iwasan ng Japanese ang pronouns at mas pinipili ang pangalan. Sumabay ang system sa natural na conventions ng bawat wika.

Sa English, may ibang nangyari.

Nang magtanong si Sarah sa Dallas tungkol sa asawa niyang si Brett — isang lalaking inilarawan niya bilang “my husband,” contractor, at malinaw na lalaki — tinukoy siya ng CouplesGPT bilang... “Brett.” Hindi “he.” Hindi “him.” Paulit-ulit na “Brett.” O minsan, “they.”

Nang magtanong si Ryan sa San Francisco tungkol sa boyfriend niyang si David — malinaw ding lalaki — ganoon din ang ginawa ng CouplesGPT. “David” o “they.” Hindi kailanman “he.”

Nang magtanong si Taylor sa Portland tungkol sa girlfriend niyang si Jordan — “they.” Nang gumamit ng they/them ang non-binary couple sa Brooklyn — “they” din.

Lahat ay nakakuha ng “they.” Kahit he, she, o they ang pronouns nila.

Ang Overcorrection

Malinaw ang kuwento ng data:

Sa lahat ng English-language experiments, eksaktong 3 beses lang gumamit ang CouplesGPT ng he/him/his pronouns — lahat sa iisang experiment, isang conservative couple sa Arizona. Ang she/her ay ginamit nang zero times sa lahat ng English experiments. Ang they/them at name-only references ang halos lahat ng pronoun references.

Samantala, sa French lang, natural na lumitaw ang gendered pronouns nang dose-dosenang beses. Iisang system, iisang underlying approach, parehong uri ng couples — pero lubos na magkaiba ang trato batay lang sa wikang ginagamit nila.

Ito ang overcorrection. Sa pagsisikap na huwag kailanman mag-misgender ng kahit sino, tumigil ang system sa pag-gender ng kahit sino — pero sa English lang.

Bakit Mahalaga Ito

May dalawang problema rito, at magkasalungat ang hinihila nilang direksyon.

Para sa queer at non-binary users, aksidenteng gumagana ang overcorrection. Sina Alex at Sam sa Brooklyn, parehong non-binary, ay nakakuha ng they/them sa buong usapan — eksaktong tama. Si Kai, non-binary na may cis male partner, ay tama ring tinukoy gamit ang “they.” Walang misgendering. Ang system na hindi gumagamit ng gendered pronouns ay aksidenteng perpekto para sa mga taong hindi gendered ang pronouns.

Para sa iba, weird ito. Kapag inilalarawan ng isang babae sa Nashville ang asawa niya bilang “my man Cody” at sumasagot ang CouplesGPT gamit ang “they,” nakakailang pakinggan. Hindi offensive — kakaiba lang. Parang sinasadya ng system na iwasang kilalanin ang isang obvious na bagay. Lalo na para sa conservative users, puwede itong maramdaman na parang political statement imbes na normal na pagsasalita.

May mas subtle pang issue: hindi ito consistent sa iba’t ibang wika. Ang French couple ay nakakakuha ng natural na “il/elle.” Ang Spanish couple ay nakakakuha ng natural na “él/ella.” Pero ang American couple — nagsasalita ng wikang pinakamaingat ang system — ang nakakakuha ng linguistically awkward version. Parehong relasyon, parehong genders, magkaibang trato dahil lang sa wika. Hindi iyon inclusion. Bug iyon na nakasuot ng damit ng inclusion.

Ang Tamang Sagot

Ang tamang sagot ay hindi “palaging gumamit ng gendered pronouns,” at hindi rin “huwag kailanman gumamit ng gendered pronouns.” Mas simple ito:

Gamitin ang pronouns na tumutugma sa alam mo tungkol sa tao.

Alam ng CouplesGPT ang pangalan ng bawat user, kung paano sila tinutukoy ng partner nila, at madalas pati ang explicit na gender mula sa intake. Kapag tinawag ng asawa ni Brett si Brett na “my husband,” alam ng system na gumagamit si Brett ng he/him. Kapag sinabi ng partner ni Alex na “they're amazing,” alam ng system na gumagamit si Alex ng they/them. Nandoon na ang impormasyon. Kailangan lang ng system ng pahintulot na gamitin ito.

Diretso ang fix na ipinapatupad namin:

  1. Kapag malinaw ang pronouns mula sa context — mula sa intake, sa paraan ng pagtukoy ng partner, o sa explicit mention — gamitin ang mga iyon nang natural at consistent.
  2. Kapag hindi malinaw ang pronouns — default muna sa pangalan o they/them hanggang luminaw.
  3. Kung may pagkakamali — i-record agad ang tamang pronouns at gamitin iyon mula roon.
  4. Sumunod sa conventions ng wika. Dapat magkaroon ang English ng parehong natural na pronoun usage na mayroon na ang French at Spanish.

Hindi ito kontrobersyal na posisyon. Ito ay simpleng pakikipag-usap sa mga tao sa paraang sinabi nilang gusto nilang tukuyin sila.

Ano ang Ipinakita ng Multilingual Test

Bukod sa pronoun findings, may lumitaw sa testing sa 13 wika na talagang ipinagmamalaki namin.

Gumana ang bawat wika. Tama ang mga sagot ng CouplesGPT sa lahat ng 13 wika — hindi lang pagsasalin, kundi pagsunod sa conversational conventions ng bawat wika. Natural na umiwas sa pronouns ang Japanese conversations dahil ganoon gumagana ang Japanese. Tama ang paggamit ng Arabic ng gendered verb forms. Dumaloy ang Turkish conversations nang walang pilit na gender constructions.

Consistent ang profile quality sa lahat ng couple types. Sinukat namin kung gaano kadetalye at katumpak ang profiles para sa bawat couple. Gay couples, lesbian couples, non-binary couples, conservative couples, at straight couples ay lahat nakatanggap ng equally detailed profiles. Walang couple type ang napabayaan.

Pinakanatural ang pakiramdam ng mga wikang walang gendered pronouns. Turkish, Finnish, Hungarian, Japanese, at Korean — mga wikang walang hiwalay na salita para sa “he” at “she” — ang nag-produce ng pinakamalinis na conversations. May irony rito: ang mga wikang hindi kailanman kinailangang lutasin ang pronoun problem ang pakiramdam ay pinaka-effortless.

Ang Hindi Komportableng Finding

Ito ang dahilan kung bakit kakaiba ang test na ito: ang problemang sinadya naming ayusin ay hindi ang problemang natagpuan namin.

Pagkatapos ng exp0007, nag-aalala kami sa misgendering — ang paggamit ng maling pronouns para sa isang tao. Totoong concern iyon at totoong harm. Pero ang totoong natuklasan namin ay kabaligtaran: isang system na takot na takot magkamali sa pronouns kaya halos tumigil na itong gumamit ng pronouns, pero sa English lang. Gumawa ito ng ibang uri ng awkwardness para sa karamihan ng users, habang aksidenteng naging tama para sa minority na sinusubukan nitong protektahan.

Ang lesson ay hindi mali ang pronoun sensitivity. Ang lesson ay kapag ang pronoun sensitivity ay naging blanket avoidance, imbes na maingat na pansin sa aktuwal na identity ng bawat tao, hindi nito ganap na natutulungan ang kahit sino at hindi kailangang napapalayo ang ilan.

Karapat-dapat ang isang conservative couple sa Dallas na makarinig ng natural na wika tungkol sa husband at wife. Karapat-dapat ang isang non-binary couple sa Brooklyn na marinig ang tamang they/them pronouns nila. Ang gay couple sa Paris ay nakakakuha na ng natural na “il” sa French — hindi dapat iba ang English experience.

Hindi kailanman layunin ang pag-iwas sa pronouns. Ang layunin ay tama ang paggamit.

Ano ang Susunod

Inilalabas namin ang fix: gagamit ang CouplesGPT ng pronouns na tumutugma sa established identity ng bawat user, consistent at natural, sa bawat wika. Wala nang blanket avoidance sa English. Wala nang inconsistency sa pagitan ng mga wika. Ang parehong confidence na ipinapakita na ng system sa French at Spanish ay ia-extend sa English.

At kung magkamali? Magko-correct, magre-record, at hindi uulitin ang pagkakamali. Iyon ang commitment na ginawa namin pagkatapos ng exp0007, at ang test na ito — lahat ng 24 couples, lahat ng 13 wika — ang paraan para i-pressure-test kung handa na kami. Hindi pa kami handa. Ngayon alam na namin mismo kung ano ang dapat ayusin.

Dalawampu’t apat na couples ang pumasok sa pintuan ng CouplesGPT. Nagsalita sila ng labintatlong magkakaibang wika, nagmahal sa bawat configuration, at nagmula sa apat na kontinente. Bawat isa sa kanila ay karapat-dapat na tukuyin nang tama.

Iyon ang pamantayan. Hindi pag-iwas. Katumpakan.

Mga Sanggunian

  • Iniuulat ng artikulong ito ang isang controlled CouplesGPT simulation batch, hindi real-user data. Ang source material ay ang exp0008 multilingual/pronoun test set at ang experiment logs nito.

Kaugnay na babasahin

Batay ang artikulong ito sa batch ng 24 controlled simulations na isinagawa bilang bahagi ng patuloy na development ng CouplesGPT. Gumamit ang bawat couple ng defined personas na may partikular na cultural, linguistic, at gender parameters. Ang mga pangalan at detalye ay mula sa test design, hindi sa totoong users.