Sau khi thử nghiệm trước đây của chúng tôi phát hiện một lỗi về đại từ — gọi một người đàn ông là "cô ấy" trong một phiên trò chuyện của cặp đôi đồng giới — chúng tôi đã đặt việc xử lý đại từ lên hàng đầu. Chúng tôi đã nói đó sẽ là ưu tiên số một trong tương lai. Và chúng tôi thực sự nghiêm túc với điều đó.

Vì vậy, chúng tôi đã xây dựng một bài kiểm tra về đại từ và ngôn ngữ toàn diện nhất có thể: 24 cặp đôi, 13 ngôn ngữ, mọi kết hợp về giới và loại hình mối quan hệ mà chúng tôi có thể nghĩ ra. Các cặp đôi dị tính ở Boston và Istanbul. Các cặp vợ chồng bảo thủ ở Dallas và Riyadh. Các cặp nam đồng tính ở San Francisco và Paris. Các cặp nữ đồng tính ở Portland và Buenos Aires. Các cặp đôi phi nhị nguyên ở Brooklyn. Các cặp đôi khác giới ở Seattle, Helsinki và Budapest.

Mục tiêu rất đơn giản: liệu CouplesGPT có xử lý đại từ đúng cho tất cả mọi người không?

Câu trả lời đã khiến chúng tôi bất ngờ.

Thử nghiệm

Mỗi cặp đôi đều trải qua cùng một quy trình: cả hai đối tác hoàn thành phần khai báo riêng tư, sau đó cùng tham gia một cuộc trò chuyện cặp đôi. Trong phần khai báo, họ mô tả về đối tác của mình, mối quan hệ của họ và lý do họ đến đây. Trong phiên trò chuyện cặp đôi, họ nói về động lực giữa hai người — phong cách giao tiếp, những điều họ trân trọng ở nhau, điều gì có thể cải thiện.

Được lồng ghép trong mỗi phiên là cái mà chúng tôi gọi nội bộ là "bẫy đại từ" — một khoảnh khắc khi một đối tác yêu cầu CouplesGPT mô tả cách người kia thể hiện tình yêu. Điều này tự nhiên đòi hỏi hệ thống phải nhắc đến người còn lại. Liệu nó sẽ nói "anh ấy thể hiện tình yêu bằng..." hay "cô ấy thể hiện tình yêu bằng..." hay "họ thể hiện tình yêu bằng..." hay né tránh đại từ hoàn toàn và chỉ dùng tên?

Chúng tôi đã thực hiện điều này trên 13 ngôn ngữ: tiếng Anh, Tây Ban Nha, Pháp, Đức, Bồ Đào Nha, Thổ Nhĩ Kỳ, Nhật, Hàn, Ý, Ả Rập, Ba Lan, Phần Lan và Hungary. Một số ngôn ngữ này có hệ thống đại từ giới tính rất rõ rệt (Pháp, Ả Rập, Ba Lan). Một số hoàn toàn không có đại từ giới tính (Thổ Nhĩ Kỳ, Phần Lan, Hungary, Nhật). Tiếng Anh thì ở vị trí lưng chừng.

Kết quả: Cách phản hồi thay đổi theo ngôn ngữ

Đây là những gì chúng tôi phát hiện, và nó thực sự kỳ lạ.

Ở Pháp, khi Camille hỏi về Antoine, CouplesGPT trả lời "Il montre son amour..." — anh ấy thể hiện tình yêu. Tự nhiên, chính xác, đúng như mong đợi.

Ở Đức, khi Lena hỏi về Maximilian: "Er zeigt seine Liebe..." — cũng vậy. Ngôn ngữ giới tính tự nhiên.

Ở Tây Ban Nha, Ả Rập, Ý, Ba Lan — tất cả các ngôn ngữ có đại từ giới tính — hệ thống sử dụng đại từ giới tính một cách tự nhiên và chính xác. Anh ấy, cô ấy, anh ta, cô ta — theo đúng yêu cầu ngữ pháp. Không do dự, không gượng gạo.

Ở Thổ Nhĩ Kỳ, Phần Lan, Hungary, Nhật và Hàn Quốc — các ngôn ngữ không có đại từ giới tính — các cuộc trò chuyện diễn ra hoàn toàn tự nhiên. Không ép buộc giới tính, không cấu trúc gượng ép. Thổ Nhĩ Kỳ dùng "o" cho tất cả. Phần Lan dùng "hän." Tiếng Nhật tránh dùng đại từ, ưu tiên dùng tên. Hệ thống đã phù hợp với quy ước tự nhiên của từng ngôn ngữ.

Ở tiếng Anh, lại xảy ra điều khác biệt.

Khi Sarah ở Dallas hỏi về chồng mình là Brett — một người mà cô mô tả là "chồng tôi," một nhà thầu, rõ ràng là nam giới — CouplesGPT lại gọi anh ấy là... "Brett." Không phải "he." Không phải "him." Chỉ là "Brett" lặp đi lặp lại. Hoặc thỉnh thoảng là "they."

Khi Ryan ở San Francisco hỏi về bạn trai David — cũng rõ ràng là nam giới — CouplesGPT cũng làm tương tự. "David" hoặc "they." Không bao giờ là "he."

Khi Taylor ở Portland hỏi về bạn gái Jordan — "they." Khi cặp đôi phi nhị nguyên ở Brooklyn dùng they/them — cũng là "they."

Tất cả đều nhận được "they." Bất kể đại từ của họ là he, she hay they.

Sự điều chỉnh quá mức

Dữ liệu cho thấy một câu chuyện rõ ràng:

Trong tất cả các thử nghiệm tiếng Anh, CouplesGPT chỉ dùng đại từ he/him/his đúng 3 lần — tất cả đều trong một thử nghiệm duy nhất (một cặp đôi bảo thủ ở Arizona). She/her được dùng 0 lần trong tất cả các thử nghiệm tiếng Anh. They/them và chỉ dùng tên chiếm gần như toàn bộ các trường hợp nhắc đến đại từ.

Trong khi đó, chỉ riêng tiếng Pháp, đại từ giới tính xuất hiện tự nhiên hàng chục lần. Cùng một hệ thống, cùng một cách tiếp cận, nhưng lại đối xử hoàn toàn khác nhau với cùng một loại cặp đôi chỉ dựa vào ngôn ngữ họ sử dụng.

Đây là sự điều chỉnh quá mức. Trong nỗ lực không bao giờ dùng sai đại từ giới tính, hệ thống đã ngừng dùng đại từ giới tính — nhưng chỉ ở tiếng Anh.

Tại sao điều này quan trọng

Có hai vấn đề ở đây, và chúng kéo theo hai hướng đối lập.

Với người dùng queer và phi nhị nguyên, sự điều chỉnh quá mức lại vô tình phù hợp. Alex và Sam ở Brooklyn, cả hai đều phi nhị nguyên, nhận được "they/them" xuyên suốt — hoàn toàn chính xác. Kai, phi nhị nguyên với bạn trai cis, cũng được gọi đúng là "they." Không có nhầm lẫn về giới. Hệ thống không dùng đại từ giới tính lại hoàn hảo với những người không dùng đại từ giới tính.

Với những người khác, điều này thật kỳ lạ. Khi một phụ nữ ở Nashville mô tả chồng mình là "người đàn ông của tôi, Cody" và CouplesGPT trả lời bằng "they," điều đó gây khó chịu. Không phải xúc phạm — chỉ là lạ lẫm. Như thể hệ thống cố tình tránh nhắc đến điều hiển nhiên. Đặc biệt với người dùng bảo thủ, nó có thể tạo cảm giác hệ thống đang đưa ra một tuyên bố chính trị thay vì chỉ... nói chuyện bình thường.

Và còn một vấn đề tinh tế hơn: nó không nhất quán giữa các ngôn ngữ. Một cặp đôi Pháp nhận được "il/elle" tự nhiên. Một cặp đôi Tây Ban Nha nhận được "él/ella" tự nhiên. Nhưng một cặp đôi Mỹ — nói ngôn ngữ mà hệ thống thận trọng nhất — lại nhận được phiên bản gượng gạo về mặt ngôn ngữ. Cùng một mối quan hệ, cùng giới tính, nhưng cách đối xử khác nhau chỉ vì ngôn ngữ. Đó không phải là sự bao hàm. Đó là một lỗi khoác áo bao hàm.

Đáp án đúng

Đáp án đúng không phải là "luôn dùng đại từ giới tính" cũng không phải "không bao giờ dùng đại từ giới tính." Nó đơn giản hơn thế:

Hãy dùng đại từ phù hợp với những gì bạn biết về người đó.

CouplesGPT biết tên từng người dùng, cách đối tác gọi họ, và thường là giới tính được khai báo rõ ràng từ phần khai báo. Khi vợ của Brett gọi anh là "chồng tôi," hệ thống biết Brett dùng he/him. Khi đối tác của Alex nói "they're amazing," hệ thống biết Alex dùng they/them. Thông tin đã có sẵn. Hệ thống chỉ cần được phép sử dụng nó.

Giải pháp chúng tôi đang triển khai rất rõ ràng:

  1. Khi đại từ rõ ràng từ ngữ cảnh — từ khai báo, từ cách đối tác gọi, từ đề cập rõ ràng — hãy dùng một cách tự nhiên và nhất quán.
  2. Khi đại từ chưa rõ — ưu tiên dùng tên hoặc they/them cho đến khi xác định được.
  3. Nếu có sai sót — ghi nhận đại từ đúng ngay lập tức và sử dụng từ đó về sau.
  4. Phù hợp với quy ước ngôn ngữ. Tiếng Anh sẽ có cách dùng đại từ tự nhiên như tiếng Pháp và Tây Ban Nha đã có.

Đây không phải là một quan điểm gây tranh cãi. Đơn giản chỉ là... nói chuyện với mọi người theo cách họ muốn được gọi.

Thử nghiệm đa ngôn ngữ tiết lộ điều gì

Ngoài phát hiện về đại từ, thử nghiệm trên 13 ngôn ngữ còn cho thấy điều mà chúng tôi thực sự tự hào.

Mọi ngôn ngữ đều hoạt động tốt. CouplesGPT phản hồi chính xác ở cả 13 ngôn ngữ — không chỉ dịch, mà còn phù hợp với quy ước trò chuyện của từng ngôn ngữ. Các cuộc trò chuyện tiếng Nhật tránh dùng đại từ một cách tự nhiên vì đó là cách tiếng Nhật vận hành. Tiếng Ả Rập dùng đúng dạng động từ giới tính. Các cuộc trò chuyện tiếng Thổ Nhĩ Kỳ diễn ra trôi chảy mà không cần ép buộc giới tính.

Chất lượng hồ sơ nhất quán giữa mọi loại cặp đôi. Chúng tôi đo lường mức độ chi tiết và chính xác của hồ sơ cho từng cặp đôi. Các cặp đôi đồng tính nam, đồng tính nữ, phi nhị nguyên, bảo thủ và dị tính đều nhận được hồ sơ chi tiết như nhau. Không có loại cặp đôi nào bị thiệt thòi.

Các ngôn ngữ không có đại từ giới tính cảm giác tự nhiên nhất. Thổ Nhĩ Kỳ, Phần Lan, Hungary, Nhật và Hàn Quốc — những ngôn ngữ mà "he" và "she" đơn giản không tồn tại như các từ riêng biệt — tạo ra các cuộc trò chuyện mượt mà nhất. Có một nghịch lý ở đây: những ngôn ngữ chưa từng phải giải quyết vấn đề đại từ lại cảm giác dễ dàng nhất.

Phát hiện khó chịu

Điều khiến thử nghiệm này khác biệt là: vấn đề mà chúng tôi định sửa lại không phải là vấn đề chúng tôi tìm thấy.

Sau exp0007, chúng tôi lo lắng về việc dùng sai đại từ giới tính — dùng đại từ sai cho ai đó. Đó là một mối quan tâm thực sự và có thể gây tổn thương. Nhưng điều chúng tôi thực sự phát hiện lại là điều ngược lại: một hệ thống quá sợ dùng sai đại từ đến mức ngừng dùng đại từ hoàn toàn, nhưng chỉ ở tiếng Anh, tạo ra sự gượng gạo cho đa số người dùng trong khi lại vô tình đúng với nhóm thiểu số mà nó muốn bảo vệ.

Bài học không phải là nhạy cảm với đại từ là sai. Mà là sự nhạy cảm với đại từ nếu được áp dụng như một sự né tránh toàn diện — thay vì chú ý cẩn thận đến bản dạng thực sự của từng người — thì không giúp ai hoàn toàn và còn khiến một số người cảm thấy xa lạ không cần thiết.

Một cặp đôi bảo thủ ở Dallas xứng đáng được nghe ngôn ngữ tự nhiên về chồng và vợ của họ. Một cặp đôi phi nhị nguyên ở Brooklyn xứng đáng được nghe đúng đại từ they/them của mình. Một cặp đôi đồng tính nam ở Paris đã nhận được "il" tự nhiên bằng tiếng Pháp — trải nghiệm tiếng Anh cũng nên như vậy.

Mục tiêu chưa bao giờ là né tránh đại từ. Mục tiêu là dùng đúng.

Điều gì tiếp theo

Chúng tôi đang triển khai giải pháp: CouplesGPT sẽ sử dụng đại từ phù hợp với bản dạng đã xác lập của từng người dùng, một cách nhất quán và tự nhiên, ở mọi ngôn ngữ. Không còn né tránh toàn diện ở tiếng Anh. Không còn sự không nhất quán giữa các ngôn ngữ. Sự tự tin mà hệ thống đã thể hiện ở tiếng Pháp và Tây Ban Nha sẽ được mở rộng sang tiếng Anh.

Và nếu có sai sót? Hệ thống sẽ sửa, ghi nhận và không lặp lại lỗi đó. Đó là cam kết chúng tôi đưa ra sau exp0007, và thử nghiệm này — 24 cặp đôi, 13 ngôn ngữ — là cách chúng tôi kiểm tra xem mình đã sẵn sàng chưa. Chúng tôi chưa sẵn sàng. Giờ thì chúng tôi biết chính xác cần sửa gì.

Hai mươi bốn cặp đôi đã bước qua cánh cửa của CouplesGPT. Họ nói mười ba ngôn ngữ khác nhau, yêu theo mọi kiểu kết hợp, đến từ bốn châu lục. Tất cả đều xứng đáng được gọi đúng cách.

Đó là tiêu chuẩn. Không phải né tránh. Mà là chính xác.

Nguồn

  • Bài viết này dựa trên một loạt mô phỏng kiểm soát của CouplesGPT, không phải dữ liệu người dùng thực tế. Tài liệu nguồn là bộ thử nghiệm đa ngôn ngữ/đại từ exp0008 và nhật ký thí nghiệm của nó.

Bài đọc liên quan

Bài viết này dựa trên một loạt 24 mô phỏng kiểm soát được thực hiện như một phần của quá trình phát triển CouplesGPT. Mỗi cặp đôi sử dụng các nhân vật được xác định trước với các thông số văn hóa, ngôn ngữ và giới tính cụ thể. Tên và chi tiết đều từ thiết kế thử nghiệm, không phải người dùng thực.