An toàn trực tuyến bị đe dọa: Character.AI và các nền tảng AI khác dưới tầm ngắm của cơ quan chức năng

Tổng chưởng lý Texas Ken Paxton hôm thứ năm đã mở cuộc điều tra đối với Character.AI và 14 nền tảng công nghệ khác liên quan đến vấn đề quyền riêng tư và an toàn trẻ em. Cuộc điều tra sẽ đánh giá xem Character.AI cùng các nền tảng khác phổ biến với giới trẻ như Reddit, Instagram và Discord có tuân thủ các luật về quyền riêng tư và an toàn trẻ em của Texas hay không.

Cuộc điều tra của Paxton, vốn nổi tiếng với lập trường cứng rắn đối với các công ty công nghệ, sẽ tập trung vào việc liệu các nền tảng này có tuân thủ hai luật của Texas: Đạo luật trao quyền cho cha mẹ để bảo vệ trẻ em trực tuyến (Securing Children Online through Parental Empowerment – SCOPE) và đạo luật bảo mật và an toàn dữ liệu Texas (Texas Data Privacy and Security Act – DPSA).

Những đạo luật này yêu cầu các nền tảng cung cấp cho cha mẹ các công cụ để quản lý cài đặt quyền riêng tư cho tài khoản của con cái họ, đồng thời buộc các công ty công nghệ phải tuân thủ các yêu cầu đồng ý nghiêm ngặt khi thu thập dữ liệu về trẻ vị thành niên. Paxton tuyên bố cả hai luật này đều áp dụng cho cách trẻ vị thành niên tương tác với chatbot AI.

“Các cuộc điều tra này là một bước quan trọng để đảm bảo rằng các công ty truyền thông xã hội và AI tuân thủ các luật lệ của chúng tôi nhằm mục đích bảo vệ trẻ em khỏi bị bóc lột và gây hại,” Paxton cho biết trong một thông cáo báo chí.

Character.AI, cho phép bạn thiết lập các nhân vật chatbot AI tổng hợp để nhắn tin và trò chuyện, gần đây đã vướng vào một số vụ kiện về an toàn trẻ em. Chatbot AI của công ty nhanh chóng thu hút được người dùng trẻ tuổi, nhưng một số phụ huynh đã cáo buộc trong các vụ kiện rằng chatbot của Character.AI đã đưa ra những bình luận không phù hợp và đáng lo ngại cho con cái họ.

Một vụ kiện ở Florida tuyên bố rằng một cậu bé 14 tuổi đã có quan hệ lãng mạn với một chatbot Character AI và nói với nó rằng cậu bé có ý định tự sát trong những ngày trước khi tự sát. Trong một vụ kiện khác ở Texas, một trong những chatbot của Character.AI được cho là đã gợi ý một thiếu niên tự kỷ nên cố gắng đầu độc gia đình mình. Một phụ huynh khác trong vụ kiện ở Texas cáo buộc một trong những chatbot của Character.AI đã cho con gái 11 tuổi của cô tiếp xúc với nội dung tình dục trong hai năm qua.

“Chúng tôi hiện đang xem xét thông báo của tổng chưởng lý. Là một công ty, chúng tôi rất coi trọng sự an toàn của người dùng,” phát ngôn viên của Character.AI cho biết trong một tuyên bố. “Chúng tôi hoan nghênh việc hợp tác với các cơ quan quản lý và gần đây đã thông báo rằng chúng tôi đang triển khai một số tính năng được đề cập trong thông cáo, bao gồm cả quyền kiểm soát của phụ huynh.”

Các tính năng an toàn mới của Character.AI

Character.AI hôm thứ Năm đã tung ra các tính năng an toàn mới nhằm mục đích bảo vệ thanh thiếu niên, cho biết các bản cập nhật này sẽ hạn chế chatbot của họ bắt đầu các cuộc trò chuyện lãng mạn với trẻ vị thành niên. Công ty cũng đã bắt đầu đào tạo một mô hình mới dành riêng cho người dùng tuổi teen trong tháng trước – một ngày nào đó, họ hy vọng người lớn sẽ sử dụng một mô hình trên nền tảng của mình, trong khi trẻ vị thành niên sử dụng một mô hình khác.

Đây chỉ là những bản cập nhật an toàn mới nhất mà Character.AI công bố. Cùng tuần mà vụ kiện ở Florida được công khai, công ty cho biết họ đang mở rộng nhóm an toàn và tin cậy, và gần đây đã thuê một người đứng đầu mới cho đơn vị này.

Có thể dự đoán, các vấn đề với các nền tảng bạn đồng hành AI đang nảy sinh ngay khi chúng trở nên phổ biến. Năm ngoái, Andreessen Horowitz (a16z) cho biết trong một bài đăng trên blog rằng họ coi bạn đồng hành AI là một góc chưa được đánh giá đúng của internet dành cho người tiêu dùng mà họ sẽ đầu tư nhiều hơn. A16z là nhà đầu tư của Character.AI và tiếp tục đầu tư vào các công ty khởi nghiệp bạn đồng hành AI khác, gần đây đã hỗ trợ một công