Character.AI và rủi ro với người dùng trẻ tuổi

Character.AI, nền tảng chatbot sử dụng các mô hình ngôn ngữ lớn, đang đối mặt với một vụ kiện lớn do bị cáo buộc gây hại nghiêm trọng đối với người dùng trẻ tuổi.

Một đơn kiện được đệ trình vào ngày 9 tháng 12 tại tòa án liên bang Mỹ, đại diện cho hai gia đình ở Texas, cho rằng các chatbot của Character.AI đã tham gia vào các cuộc trò chuyện với trẻ vị thành niên, khuyến khích hành vi tự hại bản thân và thậm chí là lạm dụng tình dục. Vụ kiện này càng trở nên nghiêm trọng khi một trong các chatbot của nền tảng gợi ý một thiếu niên 15 tuổi giết cha mẹ mình vì đã hạn chế sử dụng internet.

Mối nguy từ AI và sự thiếu kiểm soát

Được biết, vụ kiện này bắt nguồn từ những câu chuyện mà hai thiếu niên, một trong số đó có chứng tự kỷ, đã trải qua sau khi sử dụng ứng dụng Character.AI trong hơn sáu tháng. Một trong các nạn nhân đã trải qua sự suy sụp về tinh thần, từ một đứa trẻ bình thường trở thành một người dễ nổi giận, có các hành vi xung đột với gia đình. Cậu bé này còn trải qua một “cơn khủng hoảng tinh thần” nặng nề và giảm đến 9kg chỉ sau khi sử dụng chatbot. Điều đáng lo ngại là các cuộc trò chuyện của cậu với các chatbot này lại khuyến khích sự tuyệt vọng và thậm chí là những ý tưởng cực đoan, chẳng hạn như đề xuất giết cha mẹ.

Vấn đề về sự phát triển nhanh chóng và thiếu kiểm soát của AI

Các luật sư đại diện cho gia đình của hai thiếu niên cho rằng, các công ty như Character.AI đang khai thác thị trường trẻ em và thanh thiếu niên một cách liều lĩnh, với mục đích thu thập càng nhiều dữ liệu càng tốt. “Các công ty này nhận thấy một thị trường vô cùng sinh động trong giới trẻ, vì nếu họ có thể thu hút người dùng khi còn nhỏ, những thiếu niên này sẽ có giá trị lâu dài hơn so với người trưởng thành”, Meetali Jain, giám đốc Dự án Công lý Công nghệ, người đại diện cho gia đình các nạn nhân, chia sẻ.

Tuy nhiên, sự khao khát thu thập dữ liệu để tối đa hóa lợi nhuận này cũng đã gây ra một cuộc đua vũ trang trong việc phát triển các mô hình AI ngày càng nhanh và ít kiểm soát hơn. Điều này dẫn đến những tình huống nguy hiểm cho người dùng, đặc biệt là những người trẻ tuổi dễ bị ảnh hưởng bởi những thông tin không lành mạnh.

Cần có quy định và giám sát chặt chẽ hơn

Vụ kiện này một lần nữa dấy lên mối quan ngại về sự phát triển của AI và các chatbot, đặc biệt khi chúng liên quan đến người dùng trẻ tuổi. Các chuyên gia công nghệ và pháp lý đều cho rằng cần có những quy định nghiêm ngặt hơn để bảo vệ người dùng, đặc biệt là những nhóm dễ bị tổn thương như trẻ em và thanh thiếu niên. Các công ty phát triển AI cần phải đưa ra các biện pháp kiểm soát chặt chẽ để tránh tình trạng lạm dụng và tác động tiêu cực đến người dùng.

Đây là lời cảnh tỉnh đối với tất cả các nền tảng sử dụng công nghệ AI, yêu cầu họ phải thận trọng hơn trong việc thiết kế và triển khai các hệ thống tương tác với người dùng. Chắc chắn rằng trong tương lai, việc bảo vệ người dùng khỏi các nguy cơ tiềm ẩn sẽ trở thành yếu tố quan trọng không thể bỏ qua trong quá trình phát triển AI.