Mistral phát hành API kiểm duyệt, giúp kiểm soát nội dung độc hại

Startup AI Mistral vừa ra mắt API mới dành cho việc kiểm duyệt nội dung. API này, cũng chính là API hỗ trợ tính năng kiểm duyệt trên nền tảng chatbot Le Chat của Mistral, có thể được điều chỉnh cho phù hợp với các ứng dụng và tiêu chuẩn an toàn cụ thể. API này được hỗ trợ bởi một mô hình tinh chỉnh (Ministral 8B) được huấn luyện để phân loại văn bản bằng nhiều ngôn ngữ, bao gồm tiếng Anh, tiếng Pháp và tiếng Đức, thành một trong chín loại: tình dục, thù địch và phân biệt đối xử, bạo lực và đe dọa, nội dung nguy hiểm và phạm pháp, tự gây hại, sức khỏe, tài chính, pháp luật và thông tin nhận dạng cá nhân.

API kiểm duyệt có thể được áp dụng cho cả văn bản thô hoặc văn bản hội thoại, Mistral cho biết: “Trong vài tháng qua, chúng tôi đã chứng kiến sự quan tâm ngày càng tăng trong ngành và cộng đồng nghiên cứu đối với các hệ thống kiểm duyệt mới dựa trên AI, có thể giúp việc kiểm duyệt trở nên có khả năng mở rộng và mạnh mẽ hơn trên các ứng dụng”. Bộ phân loại kiểm duyệt nội dung của chúng tôi tận dụng các danh mục chính sách phù hợp nhất để tạo ra các rào cản hiệu quả và giới thiệu một cách tiếp cận thực dụng đối với an toàn mô hình bằng cách giải quyết các tác hại do mô hình tạo ra như lời khuyên không đủ tiêu chuẩn và thông tin nhận dạng cá nhân.

Các hệ thống kiểm duyệt do AI hỗ trợ rất hữu ích về mặt lý thuyết. Nhưng chúng cũng dễ bị ảnh hưởng bởi những thành kiến và lỗ hổng kỹ thuật tương tự như các hệ thống AI khác.

Ví dụ: một số mô hình được huấn luyện để phát hiện độc tính lại coi các cụm từ trong tiếng Anh bản ngữ của người Mỹ gốc Phi (AAVE), ngữ pháp không chính thức được sử dụng bởi một số người Mỹ da đen, là “độc hại” một cách không tương xứng. Các nghiên cứu đã phát hiện ra rằng các bài đăng trên mạng xã hội về người khuyết tật cũng thường bị gắn cờ là tiêu cực hoặc độc hại hơn bởi các mô hình phát hiện độc tính và tình cảm công khai thường được sử dụng.

Mistral tuyên bố rằng mô hình kiểm duyệt của họ có độ chính xác cao – nhưng cũng thừa nhận rằng nó vẫn đang được phát triển. Đáng chú ý, công ty không so sánh hiệu suất của API của mình với các API kiểm duyệt phổ biến khác, như Perspective API của Jigsaw và API kiểm duyệt của OpenAI.

“Chúng tôi đang hợp tác với khách hàng của mình để xây dựng và chia sẻ các công cụ kiểm duyệt có khả năng mở rộng, gọn nhẹ và có thể tùy chỉnh”, công ty cho biết và sẽ tiếp tục hợp tác với cộng đồng nghiên cứu để đóng góp những tiến bộ về an toàn cho lĩnh vực rộng lớn hơn.”

Mistral cũng đã công bố API hàng loạt vào hôm nay. Công ty cho biết họ có thể giảm 25% chi phí của các mô hình được phục vụ thông qua API của mình bằng cách xử lý các yêu cầu khối lượng lớn một cách không đồng bộ. Anthropic, OpenAI, Google và những công ty khác cũng cung cấp các tùy chọn xử lý hàng loạt cho API AI của họ.