CRAFT-MD: Tiêu chuẩn mới đánh giá AI trong ngành y tế

Dù đạt điểm cao trong các kỳ thi y khoa, trí tuệ nhân tạo (AI) vẫn chưa làm tốt nhiệm vụ giao tiếp với bệnh nhân để thu thập thông tin và đưa ra chẩn đoán chính xác. Một nghiên cứu mới cho thấy AI y tế đang gặp khó khăn trong việc xử lý các tình huống tương tác thực tế với bệnh nhân.

Kết quả ấn tượng nhưng chưa đủ thực tế

Các mô hình trí tuệ nhân tạo tiên tiến, như GPT-4 của OpenAI, đã đạt thành tích ấn tượng với độ chính xác lên tới 82% khi thực hiện chẩn đoán từ các bản tóm tắt ca bệnh và lựa chọn đáp án từ danh sách có sẵn. Tuy nhiên, độ chính xác giảm mạnh xuống chỉ còn 26% khi AI phải thực hiện chẩn đoán thông qua các cuộc trò chuyện mô phỏng với bệnh nhân.

Theo Pranav Rajpurkar, chuyên gia tại Đại học Harvard, vấn đề nằm ở khả năng tương tác. “Các mô hình ngôn ngữ lớn tuy thể hiện xuất sắc trong các bài kiểm tra trắc nghiệm, nhưng độ chính xác giảm đáng kể trong các cuộc hội thoại động,” ông nhận định.

CRAFT-MD: Tiêu chuẩn đánh giá mới cho AI y tế

Để kiểm tra khả năng của AI trong môi trường y tế thực tế, các nhà nghiên cứu đã phát triển tiêu chuẩn CRAFT-MD, tập trung vào các cuộc trò chuyện mô phỏng giữa bác sĩ và bệnh nhân.

Bộ dữ liệu này dựa trên 2.000 ca bệnh từ các kỳ thi y khoa chuyên nghiệp tại Mỹ, với sự tham gia của GPT-4 đóng vai trò “bệnh nhân AI.” Kết quả được đối chiếu bởi các chuyên gia y tế nhằm đảm bảo độ chính xác.

Theo Shreya Johri, đồng tác giả nghiên cứu tại Harvard, CRAFT-MD phản ánh thực tế, khi bệnh nhân không biết phải cung cấp thông tin nào quan trọng và thường chỉ tiết lộ khi được hỏi đúng câu. Điều này giúp đánh giá kỹ năng lấy tiền sử bệnh – yếu tố không thể kiểm tra qua các bài thi lý thuyết.

Khả năng thu thập thông tin: Vấn đề lớn của AI

Ngay cả mô hình tốt nhất là GPT-4 cũng chỉ thu thập đầy đủ tiền sử bệnh trong 71% các cuộc trò chuyện mô phỏng. Thêm vào đó, mặc dù có đủ thông tin, AI vẫn thường xuyên đưa ra chẩn đoán không chính xác.

Điều này cho thấy khoảng cách lớn giữa hiệu suất của AI trong môi trường giả lập và khả năng ứng dụng thực tế. Các mô hình AI khác, như GPT-3.5 của OpenAI hay Llama-2 của Meta, đều có hiệu suất thấp hơn hoặc không ổn định trong các thử nghiệm này.

AI không thể thay thế bác sĩ

Eric Topol, nhà nghiên cứu tại Viện Scripps, nhận xét rằng tiêu chuẩn CRAFT-MD là bước tiến quan trọng để đánh giá AI trong y tế. Tuy nhiên, ông nhấn mạnh rằng việc AI vượt qua tiêu chuẩn này không đồng nghĩa với việc nó sẽ thay thế bác sĩ.

Theo Rajpurkar, thực hành y khoa không chỉ là đưa ra chẩn đoán mà còn bao gồm quản lý nhiều bệnh nhân, phối hợp với đội ngũ y tế và hiểu rõ các yếu tố xã hội, hệ thống y tế địa phương. AI, dù có mạnh mẽ đến đâu, vẫn chưa thể sánh với kinh nghiệm và phán đoán toàn diện của các bác sĩ thực thụ.

Tương lai của AI trong y tế

Dù còn nhiều hạn chế, AI vẫn có tiềm năng trở thành công cụ hỗ trợ mạnh mẽ trong y tế, giúp bác sĩ phân tích nhanh dữ liệu và đưa ra gợi ý chẩn đoán. Tuy nhiên, để đạt được điều này, cần tiếp tục cải thiện khả năng giao tiếp và xử lý thông tin thực tế của các mô hình AI.

Nghiên cứu này không chỉ cho thấy tiềm năng mà còn nhấn mạnh thách thức lớn đối với việc tích hợp AI vào ngành y tế, nơi con người vẫn giữ vai trò trung tâm.