Hiệu năng của ChatGPT-4 giảm sút khi xử lý các tác vụ phức tạp

Mới đây, một báo cáo từ Artificial Analysis cho thấy mô hình ngôn ngữ lớn GPT-4o của OpenAI đã giảm sút đáng kể trong những tuần gần đây, khiến hiệu suất của mô hình hàng đầu này ngang bằng với GPT-4o-mini, mô hình nhỏ hơn và kém khả năng hơn nhiều.

Phân tích này được đưa ra chưa đầy 24 giờ sau khi công ty thông báo nâng cấp cho mô hình GPT-4o. “Khả năng viết sáng tạo của mô hình đã được nâng cấp – tự nhiên hơn, hấp dẫn hơn và viết được cá nhân hóa hơn để cải thiện tính liên quan và khả năng đọc,” OpenAI viết trên X. “Nó cũng tốt hơn trong việc làm việc với các tệp được tải lên, cung cấp những hiểu biết sâu sắc hơn và phản hồi kỹ lưỡng hơn.” Tuy nhiên, những tuyên bố này hiện đang bị nghi ngờ.

“Chúng tôi đã hoàn thành việc chạy các đánh giá độc lập của mình trên bản phát hành GPT-4o của OpenAI vào ngày hôm qua và liên tục đo được điểm đánh giá thấp hơn đáng kể so với bản phát hành GPT-4o vào tháng 8,” Artificial Analysis thông báo qua một bài đăng trên X vào thứ Năm, lưu ý rằng chỉ số chất lượng phân tích nhân tạo của mô hình giảm từ 77 xuống 71 (và hiện bằng với GPT-4o mini).

Hơn nữa, hiệu suất của GPT-4o trên điểm chuẩn GPQA Diamond giảm từ 51% xuống 39% trong khi điểm chuẩn MATH giảm từ 78% xuống 69%.

Đồng thời, các nhà nghiên cứu phát hiện ra tốc độ tăng gấp đôi của phản hồi của mô hình, tăng tốc từ khoảng 80 token đầu ra mỗi giây lên khoảng 180 token/giây. “Chúng tôi thường quan sát thấy tốc độ tăng đáng kể vào ngày ra mắt đối với các mô hình của OpenAI (có thể là do OpenAI cung cấp khả năng trước khi áp dụng), nhưng trước đây chưa từng thấy sự khác biệt về tốc độ gấp 2 lần,” các nhà nghiên cứu viết.

“Dựa trên dữ liệu này, chúng tôi kết luận rằng mô hình GPT-4o ngày 20 tháng 11 của OpenAI có thể là một mô hình nhỏ hơn so với bản phát hành tháng 8,” họ tiếp tục. “Vì OpenAI chưa giảm giá cho phiên bản ngày 20 tháng 11, chúng tôi khuyến nghị các nhà phát triển không chuyển khối lượng công việc khỏi phiên bản tháng 8 mà không kiểm tra kỹ lưỡng.”

GPT-4o lần đầu tiên được phát hành vào tháng 5 năm 2024 để vượt qua các mô hình GPT-3.5 và GPT-4 hiện có. Theo OpenAI, GPT-4o cung cấp kết quả điểm chuẩn hàng đầu trong các nhiệm vụ giọng nói, đa ngôn ngữ và thị giác, khiến nó trở nên lý tưởng cho các ứng dụng tiên tiến như dịch thuật thời gian thực và AI hội thoại.