AI2 ra mắt OLMo, mô hình ngôn ngữ “thách thức” Llama của Meta

Một gia đình mô hình AI mới đã xuất hiện, và nó là một trong số ít mô hình có thể được tái tạo từ đầu. Vào thứ ba, Ai2 tổ chức nghiên cứu AI phi lợi nhuận do Paul Allen sáng lập, đã phát hành OLMo 2, gia đình mô hình thứ hai trong series OLMo của mình. (OLMo là viết tắt của “Open Language Model” – Mô hình ngôn ngữ mở). Mặc dù không thiếu các mô hình ngôn ngữ “mở” để lựa chọn (ví dụ: Llama của Meta), OLMo 2 đáp ứng định nghĩa về AI mã nguồn mở của Open Source Initiative, nghĩa là các công cụ và dữ liệu được sử dụng để phát triển nó đều được công khai.

Open Source Initiative, tổ chức lâu đời với mục tiêu xác định và “quản lý” tất cả những thứ liên quan đến mã nguồn mở, đã hoàn thiện định nghĩa về AI mã nguồn mở vào tháng 10. Nhưng các mô hình OLMo đầu tiên, được phát hành vào tháng 2, cũng đáp ứng tiêu chí này.

“OLMo 2 được phát triển từ đầu đến cuối với dữ liệu huấn luyện mở và có thể truy cập, mã huấn luyện mã nguồn mở, công thức huấn luyện có thể tái tạo, đánh giá minh bạch, điểm kiểm tra trung gian và hơn thế nữa”, AI2 viết trong một bài đăng trên blog. “Bằng cách chia sẻ công khai dữ liệu, công thức và phát hiện của mình, chúng tôi hy vọng sẽ cung cấp cho cộng đồng mã nguồn mở các tài nguyên cần thiết để khám phá các phương pháp mới và sáng tạo.”

Có hai mô hình trong gia đình OLMo 2: một mô hình có 7 tỷ tham số (OLMo 7B) và một mô hình có 13 tỷ tham số (OLMo 13B). Tham số tương ứng với kỹ năng giải quyết vấn đề của mô hình và các mô hình có nhiều tham số thường hoạt động tốt hơn so với các mô hình có ít tham số hơn.

Giống như hầu hết các mô hình ngôn ngữ, OLMo 2 7B và 13B có thể thực hiện một loạt các tác vụ dựa trên văn bản, như trả lời câu hỏi, tóm tắt tài liệu và viết mã.

Để huấn luyện các mô hình, Ai2 đã sử dụng tập dữ liệu gồm 5 nghìn tỷ mã thông báo. Mã thông báo đại diện cho các bit dữ liệu thô; 1 triệu mã thông báo tương đương với khoảng 750.000 từ. Tập huấn luyện bao gồm các trang web “được lọc để có chất lượng cao”, bài báo học thuật, diễn đàn hỏi đáp và sách bài tập toán “cả tổng hợp và do con người tạo ra”.

Ai2 tuyên bố kết quả là các mô hình có hiệu suất cạnh tranh với các mô hình mở như Llama 3.1 của Meta.

“Chúng tôi không chỉ quan sát thấy sự cải thiện đáng kể về hiệu suất trên tất cả các tác vụ so với mô hình OLMo trước đó của chúng tôi mà đáng chú ý là OLMo 2 7B vượt trội hơn LLama 3.1 8B”, Ai2 viết. “OLMo 2 đại diện cho các mô hình ngôn ngữ mở hoàn toàn tốt nhất cho đến nay.”

Các mô hình OLMo 2 và tất cả các thành phần của chúng có thể được tải xuống từ trang web của Ai2. Chúng thuộc giấy phép Apache 2.0, nghĩa là chúng có thể được sử dụng cho mục đích thương mại.

Gần đây đã có một số tranh luận về tính an toàn của các mô hình mở, với việc các mô hình Llama được cho là đang được các nhà nghiên cứu Trung Quốc sử dụng để phát triển công cụ quốc phòng. Khi được hỏi liệu có lo ngại về việc OLMo bị lạm dụng hay không, kỹ sư Dirk Groeneveld của Ai2 cho biết ông tin rằng lợi ích cuối cùng sẽ lớn hơn tác hại.

“Đúng vậy, có thể các mô hình mở có thể bị sử dụng không đúng cách hoặc cho các mục đích ngoài ý muốn”, ông nói. “Tuy nhiên, phương pháp này] cũng thúc đẩy những tiến bộ kỹ thuật dẫn đến các mô hình đạo đức hơn; là điều kiện tiên quyết để xác minh và tái tạo, vì những điều này chỉ có thể đạt được khi có quyền truy cập vào toàn bộ ngăn xếp; và giảm sự tập trung quyền lực ngày càng tăng, tạo ra khả năng truy cập công bằng hơn”.