Meta “lột xác” Llama, bất ngờ với những cải tiến vượt bậc

Meta vừa công bố thành viên mới nhất trong gia đình mô hình AI tạo sinh Llama: Llama 3.3 70B.

Theo Ahmad Al-Dahle, phó chủ tịch phụ trách AI tạo sinh tại Meta, Llama 3.3 70B là mô hình chỉ văn bản, mang lại hiệu suất tương đương Llama 3.1 405B (mô hình Llama lớn nhất của Meta) nhưng với chi phí thấp hơn đáng kể.

“Bằng cách tận dụng những tiến bộ mới nhất trong kỹ thuật hậu huấn luyện… mô hình này cải thiện hiệu suất cốt lõi với chi phí thấp hơn đáng kể”, Al-Dahle cho biết.

Biểu đồ do Al-Dahle công bố cho thấy Llama 3.3 70B vượt trội so với Gemini 1.5 Pro của Google, GPT-4o của OpenAI và Nova Pro của Amazon trên một số điểm chuẩn công nghiệp, bao gồm MMLU (đánh giá khả năng hiểu ngôn ngữ của mô hình). Người phát ngôn của Meta cho biết mô hình này sẽ mang lại những cải tiến trong các lĩnh vực như toán học, kiến thức chung, tuân theo hướng dẫn và sử dụng ứng dụng.

Chiến lược “mở” của Meta

Llama 3.3 70B hiện có sẵn để tải xuống từ nền tảng phát triển AI Hugging Face và các nguồn khác, bao gồm trang web chính thức của Llama. Đây là bước đi mới nhất của Meta nhằm thống trị lĩnh vực AI với các mô hình “mở”, có thể được sử dụng và thương mại hóa cho nhiều ứng dụng khác nhau.

Mặc dù Meta đặt ra một số hạn chế đối với việc sử dụng mô hình Llama (ví dụ: các nền tảng có hơn 700 triệu người dùng hàng tháng phải yêu cầu giấy phép đặc biệt), nhưng điều này không ảnh hưởng nhiều đến sức hút của Llama. Theo Meta, Llama đã đạt hơn 650 triệu lượt tải xuống.

Llama: “Con dao hai lưỡi”

Meta cũng sử dụng Llama trong nội bộ. Meta AI, trợ lý AI của công ty, được hỗ trợ hoàn toàn bởi các mô hình Llama, hiện có gần 600 triệu người dùng hoạt động hàng tháng. CEO Mark Zuckerberg tuyên bố Meta AI đang trên đà trở thành trợ lý AI được sử dụng nhiều nhất trên thế giới.

Tuy nhiên, tính chất “mở” của Llama cũng mang đến những rủi ro. Gần đây, có báo cáo cho rằng các nhà nghiên cứu quân sự Trung Quốc đã sử dụng mô hình Llama để phát triển chatbot quốc phòng. Meta đã phản hồi bằng cách cung cấp các mô hình Llama cho các nhà thầu quốc phòng Mỹ.

Meta cũng bày tỏ lo ngại về khả năng tuân thủ đạo luật AI của EU, cho rằng việc thực thi luật “quá khó lường” đối với chiến lược phát hành mở của mình. Một vấn đề liên quan khác là các quy định trong GDPR (luật bảo vệ dữ liệu chung của EU) liên quan đến việc huấn luyện AI. Meta huấn luyện các mô hình AI trên dữ liệu công khai của người dùng Instagram và Facebook chưa từ chối – dữ liệu này ở châu Âu phải tuân theo các đảm bảo của GDPR.

Đầu tư mạnh mẽ vào cơ sở hạ tầng

Để đối phó với các thách thức kỹ thuật và huấn luyện các thế hệ Llama tiếp theo, Meta đang tăng cường đầu tư vào cơ sở hạ tầng. Công ty đã công bố kế hoạch xây dựng trung tâm dữ liệu AI trị giá 10 tỷ USD tại Louisiana – trung tâm dữ liệu AI lớn nhất mà Meta từng xây dựng.

Zuckerberg cho biết để huấn luyện Llama 4, Meta sẽ cần năng lực tính toán gấp 10 lần so với Llama 3. Meta đã mua một cụm hơn 100.000 GPU Nvidia để phát triển mô hình, cạnh tranh với các đối thủ như xAI.

Huấn luyện mô hình AI tạo sinh là một hoạt động tốn kém. Chi phí vốn của Meta đã tăng gần 33% lên 8,5 tỷ USD trong quý 2 năm 2024, chủ yếu do đầu tư vào máy chủ, trung tâm dữ liệu và cơ sở hạ tầng mạng.