Microsoft Copilot ‘học’ thêm khả năng ‘nhìn’ màn hình trong trình duyệt Edge

Mustafa Suleyman, CEO của Microsoft AI, vừa công bố trên Bluesky rằng Copilot Vision, tính năng trợ lý AI của Microsoft có khả năng diễn giải nội dung trên màn hình và hỗ trợ người dùng tương tác với các ứng dụng, hiện đã được cung cấp miễn phí trong trình duyệt Edge. Microsoft mô tả Vision là một “trải nghiệm dựa trên giọng nói”, nghĩa là người dùng sẽ tương tác bằng cách nói vào không khí và chờ Copilot phản hồi.

Suleyman cho biết, nếu người dùng chấp nhận bật tính năng này, Copilot Vision có thể “thực sự nhìn thấy những gì bạn thấy trên màn hình”. Ông gợi ý người dùng có thể nhờ Copilot Vision hướng dẫn các bước trong một công thức nấu ăn trong khi đang thực hiện, hoặc yêu cầu nó “giải mã” các mô tả công việc để “nhảy thẳng vào việc chuẩn bị phỏng vấn tùy chỉnh hoặc lên ý tưởng cho thư xin việc”. (Mặc dù việc sử dụng AI cho sơ yếu lý lịch có thể không phải là ý tưởng tốt nhất). Theo trang hỗ trợ của Microsoft, “Copilot Vision có thể đánh dấu các phần trên màn hình để giúp bạn tìm thông tin liên quan”, nhưng nó không thực sự nhấp vào liên kết hoặc thực hiện bất kỳ hành động nào thay bạn.

Các tính năng Copilot Vision rộng hơn, trên toàn hệ thống, vẫn chỉ dành cho người đăng ký Copilot Pro. Với gói thuê bao, Vision mở rộng khả năng vượt ra ngoài Edge, cho phép bạn yêu cầu nó hỗ trợ sử dụng các tính năng trong Photoshop hoặc phần mềm chỉnh sửa video, hoặc hướng dẫn bạn chơi một trò chơi như Minecraft, như Tom Warren của The Verge đã trải nghiệm vào đầu tháng này.

Để dùng thử Copilot Vision, hãy mở liên kết đến trang web của Microsoft trong trình duyệt Edge. Thao tác này sẽ hiển thị lời nhắc để bạn chấp nhận bật tính năng. Sau khi cấp quyền, bạn có thể mở thanh bên Copilot khi đang ở trên một trang web, nhấp vào biểu tượng micro và phiên Vision của bạn sẽ bắt đầu, được báo hiệu bằng một tiếng chuông và màu sắc trình duyệt thay đổi.

Tuy nhiên, trải nghiệm thực tế có thể khác biệt. Trong trường hợp của người viết, phải mất vài lần thử Edge mới hỏi liệu họ có muốn bật tính năng này hay không. Và sau khi có thể bật và khởi chạy phiên Vision, các nút điều khiển không hề xuất hiện. Tại thời điểm viết bài, họ chỉ thấy một thông báo lơ lửng ở cuối trình duyệt với nội dung “Xin chờ một lát…”. Điều này có thể do họ đang sử dụng một chiếc máy tính xách tay cũ và cấu hình yếu.

Theo Microsoft, công ty lưu nhật ký các phản hồi của Copilot cho người dùng nhưng không thu thập dữ liệu đầu vào, hình ảnh hoặc nội dung trang khi đang trong phiên Copilot Vision. Khi bạn muốn ngừng chia sẻ màn hình với Copilot, bạn có thể kết thúc phiên hoặc đóng cửa sổ trình duyệt.