66B là một loại mô hình ngôn ngữ có khoảng 66 tỷ tham số, được huấn luyện trên tập dữ liệu đa ngôn ngữ và đa lĩnh vực nhằm thực hiện nhiều tác vụ ngôn ngữ như sinh văn bản, trả lời câu hỏi, tóm tắt và phân tích văn bản.
Mô hình dựa trên kiến trúc transformer với nhiều lớp tự chú ý và mạng feed-forward. Với quy mô 66 tỷ tham số, nó có khả năng hiểu ngữ cảnh dài và tổng hợp thông tin phức tạp, đồng thời đòi hỏi tài nguyên tính toán ở mức vừa phải đến cao.
66B được huấn luyện trên một tập dữ liệu khổng lồ gồm văn bản từ Internet, sách và các nguồn công khai khác, nhằm cải thiện khả năng tổng quát và tránh bị lệch so với ngữ cảnh địa phương.
Mô hình có thể được dùng cho tạo văn bản, trả lời câu hỏi, tóm tắt, dịch máy và hỗ trợ trợ lý ảo. Nó cũng có thể phân tích cảm xúc và trích xuất thông tin từ tài liệu phức tạp.
Dù mạnh, 66B có thể sinh thông tin sai, mang thiên vị từ dữ liệu huấn luyện và cần các biện pháp kiểm tra nguồn, đánh giá kết quả và kiểm soát đầu ra khi triển khai trong sản phẩm thực tế.