66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để sinh văn bản, phân tích ngôn ngữ và hỗ trợ các tác vụ AI khác nhau. Mô hình ở mức giữa các mô hình lớn và nhỏ, nhắm tới sự cân bằng giữa hiệu suất và tài nguyên tính toán.
66B dựa trên kiến trúc Transformer phổ biến, với nhiều lớp chú ý tự động và feed-forward, có thể xử lý ngữ cảnh dài và mô hình hoá ngôn ngữ phức tạp. Dữ liệu được tổng hợp từ nhiều nguồn ngôn ngữ để tăng khả năng đa ngôn ngữ và khái quát hoá.
Trên các nhiệm vụ chuẩn NLP, 66B cho kết quả cạnh tranh với các mô hình có tham số lớn hơn, đặc biệt là trong sinh văn bản, tóm tắt và trả lời câu hỏi. Tuy nhiên, nó vẫn có giới hạn về dài hạn ngữ cảnh, tránh thiên vị dữ liệu và tiêu hao tài nguyên.
66B được dùng trong chatbots, trợ lý ảo, trợ giúp viết lách, phân tích dữ liệu và hỗ trợ nghiên cứu. Người dùng có thể fine-tune cho các ngữ cảnh riêng biệt, tối ưu hóa hiệu suất và độ tin cậy.
Với sự tiến bộ của phần mềm và hardware, các phiên bản 66B có thể tiếp tục mở rộng khả năng, cải thiện sự hiểu ngôn ngữ và giảm sai lệch. Thách thức chủ yếu vẫn là chất lượng dữ liệu, dự trữ tài nguyên và đạo đức khi triển khai trong cộng đồng.