66b được mô tả như một mô hình ngôn ngữ với khoảng 66 tỷ tham số, thuộc gia đình transformer. Nó được huấn luyện trên khối lượng dữ liệu đa dạng để nắm bắt ngữ nghĩa, cú pháp và thông tin thế hệ mới.
Kiến trúc dựa trên cơ chế tự chú ý, cho phép mô hình xử lý đầu vào theo chiều dài mà không bị giới hạn ở cửa sổ ngữ cảnh cứng nhắc. Huấn luyện viên lấy mẫu từ dữ liệu nguồn, tối ưu bằng một tập hợp hàm mất mát và kỹ thuật tối ưu hóa phù hợp.