66B là một mô hình ngôn ngữ lớn (LLM) gồm khoảng 66 tỷ tham số, được thiết kế để hiểu và sinh ngôn ngữ tự nhiên. Nó có thể xử lý văn bản, trả lời câu hỏi, tóm tắt, và hỗ trợ các tác vụ sáng tạo khi được cung cấp một prompt phù hợp.
66B thuộc họ transformer, có nhiều lớp self-attention, kích thước tham số lớn cho hiệu suất tốt trên nhiều tác vụ. Mô hình này tối ưu hóa để cân bằng giữa khả năng hiểu ngữ cảnh và tốc độ suy diễn trên phần cứng trung bình.
66B được huấn luyện trên một khối lượng dữ liệu lớn từ nhiều nguồn như văn bản web, sách, bài báo và tài liệu công khai, với các biện pháp lọc nhằm giảm thông tin sai lệch và chướng ngại bảo mật. Quá trình huấn luyện tập trung vào tối ưu hoá khả năng dự đoán từ tiếp theo trong ngữ cảnh.
Nó có thể tạo nội dung, hỗ trợ lập trình, phân tích dữ liệu, trợ giúp giáo dục, và hỗ trợ giao tiếp đa ngôn ngữ. Tuy nhiên vẫn cần kiểm tra đầu ra, vì rủi ro sai lệch thông tin hoặc không phù hợp với ngữ cảnh cụ thể.
66B có giới hạn như dễ lẫn thông tin sai lệch, phụ thuộc dữ liệu huấn luyện, và có thể không nắm bắt ngữ cảnh mới nhanh như con người. Cần giám sát và đánh giá đầu ra trong ứng dụng thực tế.