Mô hình ngôn ngữ lớn có thể tạo ra những câu trả lời trôi chảy nhưng không nhất quán, thiếu thông tin hoặc sai một cách đầy tự tin. Để kiểm thử hiệu quả, bạn cần hiểu điều gì đang diễn ra phía sau giao diện và những đặc điểm đó làm thay đổi phương pháp kiểm thử như thế nào.
LLM for Testers là khóa học thực hành gồm hai module, được xây dựng xoay quanh một phòng lab AI thực tế. Bạn sẽ tìm hiểu cách LLM xử lý văn bản dưới dạng token, tạo nội dung từng token một, hoạt động trong giới hạn ngữ cảnh và đưa ra kết quả có thể thay đổi giữa các lần chạy. Khóa học cũng giải thích cách dữ liệu huấn luyện, prompt, fine-tuning, RAG và việc lựa chọn mô hình ảnh hưởng đến hành vi, chất lượng, chi phí và rủi ro.
Module 1: The LLM Big Picture trình bày những khái niệm thiết yếu bằng ngôn ngữ dễ hiểu. Bạn sẽ học cách xác định các thành phần của một hệ thống sử dụng LLM, khoanh vùng nguồn gây lỗi, kiểm thử những kết quả có tính biến đổi và phân biệt giữa tính lặp lại với tính chính xác.
Module 2: The LLM Play Lab chuyển các khái niệm đó thành hoạt động thực hành. Sau mỗi phần minh họa ngắn, bạn sẽ làm việc trực tiếp với một mô hình thực tế để kiểm tra mức sử dụng token, giới hạn ngữ cảnh, hiện tượng tạo thông tin sai, câu trả lời bị cắt, khả năng xử lý lỗi chính tả, điểm tương đồng, ảnh hưởng của quá trình huấn luyện và rủi ro hồi quy. Bạn cũng sẽ thực hành sử dụng đáp án chuẩn và bằng chứng để đánh giá kết quả, đồng thời xác định vấn đề nên được xử lý bằng cách sửa prompt, áp dụng RAG, fine-tuning hay thay đổi mô hình.
Hai module có thể được học độc lập. Module 1 gồm khoảng 65 phút nội dung trong chín phần. Module 2 gồm 21 bài thực hành chính, kéo dài khoảng 2 giờ 20 phút, cùng hai bài tùy chọn. Khóa học không yêu cầu kỹ năng lập trình.
Đồng phát triển bởi Shade of Hue và 3th Floor Studios.