Câu truyện Lọ Lem, trộn gạo và đỗ rất dễ, nhặt riêng 2 loại rất mệt
Noise là gì? (thường là những thứ không mong muốn hoặc không biết)
- Là những thứ mình không biết nó tồn tại, không định vị được (học thừa)
- Không biết sự ảnh hưởng của nó (có thể gây ảnh hưởng xấu)
- Là những thứ không mong muốn làm ảnh hưởng xấu tới mục tiêu học (mất công khử nhiễu)
- Là sự không cân bằng của dữ liệu làm tốn thời gian học (học thừa)
Để khử noise triệt để ngay từ đầu cần:
- Xác định mục tiêu học rõ ràng (sự ko rõ ràng cũng là noise)
- Chọn lọc nguồn và làm dữ liệu thật cẩn thận
- Cân bằng dữ liệu (dedup, phân cụm / tỉa cụm, lựa chọn số thành viên mỗi cụm ...)
- Lên giáo trình học hợp lý (nền tảng học trước, skills học sau ...)
Với một mô hình đã được huấn luyện
- Có cách khởi tạo tham số của một thành phần mới của model hợp lý để giảm nhiễu, vì khi mở rộng tham số với khởi tạo ngẫu nhiên là ta đang inject white noise vào model (white noise là thuật ngữ trong âm thanh)
- Khi inject cái mới vào model, cần inject từ từ để không gây sốc

Nếu làm được 1. và 2. thì không cần mô hình lớn để đạt được kỹ năng muốn học

Học từ dễ tới khó khiến model "dễ" vào hơn (kể cả model nhỏ)
Dồn tất cả số tham số (nơ-ron) vào việc học pattern muốn học (không học thừa)

Nếu chưa trở thành nghệ nhân hãy là thợ thủ công lành nghề

AI là phần mềm (software), và software là một nghề thủ công (hand-craft), người viết phần mềm giỏi nhất là những nghệ nhân (rất hiếm), người viết phần mềm giỏi là các người thợ lành nghề.

Mội người thợ lành nghề cần sử dụng một bộ các công cụ và nguyên liệu đầu vào để tạo nên sản phẩm (với người thợ đạt đẳng cấp nghệ nhân thì gọi đó là tác phẩm). Toán học hay bất kỳ những công cụ nào (dù là lý thuyết hay thực hành, dù là hữu hình hay trừu tượng) cũng chỉ là một công cụ trong bộ công cụ. Cần sử dụng hợp lý, đúng lúc đúng chỗ và không một công cụ nào quyết định được giá trị của sản phẩm.

Quá trình tạo nên sản phẩm là một quá trình kiên nhẫn, tỉ mỉ, lâu dài, chấp nhận làm đi làm lại một việc cho tới khi master các kỹ năng để hoàn thành việc đó.

=> Chế tạo AI / LLM là một nghề thủ công!

Làm để vượt qua sợ và tham, lấy sự thỏa mãn lớn khi giải được bài toán khó làm phần thưởng

...

Datasets

zinz: Dân văn vở đi làm thư ký hoặc đi làm giải trí (nhập vai, đối thoại)

https://docs.google.com/document/d/1nLeNLTYkfw_aADf5CI7_goFTV4zTkWtwiJ-etfqrz2k/edit

Dữ liệu song ngữ Anh - Việt, Việt - Anh
Dữ liệu hội thoại Việt / Anh
Dữ liệu nhập vai Việt / Anh

Dữ liệu song ngữ tốt nhất là các sách / ấn phẩm đã được dịch từ tiếng Anh hoặc tiếng Trung sang tiếng Việt

(( b1 )) Tìm và soạn các tập dữ liệu song ngữ AV, VA để chuyển giao tri thức từ Anh sang Việt

=> Bot đi du học mới về nước, và bắt đầu học tiếng Việt

(( b2 )) Soạn tập dữ liệu tiếng Việt sạch, đúng chính tả để học tiếng Việt, và các kiến thức cơ bản có trong tiếng Việt.

=> Bot học tiếng Việt phổ thông, trình độ tốt nghiệp cấp 3

(( b3 )) Soạn tập dữ liệu sách, epub, văn học, có kiến thức về văn vở tốt.

=> Bot tiếp tục học nâng cao về chuyên ngành văn học, khoa văn, khoa báo chí ...

(( b4 )) Soạn tập dữ liệu truyện để học kỹ năng hội thoại, nhập vai. Có thể lồng ghép nhiều hơn kiến thức giải trí, vui vẻ hài hước ở bước này.

=> Bot tốt nghiệp khoa văn vở và chuyển sang làm ngành giải trí

(( b5 )) Sưu tầm các dữ liệu nhập vai, instruct chatbot tiếng Anh và tạo tập dữ liệu tương đương cho tiếng Việt để finetune thành chatbot. Tập dữ liệu instruct song ngữ cũng giúp kích hoạt lại 1 lần nữa việc chuyển giao tri thức giữa 2 ngôn ngữ.

=> Bot có năng lực nhập vai và trở thành những chuyên gia trong ngành giải trí

Note: Có thể dùng 1 tập instruct song ngữ chất lượng cao nhất để kích hoạt thay cho data nhập vai song ngữ.

(( b4 nâng cao)) Build dataset cẩn thận và sáng tạo như `docs/textbooks.md` để mở rộng năng lực.

Lấy mẫu các đoạn hội thoại để phân tích nhìn ra điểm mạnh yếu của các mẩu hội thoại
Lọc và cân bằng lại các mẩu hội thoại
Dùng bot xây dựng được ở b3 hoặc chatgpt để viết lại hội thoại
Dùng bot b3, bloomz 176b, hoặc chatgpt để sinh tiếp các hội thoại chưa có trong dataset

Note: các bot có thể dùng để làm tốt dữ liệu bao gồm:

bot tự train (b3 for example)
bot open source (bloomz 176b for example)
bot close source (chatgpt, google bard, claude ...)

Downloads last month: 41

Total file size:

62.3 GB

3 GIẢ THIẾT