【生成式AI時代下的機器學習(2025)】第六講：生成式人工智慧的後訓練(Post-Training)與遺忘問題

Video Description

投影片連結：https://docs.google.com/presentation/d/129jFUXCPekD2Qoaq6H0Ntasm0GUiK8_X/edit?usp=sharing&ouid=115046073158939078465&rtpof=true&sd=true 33:00 1:14:15 我怕口頭上沒有說清楚，所以再用文字說明。我認為未來的趨勢是，多數語言模型仍需要具備自己獨特的能力（例如：特別擅長寫程式）。一個大型計劃可能需要由多個具備不同專長的語言模型組成團隊，共同完成，就像人類社會中的分工合作一樣。但要注意，所謂「特別擅長寫程式」，並不代表其他能力都可以一概沒有，如果有一個擅長寫程式的模型，它在團隊中的角色是程式設計師，但若它除了寫程式以外，甚至無法理解人類語言，聽不懂其他團隊成員的指令（如：「這裡有個 bug」），無法與他人溝通，那並不是我們所追求的。因此，我們並不希望在 Post-training 階段發生嚴重的遺忘現象，至於可接受的遺忘程度，則取決於實際需求。例如，一個擔任程式設計師的語言模型如果不會寫唐詩，可能還可以接受；但如果它連基本的語言能力都喪失，那就不行了。就好像人類的程式設計師也許不一定擅長社交，但至少能跟其他人類溝通。 33:26 穿越到舊石器時代，開始講古，不喜歡聽講古的同學可略過 38:41 怕口頭解釋不清楚，這裡用文字補充。正確答案是英文 "seventy"，但語言模型輸出的是阿拉伯數字 "70"。按照該基準資料的評分方式，這會被判定為答錯，但其實語言模型是答對的。 45:20 Reply 為拼寫錯誤，應為 Replay 51:49 講古結束，回到現代