課程名稱：深度學習
領域：人工智慧小組
師資：彭文孝、陳永昇、謝秉均
作者：Eric Lin、Tim Kuo、Hsing-Yu Chen
這個團隊設計了一個高成本效率的流程，用於訓練具備強推理能力的小型語言模型。他們收集多個大型語言模型（LLMs）的輸出，透過成對排序（pairwise ranking）挑選高品質的推理過程（rationales），並進行逐步蒸餾（progressive distillation）來訓練學生模型（T5-Base 與 T5-Large）。他們的方法在準確率上可與使用真實標註資料的訓練相當，且優於未使用回覆排序的其他方法。
