現代AI是這麼做出來的 - 從訓練、演算法到微調全實作

https://youtu.be/z6A7_vMmDVo 【內容簡介】 本書共分為12章，涵蓋大模型的建構、訓練與微調流程。 第一章介紹Transformer的基本原理，包括自注意力、多頭注意力與位置編碼。第二章說明GPT模型的文字生成機制與實作方法，並比較Greedy與Beam Search等生成策略。第三章講解BERT模型的編碼結構與遮罩語言模型任務，並說明如何應用於分類任務。第四章介紹ViT模型在影像分塊、嵌入與注意力運算上的應用。第五章說明Adapter Tuning、LoRA、P-Tuning等常見微調方法。第六章說明資料清洗、資料增強與嵌入向量生成等處理技術。第七章解釋混合精度訓練、多GPU併行與梯度累積等效率優化技術。第八章涵蓋對比學習與對抗訓練，包括SimCLR與GAN的實作細節。第九章介紹AdamW與LAMB最佳化器，並比較各種動態學習率排程方式。第十章說明知識蒸餾與剪枝，包括教師學生架構與多頭注意力精簡方法。第十一章示範大模型訓練流程，從資料前處理到訓練中斷與恢復。第十二章介紹模型微調的實作，包括資料集切分、參數設定與推理效能調整。 【商品特色】 【書籍特點】 ☆Transformer：自注意力、多頭注意力、位置編碼 ☆GPT：文字生成、Greedy Search、Beam Search、困惑度評估 ☆BERT：遮罩語言模型、預訓練、微調、分類任務 ☆ViT：影像分塊、視覺嵌入、注意力量化 ☆微調方法：Adapter Tuning、LoRA、P-Tuning ☆資料處理：文字清洗、分詞、嵌入向量、資料增強 ☆混合精度與分散式訓練：Data Parallel、Model Parallel、梯度累積 ☆對比學習與對抗訓練：SimCLR、GAN、自監督任務 ☆最佳化器：AdamW、LAMB、動態學習率、Warmup、餘弦退火 ☆模型壓縮：知識蒸餾、教師學生架構、權重剪枝 ☆訓練流程：Tokenization、多GPU訓練、訓練中斷與恢復 ☆微調實作：資料集切分、層級凍結、超參數調整、推理量化 【作者簡介】 梁楠 博士 畢業於北京航空航天大學，高級工程師，長期從事模式識別、機器學習、統計理論的研究與應用，負責或參與過多項科研項目，專註於人工智慧、大語言模型的應用與開發，對深度學習、數據分析與預測等有獨到見解。 出版社：深智數位股份有限公司 作者：梁楠 ISBN／EAN：9786267757505