新書推薦:
《
手艺中国(中英)
》
售價:HK$
107.8
《
不可持续的不平等:迈向社会和环境的双重正义
》
售價:HK$
53.9
《
DK物理学百科(全彩)
》
售價:HK$
184.8
《
打造高可靠性组织:从个体正念到组织正念
》
售價:HK$
53.9
《
全域流量: 超级变现,引爆流量营销
》
售價:HK$
85.8
《
砂女(安部公房作品系列)
》
售價:HK$
46.2
《
无中生有的世界:量子力学传奇 这部量子物理史,足以唤起你对世界的全部好奇!
》
售價:HK$
85.8
《
中国的毒蘑菇
》
售價:HK$
308.0
編輯推薦:
适读人群 :AI从业者、高年级本科生和研究生、对大模型感兴趣的读者
复旦NLP团队2025年新作
新增内容超过50%
详解MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发
深入探讨LLM的实际应用场景和评价方法,为读者提供理论指导与实践经验
构建LLM的每个阶段都有算法、数据来源、代码、难点及实践经验的详细讨论
配代码
本书封底含有wispaper.ai科研助手智能体(预计2025年6月上线)邀请码,凭邀请码可免费使用。
內容簡介:
本书共12章,围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开:第一部分介绍大语言模型的基础理论;第二部分介绍大语言模型的预训练,包括大语言模型预训练数据和分布式训练;第三部分介绍大语言模型如何理解并服从人类指令,包括有监督微调和强化学习;第四部分介绍大语言模型增强技术,包括多模态语言模型、大模型智能体和检索增强生成;第五部分介绍大模型应用,包括大模型效率优化、模型评估和应用开发。
關於作者:
张奇
复旦大学计算机科学技术学院教授、博士生导师。兼任上海市智能信息处理实验室副主任,中国中文信息学会理事、CCF大模型论坛常务委员、CIPS信息检索专委会常务委员、CIPS大模型专委会委员。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际和国内会议的程序委员会主席、领域主席、讲习班主席等职务。近年来,承担了国家重点研发计划课题、国家自然科学基金、上海市科委等的多个项目,在国际重要学术期刊和会议上发表论文200余篇。获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持,获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、IBM Faculty Award等奖项。
桂韬
复旦大学副研究员。研究领域为预训练模型、类人对齐和智能体交互。在国际重要学术期刊和会议上发表论文50余篇,主持国家自然科学基金、计算机学会和人工智能学会的多个人才项目。获得钱伟长中文信息处理科学技术一等奖、NeurIPS 2023大模型对齐 Track最佳论文奖,入选第七届“中国科协青年人才托举工程”、上海市启明星计划。
郑锐
博士毕业于复旦大学计算机科学技术学院,师从张奇教授。曾任字节跳动豆包大模型团队算法工程师,现就职于某前沿科技公司,研究方向为大模型对齐、复杂推理能力提升。获得NeurIPS Workshop on Instruction Following 2024最佳论文奖。MOSS-RLHF开源项目负责人,开源了RLHF代码库及技术文档,推动大模型对齐技术发展。在ICLR、ICML、NeurIPS、ACL等国际会议上发表多篇论文。
黄萱菁
复旦大学特聘教授、博士生导师。主要从事人工智能、自然语言处理和大语言模型研究。兼任中国计算机学会理事、自然语言处理专委会主任、中国中文信息学会理事、计算语言学学会亚太分会主席。在国际重要学术期刊和会议上发表论文200余篇,获优秀论文奖8项。获得钱伟长中文信息处理科学技术一等奖、上海市育才奖,以及人工智能全球女性学者、福布斯中国科技女性等多项荣誉。
內容試閱 :
本书共分为12章,围绕大语言模型基础理论、预训练、指令理解、大模型增强和大模型应用五个部分展开:第1部分介绍大语言模型的基础理论;第2部分介绍大语言模型的预训练,包括大语言模型预训练数据和分布式训练;第3部分介绍大语言模型如何理解并服从人类指令,包括指令微调和强化学习;第4部分介绍大语言模型增强技术,包括多模态大语言模型、大模型智能体和检索增强生成;第5部分介绍大模型应用,包括大语言模型效率优化、大语言模型评估和大语言模型应用开发。
第2章介绍大语言模型的基础理论知识,包括语言模型的定义、Transformer结构、大语言模型框架等内容,并以LLaMA使用的模型结构为例介绍代码实例。
第3章和第4章围绕大语言模型预训练阶段的主要研究内容展开介绍,包括模型分布式训练中需要掌握的数据并行、流水线并行、张量并行及ZeRO系列优化方法。除此之外,还将介绍预训练需要使用的数据分布和数据预处理方法,并以DeepSpeed为例介绍如何进行大语言模型预训练。
第5章和第6章聚焦于大语言模型指令理解阶段的核心研究内容,探讨如何通过指令微调和强化学习方法,使模型能够理解指令并生成类人回答。第5章重点介绍模型微调技术、指令微调数据的构造策略以及高效微调方法,如LoRA、Delta Tuning等方法,第6章则围绕强化学习展开,讲解其基础理论与近端策略优化(PPO)技术,并结合实际案例,以DeepSpeed-Chat和verl框架为例,详细说明如何训练类ChatGPT系统。
第7章、第8章和第9章围绕提升大语言模型的能力展开详细探讨,内容涵盖多模态大语言模型、大模型智能体和检索增强生成。第7章重点介绍多模态大语言模型的基础理论、架构设计与训练策略,并探讨其在实际场景中的应用实践;第8章聚焦于智能体的发展历程与大语言模型智能体的架构设计,深入分析智能体的实现原理,并以LangChain为例详细阐述具体实践;第9章则围绕检索增强生成展开讨论,介绍其核心思想与实现方式,涵盖检索增强框架的设计、检索模块与生成模块的协作机制,以及其在具体任务场景中的应用方法与实践。
第10章、第11章和第12章主要围绕如何应用大语言模型展开讨论,内容涵盖提升模型效率的方法、大语言模型评估,以及大语言模型典型应用的开发与部署。第10章重点介绍模型压缩与优化、训练效率优化和推理效率优化等提升模型效率的关键技术;第11章聚焦于大语言模型评估,探讨其基本概念和难点,阐述评估体系的构建、评估方法的设计及实际评估的实施;第12章则基于典型的大语言模型应用场景,详细介绍其开发流程、开发工具及本地部署的实践方法。