1、封面介绍

book.jpg

2、出版时间

2024年1月

3、内容介绍

本书详细介绍了构建大语言模型的四个主要阶段:预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。

本书以大语言模型的基础理论开篇,探讨了大语言模型预训练数据的构建方法,以及大语言模型如何理解并服从人类指令,介绍了大语言模型的应用和评估方法,为读者提供了更全面的视野。

本书旨在为对大语言模型感兴趣的读者提供入门指南,也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。

4、推荐理由

适读人群:本书旨在为对大语言模型感兴趣的读者提供入门指南,也可作为高年级本科生和研究生自然语言处理相关课程的教材。

本书详细介绍构建LLM的四个主要阶段:预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据来源、难点及实践经验的详细讨论。

本书结合作者在NLP领域多年的研究经验、超300篇相关论文深度研读感悟!

本书分享作者团队从0开始研发复旦大学MOSS大语言模型过程中的实践经验,为读者展示大语言模型训练的全流程细节。

5、作者简介

张奇
复旦大学计算机科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索。兼任中国中文信息学会理事,中国中文信息学会信息检索专委会常务委员,中国人工智能学会青年工作委员会常务委员。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际、国内会议的程序委员会主席、领域主席、讲习班主席等。承担国家重点研发计划课题、国家自然科学基金、上海市科委等多个项目,在国际重要学术刊物和会议上发表论文150余篇,获得美国授权专利4项。获得WSDM 2014最佳论文提名奖、COLING 2018领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持,获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、ACM上海新星提名奖、IBM Faculty Award等奖项。

桂韬
复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表论文40余篇,主持国家自然科学基金、计算机学会、人工智能学会的多个基金项目。获得钱伟长中文信息处理科学技术一等奖、中国中文信息学会优秀博士论文奖、COLING 2018最佳论文提名奖、NLPCC 2019杰出论文奖,入选第七届中国科协青年人才托举工程,入选上海市2023年度“科技创新行动计划”启明星项目,获得2023年度世界人工智能大会云帆奖。

郑锐
复旦大学计算机科学技术学院博士生,导师为张奇教授。研究兴趣包括大模型对齐、鲁棒性等。MOSS-RLHF开源项目负责人,文本鲁棒性评测工具TextFlint的核心贡献者,在ACL、EMNLP、COLING等国际会议上发表学术论文十余篇。

黄萱菁
复旦大学计算机科学技术学院教授、博士生导师。主要从事人工智能、自然语言处理和信息检索研究。兼任中国中文信息学会理事,中国计算机学会自然语言处理专委会副主任,中国人工智能学会女科技工作者委员会副主任,计算语言学学会亚太分会副主席,亚太信息检索学会指导委员会委员。承担国家重点研发计划课题、国家自然科学基金等多个项目,在国际重要学术刊物和会议上发表论文150余篇。获得钱伟长中文信息处理科学技术一等奖、上海市育才奖、人工智能全球女性学者、福布斯中国科技女性等多项荣誉。

6、下载链接

本电子书可以提供下载,下载方式请移步:http://www.hbase.cn/archives/1147.html

7、读者推荐

推荐大家关注《PyTorch面试精华》