l ·理解LlamaFactory框架的核心原理和架构设计。
l ·掌握大模型微调的基础理论，包括不同的微调方法、训练技巧等。
l ·熟悉LlamaFactory支持的多种大型语言模型及其特点。
l ·学会使用LlamaFactory进行模型的选择、参数配置、数据加载与预处理。
l ·能够运用各种微调方法对模型进行训练，并根据训练效果进行评估与优化。
l ·了解在微调过程中如何合理选择运算精度以及控制内存占用。
l ·掌握数据组织格式、RoPE scaling等对模型性能的影响及应用方法。
l ·熟悉不同类型的学习率调度器在不同场景下的应用策略。
l ·了解并应用NEFTune等提升模型表现的技巧和参数设置。
l ·掌握LongLora所用的Shifted Sparse Attention机制及基于LoRA的各种优化方法。
l ·熟悉RLHF相关参数的设置与作用。
l ·了解GaLore和Badam等先进算法的原理及应用场景。
三、培训提纲
模块一：LlamaFactory概述
·LlamaFactory的起源与发展
·LlamaFactory的核心价值与应用场景
·LlamaFactory的架构设计与模块划分
模块二：大模型基础
·大语言模型（LLM）的基本概念与原理
·常见的大语言模型架构（如Transformer等）介绍
·模型参数规模、性能与应用场景的关系
模块三：LlamaFactory支持的模型与精度选择
·LlamaFactory支持的大型语言模型全览
·模型精度的选择策略
模块四：大模型的查找与下载
·如何在官方渠道查找所需的预训练模型
·模型版本的选择依据与注意事项
·模型文件的下载流程与存储管理
·模型合法性与版权问题解读
模块五：训练大模型的方法与流程
·自监督学习在大模型训练中的应用
o自监督学习的原理与优势
o常见的自监督学习任务设计
·聚合问答数据并训练奖励模型（RM）
o问答数据的收集与整理
o奖励模型的构建与训练流程
·强化学习（RL）方式微调LM
o强化学习在模型微调中的作用与原理
o如何设计奖励信号与策略更新机制
·有监督的微调方法与实践
o有监督微调的数据准备与标注要求
o训练过程中的关键步骤与技巧
模块六：预训练及微调方法详解
·PPO（近端策略优化）算法
oPPO算法的核心思想与数学原理
o如何使用PPO对策略进行优化
·DPO（直接偏好优化）方法
oDPO的工作原理与实现机制
o增加偏好样本对数概率与减小非偏好样本响应对数概率的具体操作
·KTO（基于前景理论的对齐方法）
oKTO的理论基础与创新点
o人类感知损失函数的设计与应用
·ORPO（新的偏好对齐训练方法）
oORPO如何将SFT和偏好对齐结合到新的目标函数中
o避免SFT阶段的优势与实现要点
·SimPO（离线偏好优化算法）
oSimPO的算法原理与特点
o隐含奖励的计算与应用
模块七：使用LlamaFactory进行模型微调的实践操作
·参数配置
o根据任务需求配置微调参数的原则与方法
o常见参数（如学习率、批次大小、计算类型等）的设置与调整技巧
·数据加载与预处理
o如何加载适合的任务数据
o按照LlamaFactory格式要求进行数据预处理的具体步骤与注意事项
·训练过程
o使用LlamaFactory进行模型训练的操作流程
o监控训练过程中的指标变化与日志记录
o根据训练效果进行参数调整与优化的方法与策略
·模型选择
o如何选择适合的预训练模型作为微调基础
o模型评估的关键指标与方法
·评估与优化
o微调后模型的评估维度与标准
o基于评估结果进行模型优化的技巧与实践案例
模块八：微调方法的选择与应用
·增量预训练
o适用场景与优势分析
o如何通过增量预训练提升模型的泛化能力
·指令监督微调
o指令和反馈方式微调模型的操作流程
o使模型更好地理解和执行特定任务指令的技巧
·RLHF（奖励学习与人类反馈）优化
模块九：微调时的运算精度与内存占用控制
·不同运算精度对模型性能和资源消耗的影响
·如何在保证模型效果的前提下合理降低运算精度
·内存优化策略与技巧
o模型量化方法的应用
o训练过程中的内存管理与优化实践
模块十：数据组织格式与RoPE scaling
·Alpaca数据格式详解
o格式特点与适用场景
o数据加载与处理示例
·ShareGPT数据格式解读
o与Alpaca数据格式的对比分析
o在不同任务中的应用策略
·RoPE scaling的原理与应用
o旋转位置编码（RoPE）的优势与实现机制
oNone、Linear、Dynamic三种缩放方式的适用场景与选择依据
模块十一：学习率调度器类型与应用
·各种学习率调度器的工作原理与特点
·不同学习率调度器在各种任务场景下的应用案例与效果分析
·如何根据任务需求和模型特性选择合适的学习率调度器
·NEFTune方法的原理与优势
o在词向量中引入均匀分布噪声提升模型表现的机制
oNEFTune在不同数据集上的实验结果与效果分析
·NEFTune相关参数的设置与调整技巧
o如何确定合适的噪声强度
o噪声引入的频率与训练轮数的关系
模块十三：其他重要参数与技术
·序列打包与无污染打包
o序列打包的目的与实现方法
o无污染打包的原理与应用场景
·学习提示词与不学习历史对话
o在SFT中如何设置学习提示词
o不学习历史对话的实现方式与适用场景
·更改词表大小
o调整分词器词表和嵌入层大小的影响与操作方法
·使用LLaMA Pro与S^2 Attention
LLaMA Pro的特点与优势
S^2 Attention的原理与应用效果
·启用外部记录面板
o如何使用TensorBoard或wandb记录实验
o可视化工具在模型训练监控中的作用与使用技巧
模块十四：LongLora所用的Shifted Sparse Attention
·Shifted Sparse Attention的原理与优势
o将上下文长度分成组并在组内单独计算注意力的机制
o半注意力头中token移位保证相邻组信息流动的方法
·Shifted Sparse Attention在长文本处理中的应用案例与效果分析
模块十五：基于LoRA的各种优化方法
·LoRA缩放系数（lora_alpha）的设置与调整
·LoRA + 学习率比例（loraplus_lr_ratio）的应用
oLoRA + 的原理与优势
o如何通过设置loraplus_lr_ratio提高训练效率
·rsLoRA（Rank - Stabilized LoRA）的原理与实现
·DoRA（Weight - Decomposed LoRA）的原理与应用
oDoRA对权重矩阵分解的方法与优势
o如何设置use_dora参数使用DoRA
·PiSSA（Pretrained Self - Supervised Adapter）的原理与实践
·Beta参数的作用与设置
o在损失函数中平衡不同类型损失项的机制
o如何根据任务需求调整Beta参数值
·Ftx gamma参数的影响与应用
·归一化奖励分数与白化处理
模块十七：GaLore与Badam算法
·GaLore（Gradient Low - Rank Projection）的原理与优势
·Badam算法的特点与应用场景
模块十八：总结与展望
·课程内容回顾与重点总结
·LlamaFactory在实际项目中的应用案例分享
·大语言模型微调技术的发展趋势与未来展望
·学员问题答疑与交流互动环节
