【课程目标】
本课程专注于金融行业的风控识别与风控预测模型，面向数据分析部等专门负责数据分析与建模的人士。
本课程的主要目的是，培养学员的大数据意识和大数据思维，掌握常用的数据分析方法和数据分析模型，并能够用于对客户行为作分析和预测，提升学员的数据分析综合能力。
通过本课程的学习，达到如下目的：
1、 掌握数据分析和数据建模的基本过程和步骤
2、 掌握数据分析框架的搭建，及常用分析方法
3、 掌握业务的影响因素分析常用的方法
4、 掌握常用客户行为预测模型，包括逻辑回归、决策树、神经网络、判别分析等等，以及分类模型的优化
5、 掌握金融行业信用评分卡模型，构建信用评分模型
本课程突出数据挖掘的实际应用，结合行业的典型应用特点，从实际问题入手，引出相关知识，进行大数据的收集与处理；探索数据之间的规律及关联性，帮助学员掌握系统的数据预处理方法；介绍常用的模型，训练模型，并优化模型，以达到最优分析结果。
【授课对象】
风险控制部、业务支撑、网络中心、IT系统部、数据分析部等对数据建模有较高要求的相关领域人员。
【课程大纲】
第一部分： 数据决策逻辑—数据思维篇
问题：什么是数据思维？大数据决策的底层逻辑以及决策依据是什么？
1、 大数据的本质
Ø 数据，是事物发展和变化过程中留下的痕迹
Ø 大数据不在于量大，而在于全（多维性）
Ø 业务导向还是技术导向
2、 大数据决策的底层逻辑（即四大核心价值）
Ø 探索业务规律，按规律来管理决策
案例：客流规律与排班及最佳营销时机
案例：致命交通事故发生的时间规律
Ø 发现运营变化，定短板来运营决策
案例：考核周期导致的员工月初懈怠
案例：工序信号异常监测设备故障
Ø 理清要素关系，找影响因素来决策
案例：情绪对于股市涨跌的影响
案例：为何升职反而会增加离职风险？
Ø 预测未来趋势，通过预判进行决策
案例：海尔利用数据来预测空调故障，实现事前检修
案例：保险公司的车险预测与个性化保费定价
3、 大数据决策的三个关键环节
Ø 业务数据化：将业务问题转化为数据问题
Ø 数据信息化：提取数据中的业务规律信息
Ø 信息策略化：基于规律形成业务应对策略
案例：用数据来识别喜欢赚“差价”的营业员
第二部分： 数据分析基础—流程步骤篇
1、 数据分析的六步曲
2、 步骤1：明确目的，确定分析思路
Ø 确定分析目的：要解决什么样的业务问题
Ø 确定分析思路：分解业务问题，构建分析框架
3、 步骤2：收集数据，寻找分析素材
Ø 明确数据范围
Ø 确定收集来源
Ø 确定收集方法
4、 步骤3：整理数据，确保数据质量
Ø 数据质量评估
Ø 数据清洗、数据处理和变量处理
Ø 探索性分析
5、 步骤4：分析数据，寻找业务答案
Ø 选择合适的分析方法
Ø 构建合适的分析模型
Ø 选择合适的分析工具
6、 步骤5：呈现数，解读业务规律
Ø 选择恰当的图表
Ø 选择合适的可视化工具
Ø 提炼业务含义
7、 步骤6：撰写报告，形成业务策略
Ø 选择报告种类
Ø 完整的报告结构
演练：产品精准营销案例分析
Ø 如何搭建精准营销分析框架
第三部分： 用户行为分析—统计方法篇
问题：数据分析方法的种类？分析方法的不同应用场景？
1、 业务分析的三个阶段
Ø 现状分析：通过企业运营指标来发现规律及短板
Ø 原因分析：查找数据相关性，探寻目标影响因素
Ø 预测分析：合理配置资源，预判业务未来的趋势
2、 常用的数据分析方法种类
3、 统计分析基础
4、 基本分析方法及其适用场景
Ø 对比分析（查看数据差距，发现事物变化）
演练：分析理财产品受欢迎情况及贡献大小
演练：用户消费水平差异分析，提取优质客户特征
Ø 分布分析（查看数据分布，探索业务层次）
案例：银行用户的消费层次/消费档次分析
演练：客户年龄分布/收入分布分析
Ø 结构分析（查看指标构成，评估结构合理性）
案例：收入结构分析/成本结构分析
案例：动态结构分析
Ø 趋势分析（查看变化趋势，了解季节周期性）
案例：营业厅客流量规律与排班
案例：用户活跃时间规律/产品销量的淡旺季分析
演练：产品订单的季节周期性规律
Ø 交叉分析（从多个维度的数据指标分析）
演练：不同客户的产品偏好分析
演练：银行用户违约的影响因素分析
第四部分： 用户行为分析—分析框架篇
问题：如何才能全面/系统地分析而不遗漏？如何分解和细化业务问题？
1、 分析思路来源于业务模型
Ø 外部环境分析：PEST
Ø 业务专题分析：5W2H
Ø 竞品/竞争分析：SWOT、波特五力
Ø 营销市场专题分析：4P/4C等
2、 分析框架主要内容
3、 用户行为分析（5W2H分析思路和框架）
Ø WHY：原因（用户需求、产品亮点、竞品优劣势）
Ø WHAT：产品（产品喜好、产品贡献、产品功能、产品结构）
Ø WHO：客户（基本特征、消费能力、产品偏好）
Ø WHEN：时间（淡旺季、活跃时间、重购周期）
Ø WHERE：区域/渠道（区域喜好、渠道偏好）
Ø HOW：支付/促销（支付方式、促销方式有效性评估等）
Ø HOW MUCH：价格（费用、成本、利润、收入结构、价格偏好等）
研讨：结合公司业务情况，选取业务目标，构建系统的数据分析框架
第五部分： 用户风险识别—异常数据篇
1、 反欺诈识别的重点内容
Ø 如何识别异常数据
Ø 如何查找影响因素
Ø 如何提取欺诈用户的特征
Ø 如何预测用户的欺诈行为
2、 异常数据的定义
3、 异常数据的检测方法
Ø 基于统计法：标准差法、四分位距法、离群点检测算法
Ø 基于机器学习：回归、聚类等
4、 异常数据处理方法
演练：各种异常数据识别
第六部分： 影响因素分析—根因分析篇
问题：如何做原因分析？比如价格是否可用于产品销量？影响用户违约的关键因素是什么？
1、 数据预处理vs特征工程
2、 特征选择常用方法
Ø 相关分析、方差分析、卡方检验
3、 相关分析（衡量两数据型变量的线性相关性）
Ø 相关分析简介
Ø 相关分析的应用场景
Ø 相关分析的种类
² 简单相关分析
² 偏相关分析
² 距离相关分析
Ø 相关系数的三种计算公式
² Pearson相关系数
² Spearman相关系数
² Kendall相关系数
Ø 相关分析的假设检验
Ø 相关分析的四个基本步骤
演练：营销费用会影响销售额吗？影响程度如何量化？
演练：哪些因素与产品销量有显著的相关性
演练：影响用户消费水平的因素会有哪些
Ø 偏相关分析
² 偏相关原理：排除不可控因素后的两变量的相关性
² 偏相关系数的计算公式
² 偏相关分析的适用场景
4、 方差分析（衡量类别变量与数值变量间的相关性）
Ø 方差分析的应用场景
Ø 方差分析的三个种类
² 单因素方差分析
² 多因素方差分析
² 协方差分析
Ø 单因素方差分析的原理
Ø 方差分析的四个步骤
Ø 解读方差分析结果的两个要点
案例：摆放位置与销量有关吗
演练：客户学历对消费水平的影响分析
Ø 多因素方差分析原理
Ø 多因素方差分析的作用
Ø 多因素方差结果的解读
案例：广告形式、地区对销售额的影响因素分析
演练：销售员的性别、技能级别对销量有影响吗
Ø 协方差分析原理
Ø 协方差分析的适用场景
演练：排除用户收入，其余哪些因素对销量有显著影响？
5、 列联分析/卡方检验（两类别变量的相关性分析）
Ø 交叉表与列联表：计数值与期望值
Ø 卡方检验的原理
Ø 卡方检验的几个计算公式
Ø 列联表分析的适用场景
案例：产品类型对客户流失的影响分析
案例：用户学历对产品类型偏好的影响分析
研讨：行业/规模对风控的影响分析
第七部分： 数据建模基础—流程步骤篇
1、 预测建模六步法
Ø 选择模型：基于业务选择恰当的数据模型
Ø 特征工程：选择对目标变量有显著影响的属性来建模
Ø 训练模型：采用合适的算法对模型进行训练，寻找到最优参数
Ø 评估模型：进行评估模型的质量，判断模型是否可用
Ø 优化模型：如果评估结果不理想，则需要对模型进行优化
Ø 应用模型：如果评估结果满足要求，则可应用模型于业务场景
2、 数据挖掘常用的模型
Ø 定量预测模型：回归预测、时序预测等
Ø 定性预测模型：逻辑回归、决策树、神经网络、支持向量机等
Ø 市场细分：聚类、RFM、PCA等
Ø 产品推荐：关联分析、协同过滤等
Ø 产品优化：回归、随机效用等
Ø 产品定价：定价策略/最优定价等
3、 特征工程/特征选择/变量降维
Ø 基于变量本身特征
Ø 基于相关性判断
Ø 因子合并（PCA等）
Ø IV值筛选（评分卡使用）
Ø 基于信息增益判断（决策树使用）
4、 模型评估
Ø 模型质量评估指标：R^2、正确率/查全率/查准率/特异性等
Ø 预测值评估指标：MAD、MSE/RMSE、MAPE、概率等
Ø 模型评估方法：留出法、K拆交叉验证、自助法等
Ø 其它评估：过拟合评估、残差检验
5、 模型优化
Ø 优化模型：选择新模型/修改模型
Ø 优化数据：新增显著自变量
Ø 优化公式：采用新的计算公式
Ø 集成思想：Bagging/Boosting/Stacking
6、 常用预测模型介绍：回归、时序、分类
第八部分： 客户行为预测—分类模型篇
问题：如何评估客户购买产品的可能性？如何预测客户的购买行为？如何提取某类客户的典型特征？如何向客户精准推荐产品或业务？
1、 分类模型概述及其应用场景
2、 常见分类预测模型
3、 逻辑回归（LR）
Ø 逻辑回归的适用场景
Ø 逻辑回归的模型原理
Ø 逻辑回归分类的几何意义
Ø 逻辑回归的种类：二项、多项
Ø 如何解读逻辑回归方程
Ø 带分类自变量的逻辑回归分析
Ø 多项逻辑回归/多分类逻辑回归
案例：如何评估用户是否会购买某产品
案例：多品牌选择模型分析（多项逻辑回归）
4、 分类决策树（DT）
问题：如何预测客户行为？如何识别潜在客户？
风控：如何识别欠贷者的特征，以及预测欠贷概率？
客户保有：如何识别流失客户特征，以及预测客户流失概率？
Ø 决策树分类简介
演练：识别银行欠货风险，提取欠贷者的特征
Ø 决策树分类的几何意义
Ø 构建决策树的三个关键问题
² 如何选择最佳属性来构建节点：熵/基尼系数、信息增益
² 如何分裂变量：多元/二元划分、最优切割点
² 修剪决策树：剪枝原则、预剪枝与后剪枝
Ø 构建决策树的四个算法
Ø 如何选择最优分类模型？
案例：商场用户的典型特征提取
案例：客户流失预警与客户挽留
案例：识别拖欠银行货款者的特征，避免不良货款
Ø 多分类决策树
案例：识别不同理财客户的典型特征，实现精准推荐
Ø 决策树模型的保存与应用
5、 人工神经网络（ANN）
Ø 神经网络的结构
Ø 神经网络基本原理
Ø 神经网络分类的几何意义
Ø 神经网络的建立步骤及实现算法
Ø 神经网络的关键问题
案例：评估银行用户拖欠货款的概率
6、 支持向量机（SVM）
Ø SVM基本原理
Ø 线性可分问题：最大边界超平面
Ø 线性不可分问题：特征空间的转换
Ø 维灾难与核函数
第九部分： 客户行为预测—模型评估篇
1、 模型的评估指标
Ø 两大矩阵：混淆矩阵，代价矩阵
Ø 六大指标：Acc,P,R,Spec,F1,lift
Ø 三条曲线：
² ROC曲线和AUC
² PR曲线和BEP
² KS曲线和KS值
2、 模型的评估方法
Ø 留出法（Hold-Out）
Ø 交叉验证法（k-fold cross validation）
Ø 自助采样法（Bootstrapping）
第十部分： 客户行为预测—集成优化篇
1、 模型的优化思路
2、 集成算法基本原理
Ø 单独构建多个弱分类器
Ø 多个弱分类器组合投票，决定预测结果
3、 集成方法的种类：Bagging、Boosting、Stacking
4、 Bagging集成：随机森林RF
Ø 数据/属性重抽样
Ø 决策依据：少数服从多数
5、 Boosting集成：AdaBoost模型
Ø 基于误分数据建模
Ø 样本选择权重更新公式
Ø 决策依据：加权投票
6、 高级模型介绍与实现
Ø GBDT梯度提升决策树
Ø XGBoost
Ø LightGBM
第十一部分： 市场细分模型—聚类模型篇
问题：我们的客户有几类？各类特征是什么？如何实现客户细分，开发符合细分市场的新产品？如何提取客户特征，从而对产品进行市场定位？
1、 市场细分的常用方法
Ø 有指导细分
Ø 无指导细分
2、 聚类分析
Ø 如何更好的了解客户群体和市场细分？
Ø 如何识别客户群体特征？
Ø 如何确定客户要分成多少适当的类别？
Ø 聚类方法原理介绍
Ø 聚类方法作用及其适用场景
Ø 聚类分析的种类
² K均值聚类
² 层次聚类
² 两步聚类
Ø K均值聚类（快速聚类）
Ø 层次聚类（系统聚类）：发现多个类别
Ø 两步聚类
演练：划分合适的客户群，提取不同客户群的典型特征
3、 客户细分与PCA分析法
Ø PCA主成分分析的原理
Ø PCA分析法的适用场景
演练：利用PCA对客户群进行细分
第十二部分： 金融信用模型—信用评分卡
1、 信用评分卡模型简介
2、 评分卡的关键问题
3、 信用评分卡建立过程
Ø 筛选重要属性
Ø 数据集转化
Ø 建立分类模型
Ø 计算属性分值
Ø 确定审批阈值
4、 筛选重要属性
Ø 属性分段
Ø 基本概念：WOE、IV
Ø 属性重要性评估
5、 数据集转化
Ø 连续属性最优分段
Ø 计算属性取值的WOE
6、 建立分类模型
Ø 训练逻辑回归模型
Ø 评估模型
Ø 得到字段系数
7、 计算属性分值
Ø 计算补偿与刻度值
Ø 计算各字段得分
Ø 生成评分卡
8、 确定审批阈值
Ø 画K-S曲线
Ø 计算K-S值
Ø 获取最优阈值
案例：构建银行小额贷款的用户信用模型
第十三部分： 数据建模实战篇
1、 电信业客户流失预警和客户挽留模型实战
2、 银行欠贷风险预测模型实战
3、 银行信用卡评分模型实战
结束：课程总结与问题答疑。
