【课程目标】
本课程面向数据分析部等专门负责数据分析与挖掘的人士，专注大数据挖掘工具SPSS Statistics的培训。
IBM SPSS工具是面向非专业人士的高级的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能够解决更复杂的业务问题，比如影响因素分析、客户行为预测/精准营销、客户群划分、产品交叉销售、产品销量预测等等。工具它封装了复杂难懂的算法实现，即使你没有深厚的技能能力，也能够胜任复杂的数据分析和挖掘。
本课程具体内容包括：
1、 数据挖掘流程，特征工程处理，影响因素分析
2、 回归预测模型，时序预测模型，分类预测模型
3、 模型基本原理，模型含义解读，模型质量评估，模型优化措施
4、 用户专题分析：用户群划分/客户价值评估/客户偏好分析/用户行为预测
5、 产品专题分析：产品设计优化、产品功能评估、产品最优定价策略
6、 精准推荐算法：协同过滤、关联分析、基于内容/用户的推荐(CBR/UBR)
7、 金融风险评估：信用评分卡模型、风险预测模型
8、 数据建模流程，特征工程处理
9、 回归预测模型，时序预测模型
10、 分类预测模型，模型含义解读
11、 模型基本原理，模型算法实现
12、 模型质量评估，模型优化措施
本系列课程从实际的业务需求出发，结合行业的典型应用特点，围绕实际的商业问题，对数据预测建模的过程进行了全面的介绍（从模型选择，到特征选择，再到训练模型，评估模型，以及优化模型和模型解读），通过大量的操作演练，帮助学员掌握数据建模的思路、方法、技巧，以提升学员的数据建模的能力，支撑运营决策的目的。
通过本课程的学习，达到如下目的：
1、 掌握数据建模的基本过程和步骤
2、 掌握数据建模前的特征选择的系统方法，学会寻找影响业务的关键要素
3、 掌握回归预测模型基本原理，学会解读回归方程的含义
4、 掌握常用的时序预测模型，以及各模型的适用场景
5、 掌握常用的分类预测模型，以及分类模型的优化
本课程从实际的业务需求出发，对数据分析及数据挖掘技术进行了全面的介绍，将数据挖掘标准流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通过大量的工具操作和演练，帮助学员熟练掌握SPSS工具的使用，并能够将SPSS工具在实际的业务数据分析中满地，实现“知行合一”。
通过本课程的学习，达到如下目的：
6、 了解大数据挖掘的标准过程和挖掘步骤
7、 掌握常用的统计分析方法，以及可视化
8、 掌握常用的影响因素分析方法，学会根因分析
9、 理解数据挖掘的常见模型，原理及适用场景。
10、 熟练掌握SPSS基本操作，能利用SPSS解决实际的商业问题。
通过本课程的学习，达到如下目的：
1、 熟悉数据挖掘标准过程，熟悉每个步骤的具体操作
2、 掌握数据预处理的任务，熟练使用SPSS工具完成预处理
3、 明白时序预测的基本思想，熟悉常用的时序预测模型
4、 掌握常用的分类预测模型，理解模型基本原理，掌握评估指标
5、 学会解读分类预测模型的含义
6、 熟练掌握常用的业务专题分析模型
a) 学会做市场客户细分，划分客户群
b) 学会实现客户价值评估
c) 学会产品功能设计与新产品销量预测
d) 熟悉产品定价策略，寻找产品最优定价
e) 熟悉精准推荐策略，学会精准推荐产品
f) 掌握信用评分卡的模型构建
【授课对象】
市场部、业务支撑部、数据分析部、运营分析部等对业务数据分析有较高要求的相关人员。
【课程大纲】
第一部分： 数据挖掘流程—挖掘步骤篇
1、 数据挖掘概述
2、 数据挖掘的标准流程（CRISP-DM）
Ø 商业理解
Ø 数据准备
Ø 数据理解
Ø 模型建立
Ø 模型评估
Ø 模型应用
案例：客户流失预测及客户挽留
3、 数据集概述
4、 SPSS工具介绍
5、 数据挖掘常用模型
第二部分： 影响因素分析—原因分析篇
营销问题：哪些因素是影响业务目标的关键要素？比如，产品在货架上的位置是否对销量有影响？价格和广告开销是如何影响销量的？影响风控的关键因素有哪些？如何判断？
1、 影响因素分析的常见方法
2、 相关分析（衡量两数据型变量的线性相关性）
Ø 相关分析简介
Ø 相关分析的应用场景
Ø 相关分析的种类
² 简单相关分析
² 偏相关分析
² 距离相关分析
Ø 相关系数的三种计算公式
² Pearson相关系数
² Spearman相关系数
² Kendall相关系数
Ø 相关分析的假设检验
Ø 相关分析的四个基本步骤
演练：营销费用会影响销售额吗？影响程度如何量化？
演练：哪些因素与汽车销量有相关性
演练：影响用户消费水平的因素会有哪些
Ø 偏相关分析
² 偏相关原理：排除不可控因素后的两变量的相关性
² 偏相关系数的计算公式
² 偏相关分析的适用场景
Ø 距离相关分析
3、 方差分析（衡量类别变量与数值变量间的相关性）
Ø 方差分析的应用场景
Ø 方差分析的三个种类
² 单因素方差分析
² 多因素方差分析
² 协方差分析
Ø 单因素方差分析的原理
Ø 方差分析的四个步骤
Ø 解读方差分析结果的两个要点
演练：摆放位置与销量有关吗
演练：客户学历对消费水平的影响分析
演练：广告和价格是影响终端销量的关键因素吗
演练：营业员的性别、技能级别对产品销量有影响吗
演练：寻找影响产品销量的关键因素
Ø 多因素方差分析原理
Ø 多因素方差分析的作用
Ø 多因素方差结果的解读
演练：广告形式、地区对销量的影响因素分析
Ø 协方差分析原理
Ø 协方差分析的适用场景
演练：排除产品价格，收入对销量有影响吗？
4、 列联分析/卡方检验（两类别变量的相关性分析）
Ø 交叉表与列联表：计数值与期望值
Ø 卡方检验的原理
Ø 卡方检验的几个计算公式
Ø 列联表分析的适用场景
案例：套餐类型对客户流失的影响分析
案例：学历对业务套餐偏好的影响分析
案例：行业/规模对风控的影响分析
5、 相关性分析方法总结
第三部分： 定量预测模型—回归模型篇
营销问题：如何预测未来的产品销量/销售额？如果产品跟随季节性变动，该如何预测？
1、 回归分析简介和原理
2、 回归分析的种类
Ø 一元回归/多元回归
Ø 线性回归/非线性回归
3、 常用回归分析方法
Ø 散点图+趋势线（一元）
Ø 线性回归工具（多元线性）
Ø 规划求解工具（非线性回归）
演练：散点图找营销费用与销售额的关系
4、 线性回归分析的五个步骤
演练：营销费用、办公费用与销售额的关系（线性回归）
5、 线性回归方程的解读技巧
Ø 定性描述：正相关/负相关
Ø 定量描述：自变量变化导致因变量的变化程度
6、 回归预测模型评估
Ø 质量评估指标：判定系数R^2
Ø 如何选择最佳回归模型
演练：如何选择最佳的回归预测模型（一元曲线回归）
7、 带分类自变量的回归预测
演练：汽车季度销量预测
演练：工龄、性别与终端销量的关系
演练：如何评估销售目标与资源最佳配置
8、 自动筛选不显著因素（自变量）
第四部分： 定量预测模型—回归评估篇
1、 定量预测模型的评估
Ø 方程显著性评估
Ø 因素显著性评估
Ø 拟合优度的评估
Ø 估计标准误差评估
Ø 预测值准确度评估
2、 模型拟合度评估
Ø 判定系数：
Ø 调整判定系数：
3、 预测值准确度评估
Ø 平均绝对误差：MAE
Ø 根均方差：RMSE
Ø 平均误差率：MAPE
4、 信息损失准则指标：AIC/BIC/HQIC
5、 其它评估：残差检验、过拟合检验
第五部分： 定量预测模型—回归优化篇
1、 回归分析的基本原理
Ø 三个基本概念：总变差、回归变差、剩余变差
Ø 方程的显著性检验：方程可用性
Ø 因素的显著性检验：因素可用性
Ø 方程拟合优度检验：质量好坏程度
Ø 理解标准误差含义：预测准确性？
2、 回归模型优化措施：寻找最佳回归拟合线
Ø 如何处理预测离群值（剔除离群值）
Ø 如何剔除不显著因素（剔除不显著因素）
Ø 如何进行非线性关系检验（增加非线性自变量）
Ø 如何进行相互作用检验（增加相互作用自变量）
Ø 如何进行多重共线性检验（剔除共线性自变量）
演练：模型优化演示
3、 好模型都是优化出来的
第六部分： 定量预测模型—自定义回归
1、 回归建模的本质
2、 规划求解工具简介
3、 自定义回归模型
案例：如何对客流量进行建模预测及模型优化
4、 回归季节预测模型模型
Ø 回归季节模型的原理及应用场景
Ø 加法季节模型
Ø 乘法季节模型
Ø 模型解读
案例：美国航空旅客里程的季节性趋势分析
5、 新产品累计销量的S曲线
Ø S曲线模型的应用场景（最大累计销量及销量增长的拐点）
Ø 珀尔曲线
Ø 龚铂兹曲线
案例：如何预测产品的销售增长拐点，以及销量上限
演练：预测IPad产品的销量
第七部分： 定量预测模型—时序预测篇
营销问题：像利率/CPI/GDP等按时序变化的指标如何预测？当销量随季节周期变动时该如何预测？
1、 回归预测vs时序预测
2、 因素分解思想
3、 时序预测常用模型
Ø 趋势拟合
Ø 季节周期拟合
Ø 平稳序列拟合
4、 评估预测值的误差指标：MAD、RMSE、MAPE
5、 移动平均（MA）
Ø 应用场景及原理
Ø 移动平均种类
² 一次移动平均
² 二次移动平均
² 加权移动平均
² 移动平均比率法
Ø 移动平均关键问题
² 如何选取最优参数N
² 如何确定最优权重系数
演练：平板电脑销量预测及评估
演练：快销产品季节销量预测及评估
6、 指数平滑（ES）
Ø 应用场景及原理
Ø 最优平滑系数的选取原则
Ø 指数平滑种类
² 一次指数平滑
² 二次指数平滑（Brown线性、Holt线性、Holt指数、阻尼线性、阻尼指数）
² 三次指数平滑
演练：煤炭产量预测
演练：航空旅客量预测及评估
7、 温特斯季节预测模型
Ø 适用场景及原理
Ø Holt-Winters加法模型
Ø Holt-Winters乘法模型
演练：汽车销量预测及评估
8、 平稳序列模型（ARIMA）
Ø 序列的平稳性检验
Ø 平稳序列的拟合模型
² AR(p)自回归模型
² MA(q)移动模型
² ARMA(p,q)自回归移动模型
Ø 模型的识别与定阶
² ACF图/PACF图
² 最小信息准则
Ø 序列平稳化处理
² 变量变换
² k次差分
² d阶差分
Ø ARIMA(p,d,q)模型
演练：上海证券交易所综合指数收益率序列分析
演练：服装销售数据季节性趋势预测分析
Ø 平稳序列的建模流程
第八部分： 定性预测模型—分类预测篇
问题：如何评估客户购买产品的可能性？如何预测客户的购买行为？如何提取某类客户的典型特征？如何向客户精准推荐产品或业务？
1、 分类模型概述及其应用场景
2、 常见分类预测模型
3、 逻辑回归（LR）
Ø 逻辑回归的适用场景
Ø 逻辑回归的模型原理
Ø 逻辑回归分类的几何意义
Ø 逻辑回归的种类
² 二项逻辑回归
² 多项逻辑回归
Ø 如何解读逻辑回归方程
Ø 带分类自变量的逻辑回归分析
Ø 多项逻辑回归/多分类逻辑回归
案例：如何评估用户是否会购买某产品（二项逻辑回归）
案例：多品牌选择模型分析（多项逻辑回归）
4、 分类决策树（DT）
问题：如何预测客户行为？如何识别潜在客户？
风控：如何识别欠贷者的特征，以及预测欠贷概率？
客户保有：如何识别流失客户特征，以及预测客户流失概率？
Ø 决策树分类简介
案例：美国零售商（Target）如何预测少女怀孕
演练：识别银行欠货风险，提取欠贷者的特征
Ø 决策树分类的几何意义
Ø 构建决策树的三个关键问题
² 如何选择最佳属性来构建节点
² 如何分裂变量
² 修剪决策树
Ø 选择最优属性生长
² 熵、基尼索引、分类错误
² 属性划分增益
Ø 如何分裂变量
² 多元划分与二元划分
² 连续变量离散化（最优分割点）
Ø 修剪决策树
² 剪枝原则
² 预剪枝与后剪枝
Ø 构建决策树的四个算法
² C5.0、CHAID、CART、QUEST
² 各种算法的比较
Ø 如何选择最优分类模型？
案例：商场用户的典型特征提取
案例：客户流失预警与客户挽留
案例：识别拖欠银行货款者的特征，避免不良货款
案例：识别电信诈骗者嘴脸，让通信更安全
Ø 多分类决策树
案例：不同套餐用户的典型特征
Ø 决策树模型的保存与应用
5、 人工神经网络（ANN）
Ø 神经网络概述
Ø 神经网络基本原理
Ø 神经网络的结构
Ø 神经网络分类的几何意义
Ø 神经网络的建立步骤
Ø 神经网络的关键问题
Ø BP反向传播网络（MLP）
Ø 径向基网络（RBF）
案例：评估银行用户拖欠货款的概率
6、 判别分析（DA）
Ø 判别分析原理
Ø 判别分析种类
Ø Fisher线性判别分析
案例：MBA学生录取判别分析
案例：上市公司类别评估
7、 最近邻分类（KNN）
Ø KNN模型的基本原理
Ø KNN分类的几何意义
Ø K近邻的关键问题
8、 支持向量机（SVM）
Ø SVM基本原理
Ø 线性可分问题：最大边界超平面
Ø 线性不可分问题：特征空间的转换
Ø 维灾难与核函数
9、 贝叶斯分类（NBN）
Ø 贝叶斯分类原理
Ø 计算类别属性的条件概率
Ø 估计连续属性的条件概率
Ø 预测分类概率（计算概率）
Ø 拉普拉斯修正
案例：评估银行用户拖欠货款的概率
第九部分： 定性预测模型—分类评估篇
1、 分类模型的评估指标
Ø 两大矩阵：混淆矩阵，代价矩阵
Ø 六大指标：Acc,P,R,Spec,F1,lift
Ø 三条曲线：ROC/PR/KS曲线
2、 模型的评估方法
Ø 留出法（Hold-Out）
Ø 交叉验证法（k-fold cross validation）
Ø 自助采样法（Bootstrapping）
3、 三条曲线
Ø ROC曲线和AUC
Ø PR曲线和BEP
Ø KS曲线和KS值
第十部分： 市场细分模型—聚类模型篇
问题：我们的客户有几类？各类特征是什么？如何实现客户细分，开发符合细分市场的新产品？如何提取客户特征，从而对产品进行市场定位？
1、 市场细分的常用方法
Ø 有指导细分
Ø 无指导细分
2、 聚类分析
Ø 如何更好的了解客户群体和市场细分？
Ø 如何识别客户群体特征？
Ø 如何确定客户要分成多少适当的类别？
Ø 聚类方法原理介绍
Ø 聚类方法作用及其适用场景
Ø 聚类分析的种类
² K均值聚类
² 层次聚类
² 两步聚类
Ø K均值聚类（快速聚类）
案例：移动三大品牌细分市场合适吗？
演练：宝洁公司如何选择新产品试销区域？
演练：如何自动评选优秀员工？
演练：中国各省份发达程度分析，让数据自动聚类
Ø 层次聚类（系统聚类）：发现多个类别
Ø R型聚类与Q型聚类的区别
案例：中移动如何实现客户细分及营销策略
演练：中国省市经济发展情况分析（Q型聚类）
演练：裁判评分的标准衡量，避免“黑哨”（R型聚类）
Ø 两步聚类
3、 客户细分与PCA分析法
Ø PCA主成分分析的原理
Ø PCA分析法的适用场景
演练：利用PCA对汽车客户群进行细分
演练：如何针对汽车客户群设计汽车
第十一部分： 客户价值评估—RFM模型篇
营销问题：如何评估客户的价值？不同的价值客户有何区别对待？
1、 如何评价客户生命周期的价值
Ø 贴现率与留存率
Ø 评估客户的真实价值
Ø 使用双向表衡量属性敏感度
Ø 变化的边际利润
案例：评估营销行为的合理性
2、 RFM模型（客户价值评估）
Ø RFM模型，更深入了解你的客户价值
Ø RFM模型与市场策略
Ø RFM模型与活跃度分析
演练：“双11”淘宝商家如何选择价值客户进行促销
演练：结合响应模型，宜家IKE实现最大化营销利润
案例：重购用户特征分析
第十二部分： 数据集预处理—整理数据篇
如何整理数据，了解数据，对数据进行预处理？
1、 数据预处理的四大任务
Ø 数据集成：多个数据集合并
Ø 数据清洗：异常值的处理
Ø 样本处理：筛选、抽样、样本平衡
Ø 变量处理：变量变换、变量派生、变量精简
2、 数据集成（数据集合并）
Ø 样本追加（添加数据行）：横向合并
Ø 变量合并（添加变量列）：纵向合并
3、 数据清洗（异常数据处理）
Ø 取值范围限定
Ø 重复值处理
Ø 无效值/错误值处理
Ø 缺失值处理
Ø 离群值/极端值处理
Ø 数据质量评估
4、 样本处理：行处理
Ø 样本筛选：指定条件筛选指定样本集（减少样本数量）
Ø 样本抽样：随机抽取部分样本集（减少样本数量）
Ø 样本平衡：正反样本比例均衡
5、 变量处理：列处理
Ø 变量变换：原变量取值更新，比如标准化
Ø 变量派生：根据旧变量生成新的变量
Ø 变量精简：变量删除/降维，减少变量个数
Ø 类型转换：数据类型的相互转换
6、 变量精简/变量降维常用方法
Ø 常用降维方法
Ø 如何确定降维后变量个数
Ø 特征选择：选择重要变量，剔除不重要变量
² 基于变量本身特征来选择属性
² 基于数据间的相关性来选择属性
² 利用IV值筛选
² 基于信息增益来选择属性
Ø 因子合并：将多个变量进行合并
² PCA主成分分析
² 判别分析
7、 类型转换
8、 因子合并/主成分分析
Ø 因子分析的原因
Ø 因子个数选择原则
Ø 如何解读因子含义
案例：提取影响电信客户流失的主成分分析
9、 数据探索性分析
Ø 常用统计指标分析
Ø 单变量：数值变量/分类变量
Ø 双变量：交叉分析/相关性分析
Ø 多变量：特征选择、因子分析
演练：描述性分析（频数、描述、探索、分类汇总）
第十三部分： 数据呈现图表—数据可视化
1、 常用图形类型及选择原则
2、 常用图形作用及画原则
Ø 柱状图、条形图（对比）
Ø 直方图、箱线图（分布）
Ø 饼图、瀑布图（结构）
Ø 折线图（趋势）
Ø 散点图（关系）
3、 图形美化原则与技巧
演练：各种图形绘制
结束：课程总结与问题答疑。
