机器学习为业务赋能流程

机器学习为业务赋能流程

1.1 商业理解

明确商业问题和数据挖掘目标，需要通过与一线业务和运营人员沟通，深入理解商业问题的背景，同时对项目所需资源进行评估，这个阶段就需要明确项目商业目标和成功的评估标准。实施要点，充分沟通调研，设定适合的机器学习应用场景。常见的场景有提升用户复购，优化用户推荐，预测用户流失实施召回。本质来说，商业的核心问题就是增加收入、减少流失和人员提效。

注：机器学习类项目一定要与业务方或运营方深度合作，彼此参与，共同推进项目，因为业务的优化常常伴随着KPI提高，人效提高常伴随着裁员等业务担心问题，可能面对很大阻碍。

1.2 数据理解

根据商业痛点和目标，梳理企业内部外数据，探索建模索要的目标变量，确定建模需要的数据，确定取数口径，明确数据业务指标业务含义和指标使用规则。这个过程中算法同学需要深入介入业务中，理解各项业务指标含义，并根据业务的理解完成后续数据预处理和特征工程等操作。

注：必备的内外部数据获取，需要保证许菊的一致性，完整性和准确性，数据理解阶段触目确定目标因子。

1.3 数据准备

将数据集合成大宽表或创建数据集市，对数据进行清洗，转换，校验数据质量，对数据进行标准化操作，需要使用科学的编码规范指导编码。该阶段需要对数据缺失值，异常值进行处理。同时需要完成特征工程，特征工程是耗费时间最多的过程，一般情况，建模中花费特征工程耗费整个项目近80%的时间。

1.4 数据建模

选择合适的模型算法技术，实现数据挖掘目标，通过样本选取，确定训练集，验证集和预测集数据，该阶段需要完成特征筛选，模型训练和调参，模型预测评估，是否满足目标。

注：特征数据决定了模型的上限效果，模型调参只是让模型的效果趋向这个上限。二分类模型评估指标auc可以调优范围很小，优化0.01都非常困难，在一些建模比赛中可能auc差异可能只有0.0001

1.5 模型评估

全面应用模型进行预测，判断是否实现商业目标，通过科学的A/B测试，对目标场景进行模型应用，收集反馈效果，对预测效果进行评估分析，确定其统计有效性和真实有效性，判断是否满足商业目标。