《机器学习实践应用》读书笔记.doc

《《机器学习实践应用》读书笔记.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《机器学习实践应用》读书笔记  这次的读书笔记主要介绍机器学习背景和基础概念  1机器学习背景  数据现状  20世纪70年代曾遇巨大瓶颈，原因有计算能力+数据量的不足。随着互联网的普及和对用户数据的大量采集，数据量不足的问题已逐渐弥补，机器学习算法的价值越来越大。但在传统领域，如建筑行业，数据产生于工地的一砖一瓦，采集起来会更困难和麻烦，随着图像识别技术的进步和普及，这样的问题能够慢慢解决，但不得不说，传统领域的数据智能化仍然是比较慢的进程。(这里可以自行了解下百度在传统领域的AI技术落地情况)。目前主流的机器学习算法是监督学习算法，该算法需要的是打标过的数据，而数据的打标十

2、分依赖人工标记，之前在实习的时候，给短视频的标签做标记都能把我搞得头昏脑涨。人工打标有几个问题：成本高+量级小  机器学习算法现状  机器学习已渗透到生活的各个方面，特别是在互联网领域。用网购场景来举例。  1)你在路上看到陌生人的一件T恤你很喜欢→使用淘宝的【拍立淘】(图像识别技术)  2)在淘宝搜索框语音输入商品名称(语音转文字技术)  3)商品的个性化推荐(推荐算法)  4)商品下单→若钱不够用→借钱→贷款额度显示(由机器学习算法计算)  5)下单后→短时间完成商品包装、库存发货到中转库存、从低级仓库到高级仓库配送、向下分发(机器学习算法)  6)快递员配送→系统设计最优

3、路线(机器学习算法规划)  7)商品投诉→智能客服立即回复(文本的语义分析算法，精准确定问题)  以上的过程涉及了模型的训练和预测、语义分析、文本情感分析、图像识别以及语音识别技术  机器学习高频场景  1)聚类场景  人群划分和产品种类划分等  2)分类场景  广告投放预测和网站用户点击预测等  3)回归场景  降雨量预测、商品购买量预测和股票成交额预测等  4)文本分析场景  新闻标签提取、文本自动分类和文本关键信息抽取  5)关系图算法  社交网络关系网络关系挖掘和金融风险控制等  6)模式识别  语音识别、图像识别和手写字识别  总评  机器学习+是大趋势  2基本概念

4、  机器学习流程  1)场景解析  把业务逻辑和算法进行匹配  2)数据预处理  清洗数据，将数据进行归一化或标准化，减少量纲和噪音。  3)特征工程  机器学习最重要步骤。在算法固定的情况下，特征的选择决定了模型的效果  4)模型训练  训练数据经过了预处理+特征工程后进入训练阶段。  5)模型评估  对各模型的预测结果评估  6)离线/在线服务  数据源结构  1)结构化数据  矩阵结构存储，通常包含特征列+目标列。机器学习算法通常只支持结构化数据  2)非结构化数据  图像、文本或语音文件，不以矩阵机构存储，是目前技术热点，通常将其转化为二进制存储格式  3)半结构化数据

5、  典型的半结构化数据是XML拓展名的存储数据  算法分类  1)监督学习  有特征值+目标队列，依赖打标，常用于回归和分类算法  2)无监督学习  无目标值，不依赖数据的打标，通常用于聚类算法  3)半监督学习  对样本的部分进行打标，一种半监督算法——标签传播算法  4)强化学习  人工智能领域热点。系统与外界不断交互，从而决定自身的行为，如无人汽车驾驶和阿法狗下围棋   使用机器学习算法常见问题  过拟合问题  算法结果评估  1、精确率、召回率、F1值  2、ROC和AUC  另外还需要了解的指标：TP、FP、TN、FN  总评  基础概念的理解有利于帮助入门