智能数据分析助力应用智能化

《智能数据分析助力应用智能化》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、敬惜——助力您的应用智能化根据情况变化来合理运用知识以有效地解决问题核心问题：知识挖掘关键能力：自学习、自适应什么是智能化互联网、信息爆炸使得我们所面临的环境出现了重大的变化：一是海量用户所导致的需求散乱；二是用户的需求/兴奋点多变且变化迅速。这种情况下就导致传统IT的先总结经验、积累知识然后再编写业务应用的模式跟不上用户需求的快速多变。因此从海量的历史数据中直接挖掘知识而加以应用来有效满足用户快速多变的需求就是必然的了。发挥计算机计算能力强的优势，直接从海量的历史数据中挖掘知识，能力形成速度快、反应迅速人脑思考问题的信

2、息量有限，AI（人工智能）则能同时处理海量的信息，在快速、大并发量、精确等方面比人强面对海量用户，能以最低的成本实现个性化的需求满足智能化的优缺点优点计算机再先进也只是一种机器，不够灵活永远都是最大的不足人的需求千差万别，AI只适合处理某些需求，也做不到一劳永逸大部分情况下，AI都需要巨大的计算资源（CPU/内存）和较长的时间加以复杂的计算才能完成知识的挖掘缺点智能化的再认识人类知识的形成过程（意识、实践、经验总结、知识化）是缓慢而成本高昂的，而且人类知识如果不够精确则应用起来也有很大的困难；如果信息量巨大，受限于人脑的

3、处理能力也就无法形成相应的知识。而AI就是用计算的复杂化来换取某些情况下知识凝聚的快速化、精确化，代价当然是计算资源的巨大消耗。AI是设计好的机器按既定规则从海量的历史数据中挖掘出某些知识，所以其应用就只能是数据积累丰富且人为因素或外部不可知/不可控因素影响较小的环境，也就是说应用场景对效果好坏的影响比较大，尤其是在讲关系、讲变通、讲悟性的中国其应用领域的限制较大。知识就是力量！分类知识的基础就是对事物的识别，大千世界、万物生灭，如果只针对单个事物那人如何一一识别？所以识别的前提就是归类，将相同、相似、相近的事物按其特征

4、进行归纳后形成一个个的群体，这样人就不需要去记忆一个一个具体的事物而是只要记住特征就可以识别一群事物了。从一大堆历史数据中提取事物分类的特征并把事物特征和已知类别联系起来就是提取决策规则。利用决策规则就可以将一个新事物分类到某个已知类别中。知道了事物属于哪个已知类，那么就可以利用事物的相似性、相近性对刚分好类的事物套用该类的其它特征加以利用。如判断下来某用户偏好吃辣那么网站就可以向用户推荐其所在位置附近的湘菜馆。敬惜选取的分类技术是基于粗糙模糊集的算法，不需要人为的主观判断，可以从海量历史数据中直接挖掘出基于用户偏好的决

5、策规则粗糙集处理不确定和不精确问题的数学工具，是智能计算的基础理论之一不象模糊集那样需要人给出一个主观的隶属度函数，而是从数据自身直接处理不确定性，比较客观，尤其适合人类认知不多、数据量巨大的情况，如电商网站的用户行为模式提取、大型设备或系统故障检测规则挖掘等核心思想：知识就是对事物的分类能力下近似：R(X)_={x

6、(x∈U)∧([x]R⊆X)}上近似：R(X)¯={x

7、(x∈U)∧([x]R∩X≠Φ)}下近似即肯定属于X的最大子集，上近似即包含X的最小子集，如果两者不等即意味着X对于知识R存在不确定性，也就是说知识R

8、对于事物X无法准确分类利用粗糙集理论就可以通过对决策属性关于条件属性的辨识能力进行检测与压缩，从而实现对决策规则的提取现实情况中会出现条件属性相同但决策属性不同（同一个人今天吃辣明天吃甜）的不相容现象，所以我们导入了模糊集进行支持度判定用户偏好识别对电商来说用户偏好就是用户有倾向性的购买。因此我们把用户属性分为用户的特征属性、用户的行为属性、用户的业务属性（用购买来刻画）。经过这样的划分，用户偏好的识别就是从海量的历史交易记录中把用户属性和产品的业务属性之间的关联关系找出来。识别出了用户偏好，我们就可以：对老用户进行预分

9、类，使之下一次登录时就可以根据其偏好对其界面、产品推荐、广告展示等进行个性化的定制，以促进有效点击率的提高对当前用户的兴趣点做出及时的反应用户偏好的个性化预测知识最大的价值就是在某些事情尚未发生前就有所估计，从而未雨绸缪、提前准备、不打无准备之仗。这在风险识别、前景评估、辅助决策等方面有巨大的应用价值。AI中的预测是在事情刚发生时，根据当前所掌握的不完全的信息就对目标问题做出一个基本判断。如车坏半路了，根据用户看到的几个故障现象就预判故障点所在而不需要全面检修；刚接触一个新客户，根据第一次接触所收集到的信息就预判成案概率

10、以决定打单的资源投入力度。预测是否有效取决于知识的性质，如果知识是基于因果关系的，显然预测的结果更为可信；如果知识是基于相关性的，那么在一定程度上还是可信的；如果知识是基于相似性或相近性的，那么显然就是仅供参考了。敬惜利用蚁群算法求解贝叶斯网模型的相关技术可从历史数据中挖掘出基于因果关系的贝叶斯网模型，预测结果较为可