基于概率统计方法的用户行为分析系统.doc

《基于概率统计方法的用户行为分析系统.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于概率统计方法的用户行为分析系统1.业务分析在计算机被广泛使用的今天，对计算机算法研究从原来的精确复杂度估算和精确输出已经转移到模糊输出和可变复杂度上来了，这主要是因计算目的和计算量的改变导致的。互联网是一个信息爆炸的世界，其特点是信息的产生和消费量大、速度快，这使得原本许多无法收集的训练数据成为可能，人们可以在短时间获得足够的分析样本。另外就是人工智能的发展由于缺乏有效的思考模型而几乎停滞不前几十年，直到最近十年，大家才将人工智能的研究由思考模型的建立转移到概念学习上面来，正是由于这种转变，使得原来只能学术的人工智能却从机器学习这一分支成功突破，被广泛应用在互联网

2、、医疗、金融等行业。特别是数据挖据和机器学习相互借鉴后，它们在实用性方面有了长足的进步，使得它们成为近十年来最热门的研究方向之一。而所有的这些背后，它们都大规模的使用了统计和概率知识，概率统计成为其重要的研究工具。要得到概率必须先统计，两者在数学上是一脉相承，同时对于应用水平来讲，概率统计已经很成熟了。在互联网行业应用最多的就是对数据的处理文本的分类、数据的消噪、自然语言的分词与句法分析、语音识别等，这些都是典型的应用，且都通过概率统计的方法得到了成功的发展，如基于Bayes的文本分类器、基于Markov的语音识别系统、基于概率统计的分词系统等。最近业界有趋向将这种基

3、于概率统计的方法应用到用户行为分析系统上，主要用于提高用户体验和直接提高网络销售额，试图改变互联网用户的主动信息搜索的局面，将用户信息搜索改变为自动信息推荐，提高用户信息搜索的命中率，减轻用户的信息获取过程的复杂度。对于存在有用户互动的网站来说，能够了解用户心理是一件很有意义的事，像阿里巴巴这样的与用户高度互动的网站就显得更加重要，用户在在购买了A商品后会接着购买什么商品呢？用户这段时间最关心的会是什么东东呢？用户是moneycare/brandcare/qualitycare?用户喜欢什么样的分类？等等。其实是无法找到一个算法给出精确的输出，但我们可以根据我们的经验

4、进行判断，对于机器来说，经验的最直观的表现全空间搜索，找到一个完全一样的案例，然后给出结果，但这几乎是不可能的，因为世界万物的变型空间太大，首先是无法完成样本收集工作，接着是无法完成搜索工作；概率统计虽然说是得出不精确的结果，但实践证明概率统计的应用几乎都是成功的，而且低成本。2.同行状况通过一些非正式途径了解到，互联网行业的一些同行已经在这方面有关动作，并取得了一定的成绩。例如网易、腾讯和哈工大信息检索实验室合作在自然语言处理上已完成了关键技术的实验，正在试图产品化（或部分已产品化）。最近一些电子商务网站（传言腾讯）已经开始对用户行为进行跟踪分析，用以提高其网站的用

5、户体验。这些尝试基本上都是建立在对概率统计算法方面的研究的基础上，但现在基本上还处于以前学术成果的转换阶段，如算法的商用化、样本数据的理解、学习器的训练等，正试号称智能的产品还未出现。3.目的对淘宝的用户数据（用户信息／购买记录／流览日志）进行整理得到足够在的样本空间（包括训练样本），对样本数据进行统计分析得到必要的先验概率（下一个购买意向／目标商品／购买成功率）；给出足够多的训练样本对行为分析引擎进行训练，使其具有更高的可信度；改进引擎使其计算接近实时，试图应用到淘宝的商品推荐方案上。4.研究方法及工具研究方法：以统计学和概率分布为基础对现有数据进行有效整理（分数据

6、整理、统计分类、概率分布计算三步），得出C2C电子商务交易中的用户心理数据（有一组相关量来描述，模型待定）；通过有效的模式匹配算法进实时请求进行有效计算，给出预测值。研究工具:归纳学习算法／HiddenMarkovModel／Bayes5.简单计划m评估算法和切入点。主要选取最有表现力的算法和模型。m建立预测所需的输入／输出数据模型及样本空间的大小。m整理样本。m建立先验概率。m训练用户行为分析器。m建立应用系统。