证券金融其它相关毕业论文 异常点挖掘在证券业的应用研究

《证券金融其它相关毕业论文 异常点挖掘在证券业的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、湖南师范大学本科毕业论文考籍号：XXXXXXXXX姓名：XXX专业：证券金融其它相关论文题目：异常点挖掘在证券业的应用研究指导老师：XXX二〇一一年十二月十日　　内容摘要：异常点挖掘是数据挖掘的一项功能，现有的文献较多关注于算法及其改进方面，而对于异常点挖掘过程以及如何将异常点挖掘应用于证券业缺乏深入研究。本文针对上述两个问题展开探讨，提出异常点挖掘的生命周期模型并给出该模型在证券业的应用案例，为应用的研究提供参考。　　关键词：证券业异常点数据挖掘应用　　　　证券业是一个数据密集型的行业，经过多年的发展，许多券商积累了海量的客户数据。如何挖掘这些宝贵的数据资源以发现证券交易过程中隐含的不良操

2、作，是数据挖掘在证券行业应用的重要课题。对于异常点，Hawkwins认为：一个异常点是这样一个测量值，它过分地偏离其他测量值，从而使人们对它产生怀疑，怀疑它是由不同的机理产生的。作为数据挖掘的一项功能，异常点挖掘受到众多学者的重视，但大部分的研究重点均放在算法、算法优化和改进等方面，而对异常点挖掘过程以及如何结合具体的问题域、行业背景知识进行挖掘则探讨不多。　　异常点有着较强主观性，在进行异常点挖掘研究时应定义特定的挖掘背景。在证券业，异常点挖掘可以发现客户数据中的异常点或者孤立点，而这些特殊数据恰恰包含了非正常的交易。当然，并不是所有的异常点都是不良操作或者违规交易，其中，有一部分异常点可

3、能是噪音数据，有些则是真实的并且有利于券商的交易信息，例如，发现大客户或者潜在的优质客户等。基于此，本文将重点探讨完整的异常点挖掘流程及其在证券业的应用。　　　　异常点挖掘的生命周期过程　　　　异常点挖掘的生命周期应该包括定义目标、选择数据源、选择挖掘算法、设置初始维（组合）及域值、计算验证、迭代以及后期分析7个步骤（如图1）。　　定义挖掘目标。从数据挖掘的七个步骤来看，定义目标应该是一张宽泛的、粗线条的需求定义列表，例如：对客户交易记录进行异常点挖掘，找到异常交易和可疑记录；发现不同类型客户分组中的特例，等等。　　选择数据源。异常点挖掘和数据挖掘的数据源一般来说是一致的，并在其基础上根据挖

4、掘目标进行选择和预处理。此外，为了获得更佳的挖掘效果，需要对进行异常点挖掘的数据源做预处理。大部分情况下，这类数据源的预处理将在任务开始时完成，并且可以直接运用到异常点挖掘中。　　选择算法。涉及异常点挖掘的算法较多，比较常用的有基于统计的算法、基于距离的算法、基于偏差的算法，每种算法都有不同的实现。在实践中需要针对不同的挖掘目标，不同的数据源，不同的资源条件，对算法做出选择和优化。　　维和初始参数的选择。在异常点挖掘时，证券客户不同的维（属性）组合得到的异常点可能完全不同。有些记录在某些维度上的偏差较大，当计算包括这些维度时，往往会覆盖其他维对异常点判断的影响，而不考虑这些维时，这些点并不表

5、现得多么“异常”。因此，需要单独考察某些维度组合上的异常情况；同时，也需要在过滤掉那些过于“异常”的维度和记录之后，考察其余维度上的异常情况。除了维度的选择，在开始计算时，也要考虑域值的初始值设置。对于基于距离的异常点挖掘算法，邻域阀值k的取值非常关键，尤其对于局部异常点挖掘，k的不同取值可能产生完全不同的结果。　　计算并验证异常点。挖掘算法的实现可以借助一些统计分析工具，例如SAS、SPSS等，或者是自己实现挖掘算法。相比计算，验证异常点就要困难得多，首先必须保证算法的实现是正确的，其次即使使用一个可靠的程序进行挖掘时，仍然可能会有误差和噪音干扰挖掘结果。一个办法是通过迭代计算比较多次结果

6、后剔除，而迭代是整个异常点挖掘过程的一个必须环节；另一个办法是观察异常点数据的特征，当数据是低维（小于3维）时可以使用散点图观察样本分布，通过直观比对挖掘得到的异常点位置来判断有效性。　　　迭代计算（调整维组合和域值）。一次异常点挖掘的结果，并不意味着挖掘过程的结束，还需要调整维组合和域值之后迭代计算，得到更全面和系统的结论。例如，对于一个基于佣金和交易次数两个维度组合得到的异常点，我们认为它是在维度组合[佣金，交易次数]上的异常点，而对于其他维度组合则不一定，或者还有更加“异常”的样本点存在。对于不同维度组合下的综合考察可以帮助我们找到更加“合格”的异常点，迭代计算可以帮助我们完成这项任务

7、。异常点的计算是一个动态的过程，从初始的维组合和参数设置开始，需要制定一个有条理的维组合选择计划，每次计算选择不同的维组合进行计算，同时验证所得的异常点是否有效，以决定域值和维的选择。一旦对数据进行了若干轮挖掘并获得输出结果后，便可据此进行后期分析和目标检验。　　　　后期分析。后期分析的主要任务是综合之前的计算结果，结合挖掘目标和问题背景，解释异常点产生的原因，指出需要采取的措施和方案建议等。为了对异常点做出