数据分析工具介绍.doc

《数据分析工具介绍.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1.审计工具1.1基本含义审计工具是指模型定制过程中使用的数据分析、模型定制工具。主要包括十三个工具。1.2功能描述1.2.1数据提取(DataExtract)＞功能描述按照筛选条件提取数据农数据，并生成新的结果表。本操作是模型录制的入口操作。＞输入参数/提读収表名称(ln_Table)/提収字段串(ln_Field)/筛选语句(ln_Where)/排序语句(ln_OrderBy)：字段1排序方式(desc/asc)，字段2排序方式Cdesc/asc),丁结果表名称(ln_NewTableName)＞实现方式DB2存储过程(proc_sql_execute)＞处理流程1.纽成数据提取的

2、SQL语句；2.调用SQL执行器纽件执行SQL语句；＞关键环节模型探索过程中，提取的最大记录数是50万条，该参数是系统参数，必要时可以山系统管理员调整。1.2.2字段维护(FieldMaintenance)>功能描述1.基于当前数据集(反映为操作的上下文环境)，进行字段维护，可以新增一个或者多个字段，指定这些字段的表达式，纽成数据提取的SQL语句。2.对于新增的字段，支持默认值的指定.3.支持字段拆解功能：提供字段拆解函数，将指定字段(的值)根据指定分隔符及指定位置拆解生成新字段。>输入参数丁操作表名(ln_table)o“维护字段名(ln_NewField)：多个字段以分隔/维护字段

3、类型(ln_NewFieldType)：多个字段类型以分隔，顺序与新增字段匹配“维护字段表达式(ln_NewFieldExpress)：多个字段表达式以分隔，顺序与新增字段匹配/维护字段描述(ln_NewFieldRemark)：多个字段描述以分隔，顺序与新增字段匹配/结果表名称(In_NewTableName)1.23数据关联(DataJoin)功能扌苗述将不同数据衣按照相同字段进行关联，把属于不同农的字段集中到同一•个表中，从而实现对两张数据表中同一记录的不同字段的关联分析，实现两个数据集之间的拼接。关联方式包括以下五种:工衣中的记录主表有『U被比较表没有的记录被比较衣有血主衣没有

4、的记录两个农屮的所有记录输入参数/关联方式(in_bz)：/主表名称(ln__FirstTable)/被比较表名称(ln_SecondTable)/主表关联字段(ln_FirstField)：以：隔开的字符串，示例——表名1•字段1,表名1•字段2,同被比较表关联字段一对应“被比较表关联字段(In.SecondField)：以：隔开的字符串，示例——表名2.字段1,农名2.字段2,同主农关联字段-一对应/艶示的字段(In.ColumName)：以7隔开的字符串，示例——表名1.字段1,表名1.字段2,表名2.字段1,表名2.字段2°丁结果表名称(In_NewTableName)关键环节

5、1、关联字段尽量使用索引字段，会大大提高效率。3、为了避免主、从表多对多关系造成的关联结果记录数量级増加，建议在数据关联之前，进行必要的数据筛选或者収唯一值操作。＞示例：■数据关联:■选择主表：如数据提取DEMO,增加模型中间结果表的选择■选择主表字段：如数据WDEMO■选择关联表:医实体名/@前穩出中间结星誤]实体名养中文名味»@L°°°°°°°2-2080CLl-M第1步慕中间结果表]ZM.00000002.20800.2_M第2步*?中间结果舉ZM_00000002_20800J3_M中间结果衰1第1页供1页（共0条记录）1WSJ■选择关联农字段：如数据提取DEMO■选择关联字段

6、：■操作描述：如数据提取DEMO■关联方式:关联方式G完全匹配的记录C主表中的记录O主表有而被比较表没有的记录C被比较表有而主表没有的记录C两个表中的所有记录1＞关联方式一•完全匹配的记录段记录帐号KEY帐户余额帐户名称11111000aaa22223000bbbL表中的记录段记录联号KEY帐户余额帐户名称11111000aaa22223000bbb34442000■3、关联方式三•主表中有从表中没有的记录段帐号KEY帐户余额匸表「

7、

8、没丫j从表中彳『的记录帐号KEY帐户名称2555ddd5、关联方式五上从衣中全部记录帐号KEY帐户余额帐号KEY帐户名称11111000111aaa22

9、223000222bbb3■■■■■■333CCC44442000……5■■■■■■555ddd帐号KEY帐户余额开始1!期结束日期1111100002009010122223000020090102200902053444200002009030142223500020090206记录^帐号KEY交易日期交易金额B2222009-01-203000022222009-02-06500133332009-02-2850045552009-02