中华资料采矿协会理事长

《中华资料采矿协会理事长》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、DataMiningMicrosoftSQLServer2005謝邦昌輔仁大學統計資訊學系教授中華資料採礦協會理事長stat1001@mails.fju.edu.twWWW.CDMS.ORG.TWwww.stat.fju.edu.tw1你不能不知的十大創新技術TechnologyReview雜誌（麻省理工學院2002年1月出刊）2改變未來的十大創新技術機器與人腦的介面塑膠電晶體資料採礦(Datamining)數字權利管理生物測定學(Biometrics)語言識別處理微光學技術(Microphotonics)解開程式碼(Un

2、tanglingcode)機器人設計微應用流體學(Microfluidics)3PCArchitectureDOSSpreadsheetsWordProcessorsPCMid80sInternetMid90sApplicationsLate80s-Mid90sWebAppsMid00s-...TodaySpeech/WritingXML/SOAPHTTP/HTMLSMTPEmailClientsWebBrowsersWi-Fi/BroadbandDevicesWebServicesProtocols:LooselyCoup

3、ledAPIs:TightlyCoupledRightsManagementTrustedComputingHardwareMouseGUILANsWavesofInnovation4DATAMINING執行階段定義企業問題資料準備資料檢視模型的建立模型的評估佈署與應用資料源DataMining處理流程CRISP-DMDATAMINING處理流程5分析服務(DataMining)整合性服務(SSIS)SSIS分析服務報表服務資料來源檢視表(DataSourceView)定義企業問題資料準備資料檢視模型的建立模型評估佈屬與應用

4、資料源DataMining整合微軟商業智慧方案資料源6定義企業問題(CRISP-DM)確定目前內部遇到的問題定義解決的目標是開源或是節流電信用戶忠誠度逐年下降..產品良率持續下降…零售點庫存情況成長…保戶詐欺狀況不斷升高…卡戶剪卡比例增加…客戶呆帳發生數暴增…客戶轉貸頻率提升…7資料準備(CRISP-DM)使用資料平台整合性服務(SSIS)全新的資料轉換工具，SQL2000稱之為DTS消除異常資料如出生前的消費記錄、離家300公里的日常消費進行資料載入、轉換、清除過濾與彙整多重資料源整合至資料倉儲或分析服務進行資料取樣處理訓

5、練與驗證資料根據百分比抽樣根據筆數抽樣整合變數使用衍生性欄位、通用變數…等文字採礦功能可擷取單字或是片語可列舉排除關鍵字8資料檢視(CRISP-DM)進行建立模型前的決策檢視資料分佈情況檢視資料最大最小值檢視資料標準差檢視資料平均值使用的工具BIDevelopmentStudio9模型的建立(CRISP-DM)將資料切割為:訓練資料鑑效資料測試資料同一商業問題可以透過多種演算法、調整參數找出最佳模型微軟提供9種採礦演算法(再加TextMining)利用DataMining語法利用DataMining建置精靈TrainingV

6、alidationTest10模型的評估(CRISP-DM)TrainingValidationTest使用訓練資料集建立預測模型.使用鑑效資料集來避免模型對於訓練資料集產生記憶效應使用測試資料集來選擇模型以及測量模型在預測未知資料的能力微軟提供的評估方法可以透過MiningAccuracyChartLiftChart-累積增益圖ClassificationMatrix-錯差矩陣11模型的評估使用測試資料(CRISP-DM)利用測試資料集進行欄位對應選擇輸入資料表進行欄位對應12模型的評估之累積增益圖(CRISP-DM)累積

7、增益圖指標可以判斷不同採礦演算法的準確率13模型效益評估之錯差矩陣(CRISP-DM)橫軸為預測結果，縱軸為實際結果用來比較各類預測正確與錯誤之組合14佈署與應用(CRISP-DM)將採礦的分析結果部署到商業模型中，達到自動化預測的效果，以提升營運利潤、改善商業流程使用對象決策者行銷單位財務分析品保單位整合方案使用技術DMX、AMO、XMLA資料平台整合性服務(IntegrationServices)分析服務(AnalysisServices)報表服務(ReportingServices)15DataMining評估Data

8、baseTheoryArtificialIntelligenceMachineLearningStatisticsDataWarehousingDataMining16DataMining工具資料採礦工具是利用資料來建立一些模擬真實世界的模式（Model），利用這些模式來描述資料中的特徵（