大数据用户画像实践

《大数据用户画像实践》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、 
杨步涛2014年11月纲要1沃商店定h2沃商店大数据i系架构%用户画n建设4S性化推荐5广告(用户画n的其他应用实例沃商店定h!201%年T国手机应!201%年T国手机游戏!运营商通m账户6.0支用分发总量快速市场近100亿oL201持A33应用t付费L提P升L其T应用商4年预计将达x180升付费转换率L从R足5店的分发量占比超亿o。%提升至20%bP。过80%；!多款e质手游月流水!话费支付的便捷e势机!72310渠道占总分超过5000Oo。遇期短暂]1-2年L移动发量的90%。互联网支付的替a转瞬即

2、至。沃商店定ht容分发平台能z开放游戏运营平台平台!沃商店大数据架构i系ÃÄ,/:ë
°Ğ
ä:
PUSH
Fò
uS

½pÏ
z©
LùF
È×À1Ćy
HIVE
:Ø/W

3、
İ
Ĥè
Storm1Zookeeper1Spark
MR
jþÖ1ïØ
ĭ±
F
Ganglia
!ÍáþÖ
¢VgÖw


HDFS
Hbase1
Mysql
Redis

Nagios
f+
Ozzie
FTP
Sqoop
Ka,a
FumeNG
Íá
j

结构化Log!Server
非结构化Ð3
CP
GGS

4、N
BSS
DM
特征工程—用户画n广告流量经分预测智能推荐386/数据开放沃商店、-3>rijZ]ãÒ^ èy
éç!µĚ¢…
ăA§©

结
1ȧ~ī¯Ìğõ!构ø
û?
Õèy
Ģą-Ñe…
化ãÿ
}C
ÂÑ


ĐFìÃĮª!
Uèy
ĊªARPUĘ'³Ċ!óðØú
'ÃÓà
用户画n非结构化用户画n—行为标注行为标注引擎结构化数据：851字符U851解析标注网站-动作-对象名称、分类、标签)hGp://detail.tmall.com/item.htm?spm=a230r´i²úħo2¬.网站85

5、1t容对象语义特征dt-aÙaÙ1.14.42.xaurJi&id=387知识库规则库知识库抽取ħo199101147&abbucket=11311111111网页t容爬虫引擎1hGp://money1.163.com/14/1107/15é²ú(Ĉä/āA
)AAF5A98J00254IU4.html
用户画n—网页文本分类"ÙėxÝTÙéċĐñ
"®¦lĎ¼
#ï¿ĚĒ¹ha
#
ēîÄu±T¾hĎ
#
((µyY쮦
"þiVsäÛTitÛT2(
Ö7Ê¿(P)1KW¿(R)1F11¡ÝBay

6、es!85%!86.2%!85.5!SVM!92%!93%!92.4!用户画n—兴趣建模行为权重H时间衰减H热度衰减H活跃度衰减11()+αTt−ActioD9浏览44、2
0.3
3
6
20141028]ActioD3
0.21
2
6
9Q载彩票、2014102)]归一化用户画n应用实践">a«ù
"o
"nßèíYõ
"ßÓ{ėü
"ÕÖußõkéċ
"âªYÀ
推荐—应用场景ěĕ«ù



















ßĂ«ù




ÃÚ


ĐF¿

7、ÚlrÊ
o
S性化推荐—平台架构üº
10010
PUSH
PC
á
Ĝê
Yá
×À
ÃöHı
ò
User(f1,f2,f3,…)
È
X(ï¼I
)[
õN!+1¦IJā
ē¸!Ä,
ø;
v
A/B!TesUng
















!
Öw
!111!1model
Jacarrd/cosine/CF/content!Base/!Íá
FPGrowth/LDA/LR/DT
©
Ãö





z©

F1!RMSE!f+1ÃE½
½E3l
©ÿâ
11Hadoop1DAUC!Ć11Hive1

8、!y11Hbase13lĉĞĂ:
Þ{
É!y


Mysql1redis
xÃw(Ø>§Õ)
Ą:¥
3l(ė
0îþÖ
S性化推荐—算法ContentBased
ItemBasedCF
Category
į
6RE
òÛy
ÎÅ
ïØ©
¯čÃ
ModelBased
Ą:¥
^KLĎÍ!apTopic:q!òĄÉ0xÃ!ppLDA
¤·õN
基于语义相关推荐—应用主题抽取
"-

#1

#¶-4R#áÞÈÛÉv

#·Ĉ¤k

"0-

#3E!!L
#e±UĈ¤kĚĒ


#´²ÅxÝ÷

9、

10、
算法融合—调整前c$ÊhM ©½Ç£ĝ11


:Ø1Č
Ć
Hı
0î
£ĝ=0.3
AB1test1£ĝ=0.2
GOē¸
å¦Ĩ
»
Nsv
ĄÉ!
Uø;
1pm£ĝÇĆĦ1C.½ĦęĀê½1
1算法融合—改进后Logic1Regression11£ĝ