基于卷积神经网络的搜索广告点击率预测

《基于卷积神经网络的搜索广告点击率预测》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于卷积神经网络的搜索广告点击率预测基于卷积神经网络的搜索广告点击率预测引言　　随着.收集整理来解决CTR的预测。Dave等人[7]在搜索广告点击信息以及广告商账户信息上提取语义特征，使用基于投票思想的梯度提升决策树模型，提高了CTR预测的效果。Zhang等人[8]利用神经网络模型对影响搜索广告点击率的因素进行的探索，从特征因素方面提高CTR预测的结果，但是资源单一，数据交互的关系没有获得良好的利用。本文对基于卷积神经网络（ConvolutionNeuralNetplinglayerstructure　　在卷积层中，原始特征通过卷积核进行卷积得到输出的特征，使用不同的卷积核就可以得到一系列不

2、同的输出特征。对卷积层的计算，有如下公式：　　（1）　　这里，是sigmoid函数，，；代表输入特征上选定的窗口，即在卷积过程中当前卷积核在计算时所对应在输入特征上的位置；和分别是第层输入特征和第层输出特征上相应的值；是卷积核的权重值；是特征的偏置，每一层对应一个。　　卷积过程，一个卷积核通过滑动会重复作用在整个输入特征上，构建出新的特征。同一个卷积核进行卷积时，共享相同的参数，包括同样的权重和偏置，这也使要学习的卷积神经网络参数数量大大降低了。而当我们使用不同的卷积核进行卷积时，可以得到相应的不同的输出特征，这些输出特征组合到一起，构成卷积层的输出。　　在亚采样层，前一个卷积层的输出将作为

3、该层的输入特征，首先设定大小的窗口，然后通过滑动，用窗口区域中最大（或平均）的特征值来表示该窗口中的特征值，最后组合这些特征值得到降维后的特征。亚采样过程可表示如下：　　（2）　　这里，类似于卷积层，和分别是第层输入特征和第层输出特征上相应的值，是特征的偏置；表示取最大值或者平均值的函数。　　典型的卷积神经网络通常由n（n>=1）个卷积层和亚采样层以及最末尾的m（m>=1）全连接层组合而成。一个亚采样层跟随在一个卷积层后出现，通过这若干卷积层和亚采样层后得到的特征，将经过全连接层与输出层相连。全连接层公式如下：　　（3）　　这里，是sigmoid函数，是计算第层到第层时的权重值。

4、　　1.2基于卷积神经网络的CTR预测模型研究中使用卷积神经网络对搜索广告的CTR进行预测，网络结构如图2所示。　　图2卷积神经网络在搜索广告点击率预估中的应用　　Fig.2Convolutionneuraldash;权值共享。如此即使得N更方便训练，更能多角度地对特征进行学习。　　2特征构建　　本文所采用的实验数据集为KDDCup2012中Track2提供的数据集。该数据由腾讯公司下的搜索品牌搜搜（SOSO）搜索引擎提供，因为涉及公司商业信息，数据经过哈希处理。实验数据集中，每条记录包含12个属性，各属性详解如表1所示。　　研究按照实际含义将这12个属性构造了四大类特征：历史点击率特征、相

5、似度特征、位置特征和高影响力特征。　　2.1基于卷积神经网络的CTR预测模型　　历史点击率特征是不同类别ID在历史数据中的点击率，虽然比较简单但十分有效，因为历史点击率在一定程度上代表了类别ID对某个广告感兴趣程度的高低，当一个ID对某个广告的历史点击率高时，意味着其对这个广告更感兴趣，后续点击的概率也更大。　　历史点击率（）是点击数（）与展示数（）之比，在统计计算过程发现有很多情况下有些类别信息没有点击实例，因此研究采用了平滑方法解决零值问题，根据公式（4）来计算平均点击率。计算公式如下：　　（4）　　公式中的和是调节参数，根据公式（4）计算出AdID，AdvertiserID，Query

6、ID，KeyID，UserID的历史点击率。　　2.2相似度特征　　相似度特征用来刻画属性两两之间的相似程度，用户搜索的内容与被投放的广告属性相似度高时，广告被点击的概率更大。例如当搜索内容Query与广告关键字属性Key的NVIDIAGeForceGT610GPU条件下运行。过程中选用了DenseGaussian对卷积层、亚采样层的边和节点进行初始化，用常数初始化输出层，学习卷积神经网络各边权值时的优化函数使用梯度下降算法，其中学习率为0.01、动量项为0.9，训练步数为100，设置公式（4）中参数α=0.05，β=75。实验时使用逻辑回归模型（LR）、支持向量回归模

7、型（SVR）和深度神经网络（DNN）作为对比方法，所有方法都使用相同的特征，其中DNN的层数以及每层的节点数与卷积神经网络相同。　　具体地，首先探究了卷积神经网络中节点的设置，因为在N中后续层的节点数根据第一个卷积层和每层卷积（或亚采样）滑动窗口的大小计算得到，并以第一个卷积层节点的设置为实验变量，同时控制DNN中每层的节点数均与N相同，在验证集上的实验结果如图3所示。　　从图3可以看出，随着节点的增加，AU