基于时空相关度融合的语音唇动一致性检测算法-论文.pdf

《基于时空相关度融合的语音唇动一致性检测算法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第4期电子学报V01．42No．42014年4月AAE【ECrR0NICAs1NICAApr．2014基于时空相关度融合的语音唇动一致性检测算法朱铮宇，贺前华，奉小慧，叶婉玲，李艳雄，杨继臣(华南理工大学电子与信息学院，广东广州510641)摘要：本文在传统发音唇动分析模型的基础上，构建一个发音唇动时空模型．提出了唇动时域特征、空域特性与语音的相关度度量方法，以及融合时空度量的语音唇动一致性检测方法．利用唇宽、唇高与音频幅度变化之间的联系获得语音唇动的时域一致性评分；通过协惯量分析法获得语音与唇部空域特征的初始相关度，并提出了针对语音、唇动自然延时的相关度修订疗法；最后将时空上的得

2、分进行融合以判断语音唇动是否一致．初步实验结果表明，对于四种不一致音视频数据，与常用的协惯量方法相比，EER(EqualErrorRate)平均下降了约8．2％．关键词：时空特性；一致性分析；协惯量分析；相关度融合中图分类号：TP391文献标识码：A文章编号：0372—2112(2014)04—0779．07电子学报URL：http：／／www．~jouma1．org．caDOI：10．3969／j．issn．0372—2112．2014．04．024LipMotionandVoiceConsistencyAlgorithmBasedonFusingSpatiotemporalCo

3、rrelationDegreeZHUZheng—yu，HEQian-hua，FENGXiao—hui，YEWan-ling，LIYan-xiong，YANGji—chen(SchoolofElectronicandInformation研，SouthChinaUniversityofTechno／ogy，Cro~wz-ho／,，Guangdong510641，Chioa)Abstract：Thispaperconstructsaspaliotemporallipmotionmodelbasedontraditionalsimplepronunciationandlipmotions

4、patialmodel，andproposesmethodsformeasuringthecorrelationdegreebetweenvoiceandthespatial，temporalcharacteristicoflipmotion．Inaddition，afusionschemeforthespatialandtemporalcon-elationdegreeispmposedtomeasuretheconsistencyofvoiceandlipmotion．Thetemporalconsistentscoreisdefinedasthecorrelationbetw

5、eenlipshape(heightandwidth)andthespeecham—plitude．TheCoinertiaisusedastheinitialcorrelationdegreeofspeechandlipspatialcharacteristic．Boththespatialandtemlx~correlationdegreesaremodifiedbyaudiovisualinitialdelay．ExperimentalresultsshowthattheproposedmethodreducesEERbyabout8．2％compall~totheColAm

6、ethod．Keywords：spatiotemporalcharacteristic；consistentanalysis；coinertiaanalysis(ColA)；correlationdegreefusion关系数(NormalizedCrossCorrelations，NCC)，并作为特征1引言训练SVM(SupportVectorMachine)模型用于区分多媒体音唇同步是多媒体分析中一个重要的研究课题，有视频中的旁白与直白，该方法对旁白的正确识别率较广泛应用，例如电影中角色的发音口形配对，多媒体数高，对直白的识别率却并不理想．Malcolm等J贝Ⅱ提出了据传输中的

7、音视频同步检测及感知质量评价_1J，唇读识一种运用典型相关分析法(CanonicalCorrelationAnalysis，别

8、2J等，但针对发音和口型是否一致方面的研究才刚刚cca)通过计算脸部正面运动与语音的关联性来检测两起步．者是否一致的方法，但该方法精度易受训练样本数目的语音唇动一致性分析主要通过发音过程中音频与影响．EveJ将发音唇动的一致性分析引入到活体检唇部运动之间的联系来判断音视频是否同时录制、出自测，设计出一种同步性的检测评分机制，并以此检测语同一人