3.3 大规模主题模型训练系统Peacock

图20 Peacock中的数据并行和模型并行

　　为了“利用更多的数据训练更大的模型”，Peacock系统结合了上述的“数据并行”和“模型并行”（图20）：

• 多组“模型并行”任务之间采用“数据并行”的方式工作，“模型并行”任务组内部，依然保持图19所示的并行采样方式；
• 在迭代结束或任务处理训练语料数据块过程中，不同“模型并行”任务组之间或同步或异步的融合模型分片L N_wt^i。模型融合的方式可以类似MPI中的AllReduce，也可以借助全局的参数服务器G N_wt^i。

　　同上一小节“模型并行”的分析类似，Peacock系统的采样方式收敛性同AD-LDA是一致的。Max Welling团队提出的Async-LDA[6]证明了异步融合L N_wt^i方式的收敛性。当Peacock采用异步方式融合L N_wt^i时，相当于同时结合了AD-LDA和Async-LDA算法，实践证明收敛性是没有问题的。

　　当然，Peacock系统在具体实现上除了上述的主要设计思想，还有很多的实用技巧，比如：

• 数据传输和文档采样之间的流水线。
• 图19所示的模型并行方式在每条对角线并行采样结束后都需要同步，怎样去掉这种同步？
• 怎样的模型N_wt分片方式，能尽可能的保证采样服务器之间的负载均衡？
• 我们是否需要每个迭代都重采样所有词的主题？
• 怎样快速的计算对数似然度？
• 怎样将模型的超参数α_t和β优化融入Peacock系统？
• 除了标准的吉布斯采样，是否有更加快速的采样算法？
• 主题数K从100到1,000,000，系统的内部数据结构都保持不变么？

　　在我们的论文[15]中，部分的解答了上述问题，更详细的Peacock解密请关注我们的博客“火光摇曳”[16]^_^。

四、Peacock在腾讯都有哪些应用？

4.1 文本语义分析

图21 文本分析示例

　　为了理解互联网上海量、多样化、非结构化的自然语言描述的文本，我们通常会从词法、句法、语义等维度进行分析。受限于文本字面信息量小，存在歧义现象，词法和句法分析容易遭遇 Vocabulary Gap的问题，从海量文本数据中归纳 “知识”，从语义角度帮助理解文本，是一种非常重要的途径。

　　例如，对于输入文本 “红酒木瓜汤效果怎么样？”，根据人的背景知识，很容易猜到这是一位女性用户在询问丰胸产品“红酒木瓜靓汤”的效果。对于机器而言，通常会先进行词法分析，对原始文本做切词、词性标注、命名实体识别等，然后使用词袋模型（Bag of Words，BOW）或提取关键词来表示文本。不难发现，从字面抽取的信息，很容易理解成“红酒”、“木瓜”等餐饮类语义，并非原始文本真实的意思。当然，我们可以对关键词做扩展，给出一些相似的词条，但是，更好的是直接理解语义。一种常见的方法是文本分类，由于对标注语料库的依赖，类别规模一般不会太大，粒度较粗。还有一种方法就是文本聚类，挖掘语义主题标签，更细粒度的理解文本意思，隐含语义分析技术逐渐发展成为常用的解决方案。能够从十亿级别的文档中归纳上百万语义的Peacock系统更是在腾讯广点通广告系统扮演着核心角色。这些不同维度的文本分析模块，包括词袋、关键词提取、关键词扩展、文本分类和Peacock等（图21），整合在一起构成了我们理解语言的基础文本分析平台TextMiner（图22）。

图22 文本分析平台TextMiner

4.1.1 文本分类器

文本分类是一个典型的有监督的机器学习任务，我们在做在线广告系统过程中遇到的任务就有许多，包括网页分类、广告分类、QQ群分类、用户兴趣分类等。在使用相同的标注数据集和机器学习算法情况下，如何找到有区分力的特征无疑是最为关键的。

以QQ群分类为例，使用群名称、群简介、群公告等文本描述，类别体系是二级层次结构，共100+节点，标注训练数据80,000。以BOW作为基础特征，新增Peacock主题特征后，一级行业准确率和召回率均有显著提升，达5%左右，二级行业在召回率降低不到1%的情况下，准确率提升达3.86%，达到了实际应用的需求。具体数据如图23所示。

图23 QQ群分类器效果

4.1.2 相关性计算

对给定的查询语句，搜索引擎会将检索到的网页进行排序，把相关性好的排在前面。同样的，在线广告系统应该保证展示给用户的广告与页面内容、用户兴趣相关，以尽量不影响用户体验。这里都涉及到一个共同的任务：排序学习。此问题通常被形式化为有监督的学习问题，我们会将查询、网页、用户、广告表示成语义特征向量，从而在语义空间里比较用户意图（查询、网页内容、用户历史行为）和网页、广告的相关性。

Peacock已成功应用在腾讯搜索广告和情境广告中，用于分析文本数据，归纳自然语言的语义，从而更好地匹配查询词和广告，以及页面内容和广告。在情境广告 Learning To Rank 相关性计算框架下，增加Peacock语义特征后，NDCG@5提升达8.92%，线上A/B Test实验 AdCTR 提升 8.82%。相关性评估效果图24所示。

图24 情境广告相关性（相关性标注样本包括4,000 查询，200,000对(查询, 广告)，标注0~3四档打分）

4.2 广告 CTR 预估

广告点击率预估是预测给定场景下一个广告被点击的概率：P(click=1 | ad, user, context)，user 表示当前用户，context 表示当前的环境信息，譬如当前所在的网页。点击率预估是在线广告系统最核心的技术之一，它决定着广告的排序和计价。

业界一般做法是将广告展示、点击日志作为训练数据，抽取特征，通过机器学习方法拟合训练数据得到预估模型，进而做在线点击率预估。选取有效的特征对得到一个精准的点击率预估模型起着至关重要的作用。

Peacock 是我们理解广告语义的关键技术，被引入到广告点击率预估模型中提升效果。具体的，与 KDD Cup 2012 Track2 的数据集产生过程类似，我们使用了腾讯情境广告系统的广告展示、点击日志，使用L1范数正则的逻辑回归训练预估模型，通过 AUC 评估模型精度。 Baseline 使用一些基础特征，优化实验分别在 baseline 特征集合的基础上引入主题规模为 1000、10,000 和 100,000 的 Peacock Top-N语义特征。

图25 pCTR增加不同粒度topic特征模型AUC的提升

从图25可以看出，加入Peacock 语义特征后 AUC得到了显著提升，尤其当增加 topic 规模为 100,000的Peacock语义特征时，AUC 提升最大，约为1.8%，线上 A/B Test 实验AdCTR 有 8.82% 的提升。