产业资讯

今日头条资深架构师解密算法:语义标签和隐式语义特征都做好才能理解内容

来源:东方网
2018-01-12 15:02:28
分享

“语义标签的效果,是检查一个公司NLP(自然语言处理)的试金石。”在1月11日,今日头条召开的《让算法公开透明》交流会上,资深算法架构师、中国科学技术大学计算机博士曹欢欢面向业公开算法原理,消除社会各界对算法的一些误解,同时接受意见和建议。

频道、兴趣表达等重要产品功能,需要一个有明确定义、容易理解的文本标签体系。“所以,在隐式语义特征已经可以很好地帮助推荐,且做好语义标签需要投入远大于隐式语义特征的情况下,我们仍然需要做好语义标签。”曹欢欢说。

今日头条资深架构师解密算法:语义标签和隐式语义特征都做好才能理解内容

当前,行业内许多产品在做推荐时,依赖于省成本的隐式语义分析。所谓隐式语义分析,当两个词或一组词出现在同一个文档中时,这些词之间可以被认为是语义相关的。机器并不知道某个词究竟代表什么,不知道某个词是什么意思。

优盘和U盘这两个词在文章中经常混用,大量的在网页中同时出现,机器就会认为这两个词是极为语义相关的。

iPhone和苹果手机,虽然一个是英语一个是中文,这两个词大量出现在相同的网页中,虽然机器还不能知道iPhone或苹果手机指的是什么,但是却可以从语义上把“iPhone”“苹果手机”紧紧连在一起。

曹欢欢认为,虽然隐式语义特征已经可以很好地服务于推荐,但是如果要想将产品的推荐做得更好,还是需要在语义标签这类看似很笨重的地方下功夫。

来自中央电视台、新华社、人民日报等媒体机构的从业者,和来自阿里巴巴、腾讯、百度、美团、新浪、网易等科技公司的算法工程师、产品经理等100多人,参加了本次字节跳动“让算法公开透明” 活动。

分享过后,曹欢欢在现场解答了社会各界人士对算法的疑问,包括今日头条如何实现冷启动,广告和内容该怎样平衡,怎样准确地拓展用户兴趣图谱等切实的工程性问题。同时,听取接纳了大家对今日头条算法的意见和建议。

(免责声明:此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。)

分享
标签:

推荐