友情链接：
近日，人人顶级信号处理本融会议 ICASSP 2022 公布了论文入选名单。由王君乐博士指导的腾讯Turing Lab践诺室论文——《针敌手机游戏的主不雅与客不雅视频质地评价》（Subjective and Objective Quality Assessment of Mobile Gaming Video）、《引入用户共鸣学习的好意思学质地权衡》（Considering User Agreement in Learning to Predict the Aesthetic Quality）被大会采纳。
ICASSP?(International Conference on Acoustics, Speech, and Signal Processing)是海外声学、语音和信号处答理议。是由IEEE主理的全天下最大的、亦然最全面的信号处理过火诈欺方面的顶级学术会议，具有巨擘、庸碌的学界及工业界影响力。往届ICASSP会议王人备受AI界限经营学者的热议和关怀。
这次，腾讯Turing Lab践诺室在海外舞台全方向展示了腾讯在视频质地评价、图像质地评价方面的实力。
以下为腾讯Turing Lab践诺室入选论文空洞：
01.针敌手机游戏的主不雅与客不雅视频质地评价
Subjective and Objective Quality Assessment of Mobile Gaming Video 频年来，手机游戏在扫数游戏商场中占据的份额已超50%，手游关系骨子也成为酬酢媒体平台上短视频的遑急构成部分。同期，基于视频流的云游戏也冉冉眩惑了越来越多的用户。跟着这些游戏关系的视频流媒体本领和工作的得意发展，用户对游戏的质地体验(QoE, Quality of Experience)淡薄了更高的条款。唯一双这个视频链路及骨子推崇进行愈加严格的质地把控，才不错为用户带来更佳的游戏体验。
画质看成质地体验QoE的遑急维度之一，如何正确地权衡东谈主眼感知的画质在很长一段时间内一直是学术界及工业界经营的重心及热门。然而，现在大王人的已有经营主要聚焦在传统的视频骨子上，包括PGC骨子、UGC骨子、以及面向线上会议和分享屏幕等场景的特定骨子等。当这些画质评价钱式径直诈欺在游戏视频时，性能推崇一般。
因此，在本篇论文中，咱们针敌手机游戏在云游戏场景下的画攻讦题，进行了主不雅践诺及客不雅算法模子研发的关系责任。咱们先从腾讯前锋云游戏平台上遴选17款手机游戏中，并针对不同场景汇集了共150段源视频，之后使用多种编码器和编码参数构造出1293段视频。咱们基于ITU关系尺度进行严格的主不雅践诺，从而取得了全新的针敌手机游戏的视频质地评价数据集TGV dataset（Tencent Gaming Video dataset）。
在这篇论文中，咱们淡薄质地评价模子ERAQUE(Efficient hard-RAnk QUality Estimator)。磋议新淡薄的珍藏样本排序亏蚀（Hard Pairwise Ranking Loss， Fig1），该模子在锤真金不怕火流程中不错愈加针对一样的样本对，从而学习到更细粒度的失真信息，进一步莳植模子的性能。在淡薄的TGV数据集上，咱们进行了模子锤真金不怕火和对比考研，践诺为止标明ERAQUE模子比拟业界其他质地评价模子推崇出了更好的性能。
终末，为了让模子以在端侧更高效地推理，咱们使用学问蒸馏的决议（Fig.2）对ERAQUE模子进行压缩和加快，最终竣事ERAQUE模子的轻量化部署，践诺为止标明ERAQUE模子配合淡薄的蒸馏计谋不错使模子在复杂度和性能之间竣事高度权衡。
02. 引入用户共鸣学习的好意思学质地权衡
Considering User Agreement in Learning to Predict the Aesthetic Quality 频年来，针对图像的视觉好意思感评价本领在很多诈欺场景中阐明着遑急作用，包括图像的自动化裁剪、图像生成、以及在骨子推选界限等。因此，图像好意思学评价成为了学术界及工业界热门的经营课题。
与传统的图像质地评价问题不同，由于东谈主在进行好意思学评价时会引入更多high-level的评价维度，如边幅、画面布局、颜色搭配与互助性等，这也使得好意思学评价比拟针对失真进行的传统图像质地评价，具有更高的主不雅性与不细目性(见Figure 1)。
Figure 1：在这两幅图中，评测东谈主员关于A图的好意思感评分具有更高的不细目性（尺度差σ=1.36），而关于B图，评测东谈主员关于好意思感的评分则趋于一致（尺度差σ=0.59）
在这篇论文中，咱们淡薄了校阅了的多任务attention集结（见Figure 2及Figure 3），不错对输入图像的好意思学MOS分数，以及代表了该分数不一致性的尺度差进行端到端的权衡。在亏蚀函数方面，咱们同期也淡薄了全新的针对的置信区间排序亏蚀（confidence interval ranking loss）,用于促使模子在锤真金不怕火流程中更多地关怀具有更高好意思学不细目性的图像对，从而学习到更具有分别性地特征，以及与不雅测者不细目性更关系的特征。
Figure 2: 著作所淡薄模子的总体架构
6
Figure 3: 著作所淡薄的LMLSP模块
在这个责任中，咱们通过大王人的实考解说了咱们所淡薄多任务学习好意思学模子不但在游戏图像的好意思学权衡中具有遒劲上风，同期关于传统的当然骨子图像好意思学权衡任务，也达到了很好的效果。
产学研磋议，落地业务，反哺本领
在业务层面，以上AI本领均已诈欺到腾讯前锋云游戏平台，腾讯前锋云游戏通过Turing Lab画质评价、多媒体视频质地评价、骨子生成及虚实互动等才能，勤奋于全方向的莳植云游戏画质推崇，打造云游戏极致的用户体验。
除了在C端业务的落地以外，在面向产业互联网层面，Turing Lab的视频质地评价本领曾经经通过“腾讯WeTest质地云平台“对外敞开，行业用户不错通过体验Demo快速体验了解到该本领。
除此以外，在AI诈欺上的探索，腾讯WeTest官网近期全新上线了AI工作专区，并同步推出视频画质评价/游戏骨子安全处治决议等产物才能。改日，腾讯WeTest将执续在科研界限深耕，并勤奋于将AI本领前沿经营与测试场景进行交融，用本领启动测试乃至质地保险行业的发展，并以敞开作风，对外输出优秀的本领才能，助力行业的发展。
王君乐博士简介
腾讯巨匠经营员，Turning Lab崇敬东谈主
领有10余年联想机视觉、多媒体、机器学习界限经营请示，在东谈主体姿态测度与重建、图像质地评价、联想照相学、千里浸式多媒体等界限有较深的了解及实战请示，并在这些界限指导团队进行探索与落地的责任。曾主导腾讯CenseoQoE画质评价决议的开导与社区开源，主导腾讯前锋云游戏云表虚实互动本领的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东谈主及组织者。