近日，世界顶级信号处理技术会议2022公布了入选论文名单。 王俊乐博士主导的腾讯实验室论文《移动游戏的主观和客观视频质量评估》（及视频）和《引入用户共识学习的审美质量预测》（用户进）被会议接收。
（关于 、 、 和 ）是声学、语音和信号处理国际会议。 它是由IEEE主办的全球规模最大、内容最全面的信号处理及其应用顶级学术会议。 在学术界和工业界具有权威和广泛的影响。 历届会议都引起了AI领域研究人员的广泛讨论和关注。
此次，腾讯实验室在国际舞台上充分展示了腾讯在视频质量评估和图像质量评估方面的实力。
以下为腾讯实验室入选论文概览：
手机游戏和视频的主客观视频质量评价
近年来，手游占据了整个游戏市场的50%以上，手游相关内容也成为社交媒体平台短视频的重要组成部分。 与此同时，基于视频流的云游戏也逐渐吸引了越来越多的用户。 随着这些游戏相关视频流技术和服务的蓬勃发展，用户对游戏体验质量（QoE，of）提出了更高的要求。 只有对这个视频链路和内容表现进行更严格的质量控制，才能给用户带来更好的游戏体验。
图像质量是质量体验QoE的重要维度之一。 如何正确预测人眼感知的图像质量长期以来一直是学术界和工业界研究的焦点和热点。 然而，目前现有的大量研究集中在传统视频内容，包括PGC内容、UGC内容以及在线会议、屏幕共享等场景的特定内容。 当这些图像质量评价方法直接应用于游戏视频时，表现一般。
因此，本文针对云游戏场景下手游的图像质量问题，进行了主观实验和客观算法模型开发工作。 我们首先从腾讯先锋云游戏平台挑选了17款手游，收集了针对不同场景的总共150个源视频，然后使用多种编码器和编码参数构建了1293个视频。 我们根据ITU相关标准进行了严格的主观实验，得到了新的手机游戏视频质量评价数据集TGV（Video）。
在本文中，我们提出了一种质量评估模型（hard-RANk）。 结合新提出的硬样本排序损失（Hard Loss，Fig1），模型在训练过程中可以更加针对相似的样本对，从而学习到更细粒度的失真信息，进一步提升模型的性能。 我们对所提出的TGV数据集进行了模型训练和对比实验，实验结果表明该模型的表现优于业界其他质量评估模型。
最后，为了让模型在设备侧更高效地进行推理，我们使用知识蒸馏方案（图2）对模型进行压缩和加速，最终实现模型的轻量级部署。 实验结果表明该模型可以与所提出的蒸馏策略一起使用。 使模型在复杂度和性能之间实现高度的权衡。
使用用户共识学习进行审美质量预测用户进入
近年来，图像的视觉美学评估技术在许多应用场景中发挥了重要作用，包括自动图像编辑、图像生成、内容推荐等。 因此，图像美学评价已成为学术界和工业界的热门研究课题。
与传统的图像质量评价问题不同，由于人们在进行审美评价时会引入更多高层次的评价维度，如情感、画面布局、色彩搭配与协调等，这也使得审美评价相对于畸变而言。 传统的图像质量评价具有较高的主观性和不确定性（见图1）。
1：在这两张图片中，评估者对图片 A 的审美评分具有较高的不确定性（标准差 σ = 1.36），而对于图片 B，评估者的审美评分趋于一致（标准差 σ = 1.36）。 σ=0.59)
在本文中，我们提出了一种改进的多任务网络（参见2和3），它可以对输入图像的美学MOS分数和代表分数不一致的标准差进行端到端预测。 在损失函数方面，我们还提出了一种新的目标置信区间排名损失（loss），用于提示模型在训练过程中更多地关注审美不确定性较高的图像对，从而学习到更多的判别性特征，并且与观察者不确定性更相关的特征。
2：文中提出的模型的整体结构
3：文中提出的模型的LMLSP模块
在这项工作中，我们通过大量实验证明，我们提出的多任务学习美学模型不仅在游戏图像的美学预测方面具有很大的优势，而且在传统的自然内容图像的美学预测任务中也取得了良好的效果。 。
产学研结合、业务落地、技术反馈
在业务层面，上述AI技术已应用于腾讯先锋云游戏平台。 腾讯先锋云游戏致力于通过Lab画质评测、多媒体视频画质评测、内容生成以及虚实交互能力，全面提升云游戏的画质。 性能，打造云游戏的极致用户体验。
除了C端业务落地外，在工业互联网层面，Lab的视频质量评估技术也通过“腾讯质量云平台”对外开放。 行业用户可以通过体验demo快速了解技术。
此外，随着对AI应用的探索，腾讯官网近期全新推出AI服务专区，并同步推出视频质量评估/游戏内容安全解决方案等产品能力。 未来，腾讯将继续深耕科研领域，致力于融合前沿AI技术研究和测试场景，用技术驱动测试和质保行业发展，输出优秀技术以开放的态度帮助行业的能力。 发展。
王俊乐博士简介
腾讯专家研究员、实验室负责人
在计算机视觉、多媒体、机器学习领域拥有十多年的研究经验。 他在人体姿势估计与重建、图像质量评估、计算摄影、沉浸式多媒体等领域有深刻的理解和实践经验，并领导这些领域的团队。 开展探索实施工作。 曾主导腾讯画质评测计划建设及社区开源，主导腾讯先锋云游戏云虚实交互技术研发。 此外，在CVPR、TIP、TMM等顶级会议和期刊上发表多篇论文，并担任多个会议和期刊的审稿人和组织者。
还没有评论，来说两句吧...