报告一:元宇宙与虚拟人;报告二:深度学习下的高自由度视觉语义分割

发布日期:2023-11-20 阅读:742

报告人:张明敏 副教授 (浙江大学)、潘文雯 副教授 (杭州电子科技大学)

邀请人:陶邦一 研究员

时    间:11月21日(周二)14:30-16:30

地    点:1号楼610会议室


卫星海洋环境动力学国家重点实验室为增进学术交流,促进实验室对外开放,组织系列“海星系列学术讲座”,邀请国内外知名专家与青年科研人员分享前沿科学动态,讨论最新学术成果,欢迎大家踊跃参加。

召集人: 陶邦一 研究员

会议时间:11月21日(周二)14:30-16:30

会议地点:1号楼610会议室

报告一

报告人:张明敏 副教授 (浙江大学)

报告题目:元宇宙与虚拟人

报告人简介:张明敏,博士,副教授,从1994年开始从事计算机图形学、图像处理、虚拟现实、计算机视觉等领域的教学和科研工作。曾主持或参加多个科研项目的研究工作(国家自然科学基金,863项目等),已发表论文150多篇,其中SCI收录论文60多篇。发表的期刊包括国际著名期刊(Computers & Graphics, The Journal of Visualization and Computer Animation) , 国内一级学报(计算机学报,软件学报、计算机辅助设计与图形学学报)等。1999年有二篇论文分别获浙江省自然科学优秀论文一等奖和二等奖,在2001年, “虚拟现实中声像建模和实时绘制技术的研究”获中国高校自然科学二等奖,2012年数字化采矿关键技术与软件开发”获山东省科技进步一等奖,2013年,再获国家科技进步二等奖。

报告摘要:三维虚拟人动画是计算机动画技术的重要组成部分,它在游戏、电影以及虚拟现实中都有着广泛的应用。在三维虚拟人动画的制作过程中,对于不同体型不同发型不同服装的人物,需要配备多个动画人物模型,一旦人物动作更改则需要重新制作动画,导致实时性较差。目前结合元宇宙与人工智能等多个尖端技术的虚拟人制作关键技术无论在研究领域还是应用领域都正方兴未艾。数字虚拟人制作的目标是生成人眼无法分辨真伪的数字人语言、动作、手势、服装、表情、情感。针对现有的面向元宇宙应用场景的虚拟人制作流程不够完善的问题,我们提出虚拟人通用生成框架包括:人物形象模块、动画生成模块、虚拟人情感行为模块。目的在于解决虚拟人体生成的三大难点:体型、动作、服装;虚拟人脸部三大难点:脸型、姿态、表情;虚拟人智能行为的三大难点:行为建模、语言交互、情感与情绪表达。我们研究新一代虚拟人语音驱动表情、肢体动作技术,活化虚拟人,在灵活性、表征和推理能力方面实现更好的性能,使其拥有丰富的表情和自然的肢体动作;让用户无需具备专业背景知识就可以轻松创建栩栩如生、具备AI智能的数字人物角色,并快速集成到自己的跨平台应用中去。

报告二

报告人:潘文雯 副教授 (杭州电子科技大学)

报告题目:深度学习下的高自由度视觉语义分割

报告人简介:杭州电子科技大学计算机学院特聘副教授。2018年在西安交通大学计算机科学与技术专业获得学士学位,2023年在浙江大学获得工学博士学位。研究方向为人工智能、计算机视觉、多模态学习等。近年来在IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)、IEEE Transactions on Neural Networks and Learning Systems (TNNLS)、IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 等重要期刊和会议上发表和录用高质量学术论文多篇。研究特色是高自由度下的视频语义分割,涉及多模态的融合检测,开放环境下的细粒度物品分割等。

报告摘要:新一代人工智能发展规划中提出,当前下一代人工智能研究的五个重点目标为大数据人工智能、跨媒体人工智能、群体人工智能、混合增强人工智能,以及自主人工智能。同时,不同领域、不同模态的海量数据随着移动互联网、物联网、大数据等技术的升级被不断积累。为此,跨模态模型随之变得更有前景。人们借助视、听、语等手段达到对事物的整体感知,而视觉智能的重要基础理论就是借助生物的视觉信号表达与处理机制,结合听觉、语言和其他媒体通道把物理环境信息转换成数据模型,再经过综合整理后产生整体感知信息,并依据其结果制定行为。通用智能要攻克标注中的模糊干扰,认知中的语义关联对齐,以及感知中的泛化与迁移等瓶颈问题。语义关联在感知过程中主要依赖数据,以统计意义上的共现为主要依据,但其对齐受到数据复杂性、冗余性和多变性的桎梏,取决于数据知识解耦和文法结构的指导和约束;泛化迁移在认知中面临不同领域丰富多样、类别模态缺失的重大挑战,难以应对域偏移导致的分布不一致问题。而标注中的噪声,则会带来灾难性性能下降的现象。报告以当前分割方法的瓶颈为切入点,介绍并分析深度学习下的高自由度分割模型。


  • 卫星海洋环境动力学国家重点实验室

    © 2021卫星海洋环境动力学国家重点实验室 版权所有.
    浙ICP备10040255号-4   流量统计   

  • 地址:杭州市保俶北路36号
    邮编:310012
  • 总机号码:+86-571-8196 3198
    传真:+86-571-8883 9374