喜讯 | 香港中文大学(深圳)与纯白矩阵Metaverse联合实验室在CCF-A类会议ACM Multimedia发表元宇宙论文

大学 作者:香港中文大学(深圳) 2021-08-06 20:01:20



近日,香港中文大学(深圳)与纯白矩阵Metaverse联合实验室合作的元宇宙论文“Metaverse for Social Good: A University Campus Prototype”被ACM Multimedia 2021 收录。这是计算机顶级会议收录的第一篇区块链驱动的元宇宙论文。

本工作由香港中文大学(深圳)、深圳市人工智能与机器人研究院蔡玮教授团队和南京纯白矩阵科技有限公司吴啸合作完成。其中,蔡玮教授团队中的三名计算机与信息工程博士生——段海涵、李嘉业、樊四正以及计算机与信息工程硕士生林仲豪为论文前四位署名作者;论文第五作者是南京纯白矩阵科技有限公司吴啸;蔡玮教授为论文的通信作者。该论文中的系统由香港中文大学(深圳)理工学院十名计算机科学与技术专业本科生共同开发完成。

论文从宏观角度提出了Metaverse的三层体系结构及开放性研究问题,现有Metaverse应用中有益于社会的代表性应用,建立了详细的Metaverse发展历史。此外,论文介绍了课题组开发的一个香港中文大学(深圳)的虚拟原型——“CUHK(SZ) Metaverse”。我校学生在使用时,其真实世界中的行为可以相应地影响虚拟世界,反之亦然。

ACM Multimedia是国际多媒体领域顶级会议,也是中国计算机学会推荐的A类国际学术会议。据悉,收录该论文的Brave New Ideas (BNI) Track倾向于颠覆式的创新科研成果,通常是比主会论文更加精选的赛道,今年的论文接受率为12%。

计算机科学与技术专业大二学生任臻参与了项目的校园模型的搭建、后端和网络服务。“这个项目需要我了解其他同学所负责功能的实现方法并写出简单易用的接口、讨论更加合理高效的解决方法、配合团队成员进行简单的测试,很好地锻炼了我的协作能力,也是对我大二期间所学的课程知识的一次很好的实践考验,同时又推动着我不断学习新的知识来满足项目的需求。”

计算机科学与技术专业大二学生胡艺严参与了虚拟校园建模、公告牌社交、角色编辑器这三项工作。“这样一个虚拟校园将为学生提供多样的社交途径,自由创作的编辑器促进校内创意的碰撞。

指导老师、理工学院助理教授蔡玮表示很欣喜地看到同学们不仅仅朝着一名合格的工程师努力,也朝着一个合格的研究人员的方向发展。对于大一大二的本科生,想要较好地完成如此复杂的项目是一项巨大的挑战,希望他们能继续努力,携手完善这个他们共同构建的“Metaverse”。


∨∪∨


“CUHK(SZ) Metaverse”校园总览


Metaverse for Social Good: A University Campus Prototype


论文作者

段海涵 2020级计算机与信息工程博士生、逸夫书院

李嘉业 2020级计算机与信息工程博士生、学勤书院

樊四正 2019级计算机与信息工程博士生、学勤书院

林仲豪 2021级计算机与信息工程硕士生、逸夫书院

吴啸 南京纯白矩阵科技有限公司

通信作者

蔡玮教授 博士生导师,人云系统实验室主任

系统开发

我校理工学院计算机科学与技术专业本科生:

陈泓昊 2019级逸夫书院

陈秋泓 2019级思廷书院

陈彤    2019级祥波书院

胡艺严 2019级逸夫书院

梁雨阳 2019级逸夫书院

林泽昕 2020级学勤书院

任臻    2019级思廷书院

徐翔宇 2020级学勤书院

姚南君 2019级逸夫书院

赵益凡 2019级逸夫书院



Metaverse,即“元宇宙”,是90年代Neal Stephenson的小说《雪崩》提及的概念。其中,“meta”意味着超越,“verse”则是宇宙“universe”的后缀。此概念表示下一代互联网,人们可以在三维虚拟世界中扮演自己的虚拟角色(avatar)并与该世界中的人或物进行交互。雪崩的第一个版本于1992年出版。随着电影《头号玩家》的热映,Metaverse再一次进入了大众的视野。电影描绘了一个叫做绿洲(Oasis)的虚拟世界,人们可以自由地接入绿洲,扮演自己订制的角色,并在基本的规则之下做任何自己想做的事情。而电影中出现了一系列在现实世界中正在走向成熟的技术,如虚拟现实技术(VR)、传感技术、触觉反馈技术、物理建模技术等,所以让大众看到了实现Metaverse的可能性。不同于上述多媒体技术的逐渐发展,区块链相关的技术则在近年来呈现了爆炸式的增长。

由于比特币(加密货币)的成功,基于分布式记账本的区块链应用开始得到广泛关注。而Vitalik Buterin则构建了去中心化平台以太坊,该平台能够通过智能合约自动与透明地执行应用程序,因此孕育了诸多去中心化应用程序(DApps),包括交易、能源、健康、身份认证、保险和多媒体等领域。因此,Metaverse作为一个基于多用户的在线交互式多媒体社区能够从区块链技术的进步中汲取能力,从而构建一个更加公平、自由和可持续的社会生态。


CUHK(SZ) Metaverse”基于位置信息的聊天室


近年来,随着相关技术的发展,Metaverse在世界范围内引起了极大的关注。人们期待中的Metaverse应该是一个非常真实的社会,拥有更直接的交互体验,而种族、性别甚至身体残疾等概念在Metaverse中将被淡化,因此有利于社会的发展。然而,目前Metaverse的发展仍处于初级阶段,仍然具备很大的发展空间。由于看到了Metaverse的巨大潜力,工业界已经开始了提前布局和投资,但学术界相对缺乏对于Metaverse的研究和对Metaverse发展的科学指导。

因此,本文从宏观角度提出了Metaverse的三层体系结构,包括基础层、交互层和生态层,并针对每层提出了一些开放性研究问题,供后续研究者参考。之后,本文重点介绍了现有Metaverse应用中有益于社会的代表性应用,建立了详细的Metaverse发展历史,即时间线,并列表总结了代表性的Metaverse应用的特征。

最后,本文还介绍了课题组开发的Metaverse系统“CUHK(SZ) Metaverse”,该系统构建了香港中文大学(深圳)的虚拟原型,旨在为我们的校园学生提供一个互动的Metaverse。该系统是一个混合系统,学生在真实世界中的行为可以相应地影响虚拟世界,反之亦然。在未来,我们将不断改进此原型系统,并继续进行Metaverse相关的研究。实际上,不仅限于本文提出的问题,在Metaverse中仍然还有许多课题亟待研究。因此,本文的核心目的是吸引更多的研究者关注Metaverse的相关问题,从而共同创造一个更美好的社会

左右滑动查看更多


∪∧∪∧

本科生感言


任臻

2019级计算机科学与技术专业本科生

思廷书院


☆向上滑动阅览

在项目前期,我和组里别的同学一样,负责校园模型的搭建。学校地形错综复杂,地势高低变化多,层级多,在一开始给我们带来了不小的挑战。经过大量的实地考察、照片比对以及同学们的推断(脑补)后,我们最终以low-poly风格呈现了一个虚拟校园。

除校园模型的搭建,我主要负责该项目的后端和网络服务,具体可分为云端数据库服务以及玩家在场景中运动、外观和场景的同步。该项目作为一个多人在线平台,后端和网络服务与大部分项目功能都息息相关,因此这一工作考验了我和其他团队成员的协作配合。

很高兴在过程中能与教授讨论,通过所学去尝试体现元宇宙这一概念,也希望在未来我们能涌现出更多精彩的想法,进一步地丰富“CUHK(SZ) Metaverse”。


陈泓昊

2019级计算机科学与技术专业本科生

逸夫书院


☆向上滑动阅览

在这个项目中,我主要参与校园建模、搭建聊天系统、宠物系统等工作。在项目过程中,令我印象最深的有个三方面:学习适应、技术探索和沟通协调。


首先,快速学习各种开发工具、适应某些自己不熟悉的领域是参与Metaverse项目的第一步。在校园建模时,作为一名没有美术功底的理科生,短期内入门3D建模无疑是对我的一大挑战。而3D建模并非我要涉足的唯一新领域,随着项目的推进,更多新事物需要我去学习和适应。


此外,“技术探索”也是这个项目中绕不开的话题。以我负责的编辑器部分为例,为了让玩家尽可能地发挥创造力,编辑器需要允许玩家自由地搭建各种3D物品。我和组员们尝试了多种方案,不断推翻排除不合适的策略,调整底层结构,才最终找到了一个可行且高效的实现方式。


最后,除了与技术文档和Stack Overflow相伴,“沟通协调”也是重要的一环。只有将自己负责的模块与其他成员的成果合理组合,才能使自己的工作真正贡献于整个项目。而单单编辑器模块就需要与后端数据库、商店、家园系统等多个模块交互配合。反复与其他成员沟通、调整接口所花费的精力丝毫不低于突破各类技术难题。


梁雨阳

2019级计算机科学与技术专业本科生

逸夫书院


☆向上滑动阅览

我在项目组中承担了部分建模工作以及Metaverse中换装系统的开发。建模工作对于我是个蛮大的挑战,因为之前缺乏相关经验,我从建模软件入门开始摸索,到一点点搭出校园内的建筑。建模过程虽磕磕绊绊,完工时仍开心自得。换装系统是为了实现玩家在Metaverse中虚拟形象的个性化而打造的,这一部分工作也是一段很酷的开发经历。


对于我而言这一开发过程同时也是一个的学习的过程,在开发的过程中不断的遇到问题并且解决问题,学习新的知识,积累经验。我同样体会到团队合作也是开发过程中重要的一环,项目组中大家虽然各有分工,但每个部分仍环环相扣,不断的交流与磨合不可缺少,在这些过程中我对项目开发也有了更立体、深入的认识。


姚南君

2019级计算机科学与技术专业本科生

逸夫书院


☆向上滑动阅览

能参加这个项目是一件非常值得庆祝的事情,为此我购买了一杯售价高于三十人民币的新式茶饮略表激动。


这是一个非常精彩且前沿的课题。它充满古早科幻意味的同时,在当下以充满未来感的姿态走入人们的视野,又在宏观与微观的方面和生活息息相关。而“CUHK(SZ) Metaverse”系统就用一种简约的方式,对此做出了一种小范围的模拟。而我非常荣幸地作为开发者之一,与其他几位优秀且有趣的同学一同构建了这一系统。除了耗时漫长、充满艰辛的且全员参与的校园建筑外墙装潢及绿化地形搭建之外,我在组内的主要工作是系统的架构与功能设计,还有一部分的界面设计。这是一件充满挑战性的工作。要实现什么,能实现什么,什么有意义,什么好玩,什么有趣……提案不断被提出、修正、讨论、否定,最初玩法的确立就耗费了制作组大量的时间和精力。


结束了吗?这才刚刚开始。如果把系统开发比作一栋楼房的建设,确定玩法只是打下了地基,科研需求则是承重柱,还有许许多多或大或小的功能和设计尚且只是图纸上的一个粗线条的轮廓,需要填充大量的细节,考虑可行性和趣味性,讨论成本和工期的优先级。而大小功能之间又有着各种串联和层级。这一点在做界面设计的时候显得格外明显。每在主界面放下一个按键,就会引出一个新的界面,而新界面上又有许多的细节,而每个细节都有多则百字的说明。在这个仿佛花式套娃的过程中,又随时都有可能发现新的空白有待填充,或者发现设计的矛盾和漏洞,所谓眼前一黑当头一棒迎面一拳大致如是。


我的伙伴有趣且优秀。你永远可以相信他们的认真负责和独一无二的头脑。他们会努力实现需求,斟酌现状对意外作出反应,甚至在已有的需求上提出崭新的可能。和这样的人一起工作是一件愉快的事情。虽然策划可能增加需求、更改需求,但你永远可以相信他们。在并不轻松的工作过程中,还会伴有一种“可能会有一些意料之外的获得”的期待。例如在前期的手工建模过程——就地取材的工作中,在从未踏足过的小山坡上,凉爽的晚风吹拂中记录一个建筑不为人所见的背面;坐在空巴空巴上一趟趟穿梭于上下园之间,绘制记录建筑在明暗面交界处的颜色;夜晚行走在校园的某条道路上,一时兴起间对两旁的路灯计数,或是在计数时为图书馆前粼粼水波而屏息。


而在此之后,在完成了所有模型的上色和组装,在场景经过了渲染后,在灯火明灭昼夜交替之中,会有一种仿佛第一次用一行或上千行代码跑出了Hello World的感触。类似的,除了直观的建模和一些文案之外,还有看不到的运行逻辑和功能设计。除了埋藏在各个角落的彩蛋之外,不得不提我们在系统里设计了一个编辑器的功能。虽然创造只是这个玩法中的一部分,但其提供了用户DIY上色的功能,富有个人色彩的体现和独一无二的创造性。希望上线之后玩家可以体验一下,我认为这会是一个充满趣味性的过程。


当然,在可以愉快单机甚至愉快后台的同时,系统也提供了与其他个体在各种层面进行即时或延迟交互的选择。而人际交往在延续了日常生活的关系之外,还建构了更多场景下与更多人交互的可能。我们期待各种类型的个体,都能获得属于自己的快乐。由衷期待独一无二的你在这个系统中为这个世界增添独一无二的精彩。



胡艺严

2019级计算机科学与技术专业本科生

逸夫书院


☆向上滑动阅览

我参与了虚拟校园建模、公告牌社交、角色编辑器这三项工作。我们Metaverse项目希望为学生提供一个虚拟空间,学生可以在其中开启他们的“第二校园生活”体验。虚拟校园将为学生提供多样的社交途径,扩展交际圈,自由创作的编辑器促进校内创意的碰撞。实现“第二校园”的目标并不容易,而我们实验室的成员们共同努力,并一步步地向目标前进。


赵益凡

2019级计算机科学与技术专业本科生

逸夫书院


☆向上滑动阅览

我有幸能参与到编辑器部分的工作。玩家可以在Metaverse中自由创作。在“CUHK(SZ) Metaverse”的编辑器中,玩家可以通过塔方块这种简单的方式,来构建自己想要创造的东西,然后编辑器的算法会通过这些方块建成与系统相同画风的模型。编辑器是一个十分复杂的工程,我只负责了其中视角控制和存档等功能。虽然都是基础的功能,但也让我这个rookie开发者在和同学们的合作过程中学到了很多。


我是在这个暑假开始时加入项目的,这么快就能上并做出一点点的贡献,离不开的是教授的支持与同学的帮助,尤其要感谢与我同组的同学们。希望大家能在Metaverse中玩得开心,也期待能和这群优秀的同学们一起在未来做出更棒的东西!


陈秋泓

2019级计算机科学与技术专业本科生

思廷书院


☆向上滑动阅览

“CUHK(SZ) Metaverse”创造了一个模拟日常社交的虚拟空间,但其最初目的是用来给实验室的成员们练手的。在我们拿到这个任务时,我们完全无法想象我们能够走到哪一步,能呈现出怎样的效果。我们从无到有去学习3D建模、后端服务器、基于unity3D的游戏设计,并最终创造出了这样一个成果,这本身就是一件值得骄傲的事。


呈现出来的结果或许简单,但一路上的坎坷只有负责实现的人才懂。我记得在建模思廷书院时,用手机拍摄外墙细节时被致以奇怪的目光;渲染模型时为了调节光照却呈现出阴间滤镜;调试代码时发现面对8个脚本十几个物体时直接自闭,但最终又莫名其妙解决后的无奈。尽管过程费时费力,但就是看着这些简单却又稳定、流畅的结果,每个开发者都会感受到由衷的欢喜。


技术上的困难可以靠努力补足,如何让这个团队高效运作则需要沟通和交流。微信群里的提问和回答、周二下午的大学图书馆二楼研讨室、github上井然有序的提交,都早已成为了我们的心照不宣的习惯。我们交流自己的想法,汇报自己的进度,发起投票选择方案,回想起来,这些就是我大二一年里最充实最欢乐的时光。


陈彤

2019级计算机科学与技术专业本科生

祥波书院


☆向上滑动阅览

很开心能作为一员加入metaverse项目组,前期我也参与了建模,建模大体完成之后合作完成后台挂机部分包括区域的聊天室、个人信息、行踪报告和一些代币和盲盒发放。建模是一直很想学的事情,如果没有这样的任务,可能会一直拖延到很后面才会学习。看着照片建模完成的成就感可能是我建模的动力吧,不过要记得保存。感觉身边的同学都非常得厉害,组会的时候都会“蹭蹭蹭”拿出很好的方案和结果,和数据库的同学合作也开心,挂机部分能和数据库很好地联系上。比较头疼的是锁屏运行的问题,尝试了各种从unity回调,现在在安卓重新写,希望能赶上发布的时候。或许对于我们,一切才刚刚开始。


林泽昕

2020级计算机科学与技术专业本科生

学勤书院


☆向上滑动阅览

作为与各位用户直接接触的部分,从初代马里奥的跳跃到如今各3A大作动辄上百种动作的组合,角色控制的舒适与否直接地影响着整个世界最终的展现效果。试想一下,假如马里奥的速度稍微快一些或者跳的高一些的结果,会对整体的体验造成多大的影响?在开发过程中,本组主要负责了人物动画、人物移动、与场景交互、相机移动这几个模块。其中对相机的控制最为重要,也是技术难点的主要集中之处。如何跟随角色移动?被障碍物遮挡时应该如何处理?转动视角的速度与灵敏度应该快些还是慢些?都是在反复调节后才找到的最优搭配。在这个过程中,有许多经验性的知识很难总结,只能一点点地试,但是看到最终效果的不断增强,顿时觉得苦尽甘来。希望我们精心打磨的角色会带给大家最具沉浸感的体验,也希望各位能通过自己的角色深度走进这个美丽的世界。



徐翔宇

2020级计算机科学与技术专业本科生

学勤书院

我与林泽昕一起负责角色控制组,通过编写控制人物行动的脚本形成一个方便玩家上手操控的角色控制器。我负责使编辑器运行流畅,使玩家达到最佳的操控体验,同时还负责制作地图中的传送系统。实验室的工作之旅才刚刚开始,我还有很多需要学习的。



  指导老师点评  


蔡玮

理工学院助理教授

校长青年学者


我是从大一暑期的CE夏令营开始接触认识到团队里的大部分同学。看着他们从一张白纸慢慢绘上了属于自己的色彩。立项之初,“CUHK(SZ) Metaverse”只是一个粗糙的原型概念,在同学们思想的碰撞下,不断被打磨被完善,成为了一个我们共同奋斗的目标。


从最开始的校园建模、玩法设计到后来的工程实现,相信同学们都在开发的过程中学习到了不少知识。需求提出后,业务实现的速度和难度、团队协作的能力都在肉眼可见地提升,遇到问题的思考维度也较先前有所不同。在我们的团队中,每次新决策的制定都需要经过一系列流程,先收集市面上现有的方案,再以presentation(演讲)的形式将不同方案的优劣对比展示给团队伙伴,最后投票得出结果。在这样的流程中,同学们增强了对行业内的产品的了解,“讲故事”的能力也提到了提升。我欣喜看到同学们不仅仅朝着成为一名合格的工程师努力,同时也朝着一个合格的研究人员的方向发展。



-End-



 浏览更多 
刚刚被录取的我居然可以在游戏里上大学——“港中深新手村”诚邀村民
喜讯 | 我校四名本科生入围安永2021数据科学挑战赛全球总决赛
香港中文大学(深圳)理工学院发展回顾 | 六年沉淀,生生不息
在港中大(深圳)理工学院求学,你会遇到这样的老师


∨∪∨∪∨


图片及内容由理工学院提供

版式:传讯及公共关系处



延伸阅读
  • 网红机场闹事被拘 膨胀令人晕头转向

    10月15日,一则关于航空测评网红主播“小虎行”在深圳宝安国际机场强迫志愿者摘口罩的视频引起广泛关注。10月17日,深圳市公安局机场分局发布警情通报:王某某严重扰乱值机秩序,巡逻民警及时到场制止,并将

  • 男子夜爬遭蛇咬倒地动弹不得

    原标题:男子夜爬遭蛇咬 倒地动弹不得近日,广东深圳。男子夜爬不慎被蛇咬伤,脚踝上方留下两个圆圆的伤口。拍摄者说当时看到他躺在地上,腿肿了动也动不了,后来被救护车拉走。温馨提示:夜爬一定要注意安全!来源

  • 十一黄金周火车票已卖出1.1亿张:你到家了吗

    据国铁官方数据,9月30日,全国铁路发送旅客1728.3万人次,运输安全平稳有序。10月1日,全国铁路预计发送旅客2100万人次,计划加开旅客列车1476列。截至10月1日8时,铁路12306已累计售

关注公众号:拾黑(shiheibook)了解更多

友情链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
找律师打官司就上碳链网:https://www.itanlian.com/

限时推广:让每一个问题都有答案:https://ask.0xu.cn
公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接