为了精准复原中共一大会址的历史环境,真实再现那段波澜壮阔的历程,实验室团队查阅了大量文字记录和影像资料。“这是一场行进式大空间VR党课,通过沉浸式自由行进探索互动的方式,让观众身临其境地感知中国共产党的初心使命。”实验室研究人员朱佳静介绍,该体验展是实验室诸多成果之一,也是实验室在艺术与科技融合领域的新探索。
上海戏剧学院上海市虚拟环境下的文艺创作重点实验室成立于2004年,实验室依托于上海戏剧学院国内顶尖的演艺学科群,集实验、创作、教学、展演于一体,是上海市最为先进的数字艺术综合实验空间。近年来,实验室创作了大型新媒体视觉剧诗《天酿》、沉浸式VR交互游戏《灵境石语》、大空间虚拟现实《遇见东坡》等一批具有行业影响力的数字演艺作品。
聚焦大空间虚拟现实方向的研究实验和应用
上海戏剧学院艺术科技与管理学院副院长、实验室主任铁钟介绍,经过多年建设,实验室目前配备有全景LED虚拟拍摄环幕、实时高速光捕棚,以及人工智能交互实验空间等,重点研究方向为数字文旅、虚拟制片、大空间虚拟现实,三个研究方向各有侧重,互有结合。
近年来,在上海戏剧学院提出“未来戏剧学”研究愿景下,实验室着重聚焦大空间虚拟现实方向的研究实验和应用。随着引擎技术的成熟和人工智能技术的发展,实验室先后以大空间虚拟现实项目“数字一大·初心之旅”、《遇见东坡》等的全流程制作,突破数字表演、场景生成和空间计算的工作流,并在大空间领域与头部企业PICO、中兴通讯、虚幻引擎等签订合作协议和联合研究模式。
前不久在法国巴黎联合国教科文组织总部举办的“中国味道”活动现场,由铁钟带领团队共同开发制作的《遇见东坡》VR体验项目惊艳亮相。在项目体验处,嘉宾佩戴VR设备,“穿越”至北宋汴京,在苏轼《赤壁赋》的吟诵声中,漫步汴河码头、参与文人雅集,甚至能够“亲手”研墨挥毫,沉浸式感受东坡笔下“人间有味是清欢”的诗意生活,得到在场嘉宾的赞誉。
铁钟坦言,在此类项目实践过程中,也遇到了诸多难题。“首先是观众体验问题。初期我们想了很多互动方案,如果采用‘自由探索+任务搜集’模式,可能导致部分用户只顾完成互动任务,忽略了剧情主线,对角色动机理解不深。为此,我们调整设计,把搜集任务与剧情绑定——用户找到关键道具会触发剧情片段,让碎片化探索围绕核心剧情展开,既保留了探索自由度,又确保故事逻辑清晰,避免观众‘跑偏’。”
铁钟补充说,除此之外还有跨领域协作的适配性问题。他表示:“VR大空间叙事特性与传统剧本构思存在差别,为此我们通过建立每周例会机制,让创意和技术团队直接沟通,针对VR的显示、定位等特性调整剧本。同时加大技术人员和资金投入,解决技术适配难题,让创意能通过VR顺利呈现。”在铁钟看来,这些问题的解决,既提升了观众体验,又保障了文化表达和技术落地,为项目推进奠定了基础。
“艺术+科技”实现艺术创作更多可能
走进实验室,仿佛推开了一扇通往艺术与科技交融的创新之门,映入眼帘的巨大LED环幕极具视觉冲击力,雷达隔空交互技术也让人印象深刻,无需物理接触即能通过雷达传感器捕捉人体动作或物体运动……
实验室参与了杂技剧《天山雪》的数字演艺设计,通过对舞台场景进行建模和渲染,创建出逼真的天山雪峰、喀什古城等场景。在“飞天”演出环节,演员带领观众穿越于真实与虚幻交织的场景之中,增强了舞台表现力和感染力,使观众身临其境地感受古丝绸之路的辉煌。同时,将动作捕捉设备安装在杂技演员身上,精准记录下演员的一举一动。这些动作数据被实时传输到虚幻引擎中,驱动虚拟角色与舞台上的真人演员同步表演,为观众带来全新的视觉体验。
“LED环幕与实时渲染技术的结合,打破了传统拍摄在空间、场景上的重重限制,让创作者可以在更自由的空间中探索艺术表现的边界。动捕技术则让虚拟角色的动作更加自然流畅,增强了作品的沉浸感和真实感。”在铁钟看来,如今技术不再是冰冷的工具,而是成为艺术创作的得力助手,为文艺创作开辟了更为广阔的天地。
有了科技的加持,实验室在文化传承与创新方面也进行了积极的探索和实践,如与上海图书馆合作,开发了“上海之源·文化年谱”项目,通过可视化技术将馆藏文献转化为动态时间轴,结合交互设计,让观众以“时间旅行者”的身份探索上海近代文化史,推动了文化遗产的数字化转化。双方还联合开发了系列沉浸式VR交互游戏《灵境石语》项目,将传统文化元素融入虚拟交互体验,探索数字时代文化传承的新路径。
近年来,实验室还逐渐开始进行人工智能视野下的合作研究。目前与上海人工智能实验室在“4K4DGen”领域展开深入合作、与上海科技大学在“人物表情高质量数据集”领域展开深入合作、与上海纽约大学在“3D高斯泼溅模型”领域展开深入合作,不断推进实现艺术与科技的深度融合,探索艺术表达的新语言与新路径。
产学研用一体,培养复合型人才
自成立以来,实验室不仅聚焦科技与文化项目的融合与应用、新媒体交互艺术创作与实验等的研究,数字媒体艺术人才的培养也是其中重要且关键的一环。
铁钟介绍,在将实验室打造成全国高校最大的“数字演艺设计”实验教学空间的目标下,实验室致力于将前沿科技理念引入到更广泛的艺术教育体系中,推动“艺术+科技”在课程层面的转化与普及,开设“数字演艺创作”“虚拟制片技术”等课程,将数字技术与艺术创作相结合,培养学生的跨学科能力。
同时,记者了解到,2012年起,实验室基于全球学术视野,召集新媒体演艺创新国际专家举办多次研讨会,并借此契机请海外专家对本科生进行前沿工作坊的教学交流。十余年中积累了包括麻省理工学院媒体实验室、德国ZKM和荷兰V2等国际知名专家的前沿课程和实践,通过国际专家工作坊的建设,将前沿技术和理念转化为人才培养建设的课程系统。
在实践环节,鼓励学生参与实验室的科研项目和创作实践,通过实际操作提升他们的技能水平。还与中兴集团、哔哩哔哩、利亚德集团等进行产学研合作,开展实习实训项目,让学生在工作环境中锻炼自己。