开云优惠体育网页版入口

专利名称：一种用于VR全息剧场的联动控制方法与系统

专利类型：发明专利

专利申请号：CN202411119502.6

专利申请（专利权）人：南昌市一境信息技术有限公司
权利人地址：江西省南昌市红谷滩区九龙湖大道1388号绿地博览城1#商业办公楼11楼1105-1106室

专利发明（设计）人：余天水,涂冬华,余天宇,郑佳鑫

专利摘要：本发明适用于VR全息技术领域，提供了一种用于VR全息剧场的联动控制方法与系统，包括：调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；生成VR模型轨迹选择弹窗，接收轨迹方式选择指令，确定VR模型轨迹方式；接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹。本发明中，VR全息剧场所展示的剧目中的人物体态、动作和声音都是由真人得到的，更加灵动，感染力更强。

主权利要求：
1.一种用于VR全息剧场的联动控制方法，其特征在于，所述方法包括以下步骤：调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；
接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；
生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，接收轨迹方式选择指令，确定VR模型轨迹方式；
接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹；
根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制；
所述调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象的步骤包括如下子步骤：构建VR资源数据库，所述VR资源数据库用于存储VR全息表演场景、VR人物模型以及灯光音效数据；
获取全息剧场的历史表演数据、用户偏好以及当前的表演需求，基于获取的历史表演数据、用户偏好以及当前的表演需求在所述VR资源数据库中生成对应的VR全息表演场景、VR人物模型和灯光音效数据推荐组合；
基于所述推荐组合中的VR人物模型的特征，在预设演员对象库中匹配对应的动作捕捉演员对象；
为选定的动作捕捉演员对象配置动作捕捉设备，并进行校准以确保捕捉到的动作数据同步映射到对应的VR人物模型上；
所述对演员动作进行捕捉确定对应的VR人物模型姿态的步骤，具体包括：基于动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，所述动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位；
将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态；
其中，将动作数据转换为VR人物模型姿态的步骤包括如下子步骤：对所述动作数据进行预处理，将预处理后的动作数据映射到VR人物模型的骨骼系统上以得到骨骼映射结果；
根据所述骨骼映射结果，基于逆运动学算法计算得出VR人物模型中的每个关节角度；
基于计算得到的每个关节角度，对所述VR人物模型进行渲染更新以得到最新的VR人物模型姿态；
所述根据VR模型轨迹方式确定VR人物模型轨迹的步骤，具体包括：当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹；
当VR模型轨迹方式为跟随轨迹时，对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹；
所述对演员对象进行实时监控，得到实时位置信息的步骤，具体包括：根据俯视摄像头采集演员表演俯视图像，为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同；
根据特征框的实时位置确定对应的演员对象的平面位置信息；
根据传感器采集的高度数据确定演员对象的高度信息，根据平面位置信息和高度信息得到实时位置信息；
所述根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制的步骤，包括如下子步骤：将VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景进行整合以得到VR综合场景，并确定人物在VR综合场景中的动作和位置；
利用图形处理器，实时渲染VR人物模型和VR全息表演场景的全息图像，根据VR人物模型姿态与VR人物模型轨迹，动态更新全息图像中人物的动作和位置；
将渲染好的全息图像通过全息投影系统投影到剧场中的全息屏幕上，并利用图像融合技术以形成连贯的全息影像；
根据VR全息表演场景中的光照需求，当监测到VR人物模型移动到不同场景区域时，通过灯光系统自动切换与当前场景区域对应的灯光模式；
根据VR人物模型的位置和轨迹，当监测到VR人物模型移动或发出声音时，通过音响系统调整声音的音量与方向。
2.根据权利要求1所述的用于VR全息剧场的联动控制方法，其特征在于，所述根据演员收音控制指令采集VR人物模型声音的步骤，具体包括：根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；
根据收音时间确定每个麦克风的开启和关闭时间；
当麦克风开启时，采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。
3.一种用于VR全息剧场的联动控制系统，其特征在于，应用如权利要求1至2任意一项所述的用于VR全息剧场的联动控制方法，所述系统包括：VR表演预设模块，用于调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；
收音控制确定模块，用于接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；
模型轨迹控制模块，用于生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，接收轨迹方式选择指令，确定VR模型轨迹方式；
数据信息采集模块，用于接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹；
VR联动控制模块，用于根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制；
所述数据信息采集模块包括：
动作数据采集单元，用于基于动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，所述动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位；
模型姿态数据单元，用于将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态；
所述数据信息采集模块还包括：
收音时间确定单元，用于根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；
麦克风控制单元，用于根据收音时间确定每个麦克风的开启和关闭时间；
模型声音确定单元，用于当麦克风开启时，采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。
4.根据权利要求3所述的用于VR全息剧场的联动控制系统，其特征在于，所述数据信息采集模块还包括：第一模型轨迹单元，用于当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹；
第二模型轨迹单元，用于当VR模型轨迹方式为跟随轨迹时，对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹。
5.根据权利要求4所述的用于VR全息剧场的联动控制系统，其特征在于，所述第二模型轨迹单元包括：特征框标记子单元，用于根据俯视摄像头采集演员表演俯视图像，为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同；
平面位置子单元，用于根据特征框的实时位置确定对应的演员对象的平面位置信息；
高度信息子单元，用于根据传感器采集的高度数据确定演员对象的高度信息，根据平面位置信息和高度信息得到实时位置信息。 说明书 : 一种用于VR全息剧场的联动控制方法与系统技术领域[0001] 本发明涉及VR全息技术领域，具体是涉及一种用于VR全息剧场的联动控制方法与系统。背景技术[0002] VR全息剧场是一种利用全息投影技术和虚拟现实技术相结合的创新剧场形式，VR全息剧场具有高度的创意性和创新性。制作人可以利用全息剧场的特点，采用更加大胆和创新的方式来呈现故事情节和视觉效果，从而提升电影的艺术性和观赏性。随着开云优惠体育网页版入口的不断发展，VR全息剧场有望在未来展现出更加丰富多彩的发展画面。它不仅为观众带来前所未有的观影体验，还为影视行业带来更多商机和发展空间，打造更加多样化和丰富的娱乐形式，满足观众日益增长的娱乐需求。[0003] 但是，目前VR全息剧场所展示的剧目都是提前制作好的，演出时千篇一律，缺少灵动性，有疏离感。因此，需要提供一种用于VR全息剧场的联动控制方法与系统，旨在解决上述问题。发明内容[0004] 针对现有技术存在的不足，本发明的目的在于提供一种用于VR全息剧场的联动控制方法与系统，以解决上述背景技术中存在的问题。[0005] 本发明是这样实现的，一种用于VR全息剧场的联动控制方法，所述方法包括以下步骤：[0006] 调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；[0007] 接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；[0008] 生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，接收轨迹方式选择指令，确定VR模型轨迹方式；[0009] 接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹；[0010] 根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制。[0011] 作为本发明进一步的方案：所述对演员动作进行捕捉确定对应的VR人物模型姿态的步骤，具体包括：[0012] 基于动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，所述动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位；[0013] 将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态。[0014] 作为本发明进一步的方案：所述根据演员收音控制指令采集VR人物模型声音的步骤，具体包括：[0015] 根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；[0016] 根据收音时间确定每个麦克风的开启和关闭时间；[0017] 当麦克风开启时，采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。[0018] 作为本发明进一步的方案：所述根据VR模型轨迹方式确定VR人物模型轨迹的步骤，具体包括：[0019] 当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹；[0020] 当VR模型轨迹方式为跟随轨迹时，对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹。[0021] 作为本发明进一步的方案：所述对演员对象进行实时监控，得到实时位置信息的步骤，具体包括：[0022] 根据俯视摄像头采集演员表演俯视图像，为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同；[0023] 根据特征框的实时位置确定对应的演员对象的平面位置信息；[0024] 根据传感器采集的高度数据确定演员对象的高度信息，根据平面位置信息和高度信息得到实时位置信息。[0025] 本发明的另一目的在于提供一种用于VR全息剧场的联动控制系统，所述系统包括：[0026] VR表演预设模块，用于调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；[0027] 收音控制确定模块，用于接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；[0028] 模型轨迹控制模块，用于生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，接收轨迹方式选择指令，确定VR模型轨迹方式；[0029] 数据信息采集模块，用于接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹；[0030] VR联动控制模块，用于根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制。[0031] 作为本发明进一步的方案：所述数据信息采集模块包括：[0032] 动作数据采集单元，用于基于动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，所述动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位；[0033] 模型姿态数据单元，用于将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态。[0034] 作为本发明进一步的方案：所述数据信息采集模块还包括：[0035] 收音时间确定单元，用于根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；[0036] 麦克风控制单元，用于根据收音时间确定每个麦克风的开启和关闭时间；[0037] 模型声音确定单元，用于当麦克风开启时，采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。[0038] 作为本发明进一步的方案：所述数据信息采集模块还包括：[0039] 第一模型轨迹单元，用于当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹；[0040] 第二模型轨迹单元，用于当VR模型轨迹方式为跟随轨迹时，对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹。[0041] 作为本发明进一步的方案：所述第二模型轨迹单元包括：[0042] 特征框标记子单元，用于根据俯视摄像头采集演员表演俯视图像，为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同；[0043] 平面位置子单元，用于根据特征框的实时位置确定对应的演员对象的平面位置信息；[0044] 高度信息子单元，用于根据传感器采集的高度数据确定演员对象的高度信息，根据平面位置信息和高度信息得到实时位置信息。[0045] 与现有技术相比，本发明的有益效果是：[0046] 本发明通过为每个VR人物模型确定一个动作捕捉演员对象；然后设置演员收音控制指令，并确定VR模型轨迹方式；剧场表演开始后，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹。如此，VR全息剧场所展示的剧目中的人物体态、动作和声音都是由真人得到的，更加灵动，感染力更强。附图说明[0047] 图1为一种用于VR全息剧场的联动控制方法的流程图。[0048] 图2为一种用于VR全息剧场的联动控制方法中确定VR人物模型姿态的流程图。[0049] 图3为一种用于VR全息剧场的联动控制方法中采集VR人物模型声音的流程图。[0050] 图4为一种用于VR全息剧场的联动控制方法中确定VR人物模型轨迹的流程图。[0051] 图5为一种用于VR全息剧场的联动控制方法中得到实时位置信息的流程图。[0052] 图6为一种用于VR全息剧场的联动控制系统的结构示意图。具体实施方式[0053] 为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。[0054] 以下结合具体实施例对本发明的具体实现进行详细描述。[0055] 如图1所示，本发明实施例提供了一种用于VR全息剧场的联动控制方法，所述方法包括以下步骤：[0056] S100，调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；[0057] S200，接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；[0058] S300，生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，接收轨迹方式选择指令，确定VR模型轨迹方式；[0059] S400，接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹；[0060] S500，根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制。[0061] 需要说明的是，VR全息剧场有望在未来展现出更加丰富多彩的发展画面。它不仅为观众带来前所未有的观影体验，还为影视行业带来更多商机和发展空间，打造更加多样化和丰富的娱乐形式，满足观众日益增长的娱乐需求。但是，目前VR全息剧场所展示的剧目都是提前制作好的，演出时千篇一律，缺少灵动性，有疏离感。本发明实施例旨在解决上述问题。[0062] 本发明实施例中，首先会调取VR全息表演场景、VR人物模型和灯光音效数据，并为每个VR人物模型确定一个动作捕捉演员对象，VR全息表演场景就是VR人物模型进行表演的VR全息背景。接着，工作人员需要输入演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；然后本发明实施例会自动生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，工作人员需要输入轨迹方式选择指令进行选择，确定VR模型轨迹方式；工作人员最后输入剧场表演开始指令，此时演员会在幕后进行动作肢体表演，同时会对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，并根据VR模型轨迹方式确定VR人物模型轨迹。如此，VR全息剧场所展示的剧目中的人物体态、动作和声音都是由真人得到的，更加灵动，感染力更强。最后会根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制，所述灯光音效数据用来控制背景音效。[0063] 作为本发明一个优选的实施例，所述调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象的步骤包括如下子步骤：[0064] 步骤S101，构建VR资源数据库，所述VR资源数据库用于存储VR全息表演场景、VR人物模型以及灯光音效数据；[0065] 步骤S102，获取全息剧场的历史表演数据、用户偏好以及当前的表演需求，基于获取的历史表演数据、用户偏好以及当前的表演需求在所述VR资源数据库中生成对应的VR全息表演场景、VR人物模型和灯光音效数据推荐组合；[0066] 步骤S103，基于所述推荐组合中的VR人物模型的特征，在预设演员对象库中匹配对应的动作捕捉演员对象；[0067] 步骤S104，为选定的动作捕捉演员对象配置动作捕捉设备，并进行校准以确保捕捉到的动作数据同步映射到对应的VR人物模型上。[0068] 作为补充说明的是，为了进行实时的数据同步测试。动作捕捉演员进行简单的动作表演，同时观察VR人物模型是否能够准确跟随动作捕捉演员的动作，该步骤旨在验证匹配的准确性和动作捕捉系统的可靠性。[0069] 如图2所示，作为本发明一个优选的实施例，所述对演员动作进行捕捉确定对应的VR人物模型姿态的步骤，具体包括：[0070] S401，基于动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，所述动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位；[0071] S402，将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态。[0072] 在步骤S402中，将动作数据转换为VR人物模型姿态的步骤包括如下子步骤：[0073] 步骤S4021，对所述动作数据进行预处理，将预处理后的动作数据映射到VR人物模型的骨骼系统上以得到骨骼映射结果；[0074] 在此需要说明的是，对动作数据进行预处理时，通过滤波算法（如卡尔曼滤波器或移动平均滤波器）来实现，去除噪声和异常值，以提高数据的平滑性和准确性。[0075] 步骤S4022，根据所述骨骼映射结果，基于逆运动学算法计算得出VR人物模型中的每个关节角度；[0076] 在步骤S4022中，需要确保传感器节点的数据与模型骨骼的对应关系准确无误。此外，为了提高解算的效率和准确性，采用一种优化的逆运动学算法，该逆运动学算法结合了数值方法和启发式搜索，能够快速收敛到最优解。[0077] 步骤S4023，基于计算得到的每个关节角度，对所述VR人物模型进行渲染更新以得到最新的VR人物模型姿态。[0078] 作为补充说明的，为了增强视觉效果，可采用一种基于物理引擎的渲染技术，该技术能够模拟真实的肌肉运动和衣物动态，使VR人物模型的动作更加自然和逼真。[0079] 本发明实施例中，为了确定VR人物模型的体态，会根据动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位，关键部位如手臂、腿部和躯干等。为了提高数据采集精度，传感器节点刚被绑定时，需要进行传感器节点的校准，确保每个节点的位置和姿态都是准确的，以提高动作捕捉的精度。接着将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态，确保虚拟人物模型的姿态与演员的实际动作保持同步。[0080] 如图3所示，作为本发明一个优选的实施例，所述根据演员收音控制指令采集VR人物模型声音的步骤，具体包括：[0081] S403，根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；[0082] S404，根据收音时间确定每个麦克风的开启和关闭时间；[0083] S405，当麦克风开启时，采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。[0084] 本发明实施例中，为了使得收音更加准确，尽量减少杂音的影响，会根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；然后根据收音时间确定每个麦克风的开启和关闭时间；如此，当麦克风开启时，就会采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。[0085] 如图4所示，作为本发明一个优选的实施例，所述根据VR模型轨迹方式确定VR人物模型轨迹的步骤，具体包括：[0086] S406，当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹；[0087] S407，当VR模型轨迹方式为跟随轨迹时，对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹。[0088] 本发明实施例中，轨迹方式有预设轨：透婀旒Ａ街，当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹，人物轨迹库中包含了大量的VR人物模型，每个VR人物模型对应有自己的VR人物模型轨迹。当VR模型轨迹方式为跟随轨迹时，会对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹。[0089] 如图5所示，作为本发明一个优选的实施例，所述对演员对象进行实时监控，得到实时位置信息的步骤，具体包括：[0090] S4071，根据俯视摄像头采集演员表演俯视图像，为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同；[0091] S4072，根据特征框的实时位置确定对应的演员对象的平面位置信息；[0092] S4073，根据传感器采集的高度数据确定演员对象的高度信息，根据平面位置信息和高度信息得到实时位置信息。[0093] 本发明实施例中，为了得到演员对象的实时位置信息，首先会根据俯视摄像头采集演员表演俯视图像，并为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同，方便得到并分出多个轨迹，然后根据特征框的实时位置确定对应的演员对象的平面位置信息；最后根据高度传感器采集的高度数据确定演员对象的高度信息，如此，就可以根据平面位置信息和高度信息得到实时位置信息了。[0094] 作为本发明一个优选的实施例，所述根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制的步骤，包括如下子步骤：[0095] 步骤S501，将VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景进行整合以得到VR综合场景，并确定人物在VR综合场景中的动作和位置；[0096] 步骤S502，利用图形处理器，实时渲染VR人物模型和VR全息表演场景的全息图像，根据VR人物模型姿态与VR人物模型轨迹，动态更新全息图像中人物的动作和位置；[0097] 步骤S503，将渲染好的全息图像通过全息投影系统投影到剧场中的全息屏幕上，并利用图像融合技术以形成连贯的全息影像；[0098] 步骤S504，根据VR全息表演场景中的光照需求，当监测到VR人物模型移动到不同场景区域时，通过灯光系统自动切换与当前场景区域对应的灯光模式；[0099] 步骤S505，根据VR人物模型的位置和轨迹，当监测到VR人物模型移动或发出声音时，通过音响系统调整声音的音量与方向。如图6所示，本发明实施例还提供了一种用于VR全息剧场的联动控制系统，所述系统包括：[0100] VR表演预设模块100，用于调取VR全息表演场景、VR人物模型和灯光音效数据，为每个VR人物模型确定一个动作捕捉演员对象；[0101] 收音控制确定模块200，用于接收演员收音控制指令，所述演员收音控制指令包括若干个VR人物模型，每个VR人物模型对应有收音时间；[0102] 模型轨迹控制模块300，用于生成VR模型轨迹选择弹窗，弹窗内容为预设轨：透婀旒，接收轨迹方式选择指令，确定VR模型轨迹方式；[0103] 数据信息采集模块400，用于接收剧场表演开始指令，对演员动作进行捕捉确定对应的VR人物模型姿态，根据演员收音控制指令采集VR人物模型声音，根据VR模型轨迹方式确定VR人物模型轨迹；[0104] VR联动控制模块500，用于根据VR人物模型、VR人物模型姿态、VR人物模型轨迹以及VR全息表演场景对全息成像系统进行控制，根据灯光音效数据和VR人物模型声音对音响灯光系统进行控制。[0105] 作为本发明一个优选的实施例，所述数据信息采集模块400包括：[0106] 动作数据采集单元，用于基于动作捕捉套装采集演员的动作数据，将所述动作数据传输到动作捕捉软件中，所述动作捕捉套装包括若干个传感器节点，传感器节点被绑定在人体的关键部位；[0107] 模型姿态数据单元，用于将收集到的动作数据输入至对应的VR人物模型，将动作数据转换为VR人物模型姿态。[0108] 作为本发明一个优选的实施例，所述数据信息采集模块400还包括：[0109] 收音时间确定单元，用于根据演员收音控制指令确定每个VR人物模型的收音时间，VR人物模型对应的演员对象身上佩戴有麦克风；[0110] 麦克风控制单元，用于根据收音时间确定每个麦克风的开启和关闭时间；[0111] 模型声音确定单元，用于当麦克风开启时，采集得到声音数据，将所述声音数据与对应的VR人物模型进行绑定得到VR人物模型声音。[0112] 作为本发明一个优选的实施例，所述数据信息采集模块400还包括：[0113] 第一模型轨迹单元，用于当VR模型轨迹方式为预设轨迹时，调取人物轨迹库中的轨迹数据作为VR人物模型轨迹；[0114] 第二模型轨迹单元，用于当VR模型轨迹方式为跟随轨迹时，对演员对象进行实时监控，得到实时位置信息，根据实时位置信息确定VR人物模型轨迹。[0115] 作为本发明一个优选的实施例，所述第二模型轨迹单元包括：[0116] 特征框标记子单元，用于根据俯视摄像头采集演员表演俯视图像，为演员表演俯视图像中的每个演员对象进行特征框标记，每个演员对象的特征框颜色不同；[0117] 平面位置子单元，用于根据特征框的实时位置确定对应的演员对象的平面位置信息；[0118] 高度信息子单元，用于根据传感器采集的高度数据确定演员对象的高度信息，根据平面位置信息和高度信息得到实时位置信息。[0119] 以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。[0120] 应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。[0121] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。[0122] 本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

专利地区：江西

专利申请日期：2024-08-15

专利公开日期：2024-11-22

专利公告号：CN118642601B