CN112565664B - 视频会议码流反馈方法、装置、设备及计算机可读存储介质 - Google Patents
视频会议码流反馈方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112565664B CN112565664B CN202011366629.XA CN202011366629A CN112565664B CN 112565664 B CN112565664 B CN 112565664B CN 202011366629 A CN202011366629 A CN 202011366629A CN 112565664 B CN112565664 B CN 112565664B
- Authority
- CN
- China
- Prior art keywords
- code stream
- feedback
- feedback message
- receiving
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种视频会议码流反馈方法、装置、设备及计算机可读存储介质，所述视频会议码流反馈方法通过在视频会议的参会方之间打开独立信道，使得反映数据传输情况的码流反馈信息能够在此独立信道中传输给对应参会方；通过通信双方及时生成码流反馈消息并传输，使得通信双方也能够及时获知对方的码流实际传输情况；通过在码流接收存在异常时及时更新发送策略，使得参会的发送方能够及时改变发送策略，进而快速排除当前的码流接收异常，从而提升了码流接收问题的解决效率，同时也便于视频系统的诊断与维护，减少了工程维护的成本。
Description
技术领域
本发明涉及视频会议技术领域，尤其涉及一种视频会议码流反馈方法、装置、设备及计算机可读存储介质。
背景技术
脉冲编码调制(PCM，Pulse Code Modulation)，是将模拟信号转换为数字信号的一种技术。欧洲的30路脉冲编码调制PCM简称E1，我国采用与欧洲相同的E1标准。如图2所示，E1专线视频会议的实现方式为：通过H.221帧结构进行数据传输(H.221协议为H.320协议的一种子协议)，音视频码流在独立信道中传输，接收方通过H.221帧结构中的帧定位信号(FAS，Frame Aligning Signal)码的A-bit(帧定位丢失指示，用于反馈接收方是否帧定位)值向发送方反馈是否帧定位。发送方通过检验收到的H.221帧数据中FAS码帧定位状态和FAS码中的A-bit值判断接收方接收码流是否正常，且当FAS帧定位正常，A-bit为0时，发送方认为接收方接收码流正常。
如果线缆上有误码、发送方码流发送错误或是接收方码流接收错误等情况发生时，接收方实际接收的码流质量不佳，但发送方会误认为接收方接收到的码流是正常的。在这种情况下，发送方不能及时修改策略改善接收方的码流接收质量，往往需要人工观察等手段获知接收方接收码流的情况，相关技术人员再根据实际的接收情况制定策略以解决码流接收问题，从而导致了现有的视频会议通信过程中码流接收问题的解决效率低下的技术问题。
发明内容
本发明的主要目的在于提供一种视频会议码流反馈方法，旨在解决现有的视频会议通信过程中码流接收问题的解决效率低下的技术问题。
为实现上述目的，本发明提供一种视频会议码流反馈方法，所述视频会议码流反馈方法包括：
获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
可选地，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤包括：
从所述码流统计数据信道中查找并获取基于所述通信双方中发送码流的参会方进行码流发送所生成的发送反馈消息，以及接收码流的参会方进行码流接收所生成的接收反馈消息，以将所述发送反馈消息与接收反馈消息作为所述码流反馈消息。
可选地，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤之前，还包括：
每隔预设第一时间间隔，统计所述发送码流的参会方所发送音视频码流的编码格式、数据包总个数与数据总量作为所述发送反馈消息；
将所述发送反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述发送反馈消息发送至所述接收码流的参会方；
每隔预设第二时间间隔，统计所述接收码流的参会方所接收音视频码流的解码格式、包序列号的最大值、单位时间丢包率与总丢包数，以作为所述接收反馈消息；
将所述接收反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述接收反馈消息发送至所述发送码流的参会方。
可选地，所述在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略的步骤之前，还包括：
结合所述发送反馈消息与所述接收反馈消息，判断在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
若在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常，则判定所述通信双方之间存在码流接收异常。
可选地，所述在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略的步骤包括：
在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常时，将减小所述通信双方中发送码流的参会方的发送数据量和/或修改编码格式作为新的码流发送策略，以执行新的码流发送策略排除异常。
可选地，所述获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道的步骤包括：
获取H.221帧结构中的BAS码，以将所述BAS码作为所述特定信号码；
利用所述BAS码在发送码流的参会方与接收码流的参会方之间打开独立的码流统计数据信道，其中，所述H.221帧结构为多个所述参会方在进行E1专线视频会议的数据传输基础。
可选地，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤之后，还包括：
将所述码流反馈消息进行整合后生成目标反馈信息，并将所述目标反馈信息在屏幕上进行显示，以供用户基于所述目标反馈信息制定目标码流发送策略。
此外，为实现上述目的，本发明还提供一种视频会议码流反馈装置，所述视频会议码流反馈装置包括：
独立信道开启模块，用于获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
反馈消息获取模块，用于获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
发送策略更新模块，用于在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
可选地，所述反馈消息获取模块包括：
反馈消息查找单元，用于从所述码流统计数据信道中查找并获取基于所述通信双方中发送码流的参会方进行码流发送所生成的发送反馈消息，以及接收码流的参会方进行码流接收所生成的接收反馈消息，以将所述发送反馈消息与接收反馈消息作为所述码流反馈消息。
可选地，所述视频会议码流反馈装置还包括：
发送消息获取模块，用于每隔预设第一时间间隔，统计所述发送码流的参会方所发送音视频码流的编码格式、数据包总个数与数据总量作为所述发送反馈消息；
发送消息发送模块，用于将所述发送反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述发送反馈消息发送至所述接收码流的参会方；
接收消息获取模块，用于每隔预设第二时间间隔，统计所述接收码流的参会方所接收音视频码流的解码格式、包序列号的最大值、单位时间丢包率与总丢包数，以作为所述接收反馈消息；
接收消息发送模块，用于将所述接收反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述接收反馈消息发送至所述发送码流的参会方。
可选地，所述视频会议码流反馈装置还包括：
接收异常判断模块，用于结合所述发送反馈消息与所述接收反馈消息，判断在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
接收异常判定模块，用于若在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常，则判定所述通信双方之间存在码流接收异常。
可选地，所述发送策略更新模块包括：
发送策略更新单元，用于在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常时，将减小所述通信双方中发送码流的参会方的发送数据量和/或修改编码格式作为新的码流发送策略，以执行新的码流发送策略排除异常。
可选地，所述独立信道开启模块包括：
特定标码获取单元，用于获取H.221帧结构中的BAS码，以将所述BAS码作为所述特定信号码；
独立信道开启单元，用于利用所述BAS码在发送码流的参会方与接收码流的参会方之间打开独立的码流统计数据信道，其中，所述H.221帧结构为多个所述参会方在进行E1专线视频会议的数据传输基础。
可选地，所述视频会议码流反馈装置还包括：
反馈信息显示模块，用于将所述码流反馈消息进行整合后生成目标反馈信息，并将所述目标反馈信息在屏幕上进行显示，以供用户基于所述目标反馈信息制定目标码流发送策略。
此外，为实现上述目的，本发明还提供一种视频会议码流反馈设备，所述视频会议码流反馈设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频会议码流反馈设程序，所述视频会议码流反馈设程序被所述处理器执行时实现如上述方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频会议码流反馈设程序，所述视频会议码流反馈设程序被处理器执行时实现如上述方法的步骤。
本发明提供一种视频会议码流反馈方法、装置、设备及计算机可读存储介质。所述视频会议码流反馈方法通过在视频会议的参会方之间打开独立信道，使得反映数据传输情况的码流反馈信息能够在此独立信道中传输给对应参会方；通过通信双方及时生成码流反馈消息并传输，使得通信双方也能够及时获知对方的码流实际传输情况；通过在码流接收存在异常时及时更新发送策略，使得参会的发送方能够及时改变发送策略，进而快速排除当前的码流接收异常，从而提升了码流接收问题的解决效率，解决了现有的视频会议通信过程中码流接收问题的解决效率低下的技术问题，同时也便于视频系统的诊断与维护，减少了工程维护的成本。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频会议码流反馈设备结构示意图；
图2为现有技术中H.221协议下的帧结构示意图；
图3为本发明视频会议码流反馈方法第一实施例的流程示意图；
图4为本发明视频会议码流反馈方法一具体实施例的视频会议系统结构示意图；
图5为本发明视频会议码流反馈方法一具体实施例的码流统计反馈信息传输流程图；
图6为本发明视频会议码流反馈方法一具体实施例的码流统计反馈信息接收流程图；
图7为本发明视频会议码流反馈装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的视频会议码流反馈设备结构示意图。
本发明实施例视频会议码流反馈设备为可进行视频会议的终端设备。
如图1所示，该视频会议码流反馈设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。可选的用户接口1003可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图1中示出的视频会议码流反馈设备结构并不构成对视频会议码流反馈设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频会议码流反馈设程序。
在图1所示的视频会议码流反馈设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频会议码流反馈设程序，并执行以下操作：
获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
进一步地，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤包括：
从所述码流统计数据信道中查找并获取基于所述通信双方中发送码流的参会方进行码流发送所生成的发送反馈消息，以及接收码流的参会方进行码流接收所生成的接收反馈消息，以将所述发送反馈消息与接收反馈消息作为所述码流反馈消息。
进一步地，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤之前，处理器1001可以用于调用存储器1005中存储的视频会议码流反馈设程序，并执行以下操作：
每隔预设第一时间间隔，统计所述发送码流的参会方所发送音视频码流的编码格式、数据包总个数与数据总量作为所述发送反馈消息；
将所述发送反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述发送反馈消息发送至所述接收码流的参会方；
每隔预设第二时间间隔，统计所述接收码流的参会方所接收音视频码流的解码格式、包序列号的最大值、单位时间丢包率与总丢包数，以作为所述接收反馈消息；
将所述接收反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述接收反馈消息发送至所述发送码流的参会方。
进一步地，所述在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略的步骤之前，处理器1001可以用于调用存储器1005中存储的视频会议码流反馈设程序，并执行以下操作：
结合所述发送反馈消息与所述接收反馈消息，判断在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
若在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常，则判定所述通信双方之间存在码流接收异常。
进一步地，所述在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略的步骤包括：
在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常时，将减小所述通信双方中发送码流的参会方的发送数据量和/或修改编码格式作为新的码流发送策略，以执行新的码流发送策略排除异常。
进一步地，所述获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道的步骤包括：
获取H.221帧结构中的BAS码，以将所述BAS码作为所述特定信号码；
利用所述BAS码在发送码流的参会方与接收码流的参会方之间打开独立的码流统计数据信道，其中，所述H.221帧结构为多个所述参会方在进行E1专线视频会议的数据传输基础。
进一步地，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤之后，处理器1001可以用于调用存储器1005中存储的视频会议码流反馈设程序，并执行以下操作：
将所述码流反馈消息进行整合后生成目标反馈信息，并将所述目标反馈信息在屏幕上进行显示，以供用户基于所述目标反馈信息制定目标码流发送策略。
基于上述硬件结构，提出本发明视频会议码流反馈方法的各个实施例。
脉冲编码调制(PCM，Pulse Code Modulation)，是将模拟信号转换为数字信号的一种技术。欧洲的30路脉冲编码调制PCM简称E1，我国采用与欧洲相同的E1标准。如图2所示，E1专线视频会议的实现方式为：通过H.221帧结构进行数据传输(H.221协议为H.320协议的一种子协议)，音视频码流在独立信道中传输，接收方通过H.221帧结构中的帧定位信号(FAS，Frame Aligning Signal)码的A-bit(帧定位丢失指示，用于反馈接收方是否帧定位)值向发送方反馈是否帧定位。发送方通过检验收到的H.221帧数据中FAS码帧定位状态和FAS码中的A-bit值判断接收方接收码流是否正常，且当FAS帧定位正常，A-bit为0时，发送方认为接收方接收码流正常。
如果线缆上有误码、发送方码流发送错误或是接收方码流接收错误等情况发生时，接收方实际接收的码流质量不佳，但发送方会误认为接收方接收到的码流是正常的。在这种情况下，发送方不能及时修改策略改善接收方的码流接收质量，往往需要人工观察等手段获知接收方接收码流的情况，相关技术人员再根据实际的接收情况制定策略以解决码流接收问题，从而导致了现有的视频会议通信过程中码流接收问题的解决效率低下的技术问题。
为解决上述技术问题，本发明提供一种视频会议码流反馈方法，即通过在视频会议的参会方之间打开独立信道，使得反映数据传输情况的码流反馈信息能够在此独立信道中传输给对应参会方；通过通信双方及时生成码流反馈消息并传输，使得通信双方也能够及时获知对方的码流实际传输情况；通过在码流接收存在异常时及时更新发送策略，使得参会的发送方能够及时改变发送策略，进而快速排除当前的码流接收异常，从而提升了码流接收问题的解决效率，解决了现有的视频会议通信过程中码流接收问题的解决效率低下的技术问题，同时也便于视频系统的诊断与维护，减少了工程维护的成本。
参照图2，图2为视频会议码流反馈方法第一实施例的流程示意图。
本发明第一实施例提供一种视频会议码流反馈方法，所述视频会议码流反馈方法包括：
步骤S10，获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
在本实施例中，本方法应用于视频会议系统，以下简称系统。帧结构指的是帧由几个执行不同功能的部分组成，以更利于传输。不同的多媒体会议标准所对应的帧结构可能不同。例如H.221协议，H.221协议是H.320协议的子协议，规定了声像电信业务中64k～1920knps信道的帧结构。帧结构中的信号码包括帧定位标记信号(FAS，Frame AligningSignal)码、位分配标记(BAS，Bit-rate Allocation Signal)码与加密控制信号(ECS，Encryption Control Signal)码等。
特定信号码指的是视频会议数据传输所采用的会议标准所对应的帧结构中一种或是多种信号码。
通信双方指的是参与本次视频会议进行码流传输的参会方，参与视频会议的参会方的个数通常为两个或两个以上。同一参会方在视频会议过程中即可为发送方也可为接收方。
码流统计数据信道指的是帧数据中的一个数据信道，该数据信道用于传输码流反馈消息。
系统在控制多个终端进行视频会议时，首先需要通过帧结构中的特定信号码在发送方与接收方之间打开码流统计数据信道，以基于该信道传输发送与接收时的码流反馈消息。
步骤S20，获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
在本实施例中，码流反馈消息指的是能够反映视频会议过程中发送方与接收方码流传输实际情况的数据消息。码流反馈消息通常包括了码流的发送反馈消息以及接收反馈消息，发送反馈消息具体可包括：发送方在某一周期内发送的音频和视频的编码格式、发送的码流包的总个数以及数据总量等；接收反馈消息具体可包括：接收方在某一周期内所接收到的码流的音频和视频的解码格式、接收的码流包的包序号的最大值、单位时间内丢包率与总的丢包数等。
在多个参会方进行视频会议的过程中，各参会方会定时统计发送以及接收码流时的相关统计数据作为码流反馈消息，并将该码流反馈消息通过码流统计数据信道传输给对方。系统会从码流统计数据信道中获取到该码流反馈消息，以对其进行分析。
步骤S30，在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
在本实施例中，码流接收异常的情况具体可包括接收方接收到的码流数据不全，或是无法解析接收到的码流数据等。
码流发送策略通常规定的需要传输的码流包的数据量大小、数据的编码格式等。
系统对获取到的码流反馈消息进行分析，若分析得出的结果表明当前的码流接收异常，则需要改变原有的码流发送策略，选择适用于当前传输情况的发送策略以供发送方执行。
作为一具体实施例，如图4所示，系统中包含以下单元。
媒体发送处理单元：统计发送码流的音频和视频的一些信息。每隔固定周期，统计这些信息，以基于这些统计数据得到码流发送反馈消息。媒体发送处理单元将码流发送反馈消息发送给H.320协议处理单元。
媒体接收处理单元：统计接收码流的音频和视频解码一些信息。每隔固定周期，统计这些信息，以基于这些统计数据得到码流接收反馈消息。媒体接收处理单元将码流接收反馈消息发送给H.320协议处理单元。
H.320协议处理单元：通过BAS码打开码流统计数据信道至对端，H.320协议处理单元接收媒体发送处理单元的消息和媒体接收处理单元的消息，并将这些消息数据放入码流统计数据信道，通过H.221帧数据发送给对方。接收H.221帧数据时，在码流统计数据信道中查找码流发送反馈消息和码流接收反馈消息，并将码流反馈消息发送给码流反馈消息处理单元。
码流反馈消息处理单元：解析码流发送反馈消息和码流接收反馈消息，将消息中码流统计信息上报给UI进行呈现。当接收方码流接收质量不佳时发送方就可以及时改变发送策略，提升视频会议通信效果。
在本实施例中，通过获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。通过上述方式，本发明通过在视频会议的参会方之间打开独立信道，使得反映数据传输情况的码流反馈信息能够在此独立信道中传输给对应参会方；通过通信双方及时生成码流反馈消息并传输，使得通信双方也能够及时获知对方的码流实际传输情况；通过在码流接收存在异常时及时更新发送策略，使得参会的发送方能够及时改变发送策略，进而快速排除当前的码流接收异常，从而提升了码流接收问题的解决效率，解决了现有的视频会议通信过程中码流接收问题的解决效率低下的技术问题，同时也便于视频系统的诊断与维护，减少了工程维护的成本。
进一步地，基于上述图2所示的第一实施例，提出本发明视频会议码流反馈方法的第二实施例，在本实施例中，步骤S20包括：
从所述码流统计数据信道中查找并获取基于所述通信双方中发送码流的参会方进行码流发送所生成的发送反馈消息，以及接收码流的参会方进行码流接收所生成的接收反馈消息，以将所述发送反馈消息与接收反馈消息作为所述码流反馈消息。
在本实施例中，由于发送反馈消息与接收反馈消息生成后会放置于独立的码流统计数据信道中进行传输，因此系统能够在码流统计数据信道中查找到能够反映参会方发送以及接收码流的实际情况的发送反馈消息以及接收反馈消息。具体的查找方式可为，在统计发送反馈消息与接收反馈消息时，为其添加特定的标识信息例如特定字符，系统在查找时只需找到带有特定标识信息的消息即可。
进一步地，步骤S20之前，还包括：
每隔预设第一时间间隔，统计所述发送码流的参会方所发送音视频码流的编码格式、数据包总个数与数据总量作为所述发送反馈消息；
将所述发送反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述发送反馈消息发送至所述接收码流的参会方；
每隔预设第二时间间隔，统计所述接收码流的参会方所接收音视频码流的解码格式、包序列号的最大值、单位时间丢包率与总丢包数，以作为所述接收反馈消息；
将所述接收反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述接收反馈消息发送至所述发送码流的参会方。
在本实施例中，预设第一时间间隔指的是发送反馈消息的统计周期，预设第二时间间隔指的是接收反馈消息的统计周期，两者均可根据实际需求灵活设置，可设置为相同时长，也可设置为不同时长，本实施例不作具体限制。
发送方定时统计所发送的音视频码流的编码格式、数据包总额数以及数据总量，并将这些统计数据封装到一个固定的消息结构中，称该消息为发送反馈消息；接收方定时统计所接收到码流的音视频的解码格式、接收码流包的包序号的最大值、单位时间内丢包率以及总的丢包数，并将这些统计数据封装到一个固定的消息结构中，称该消息为接收反馈消息。生成发送反馈消息与接收反馈消息后，就可通过码流统计数据信道将其传输至对应参会方，系统就可在该信道中查找到该消息。
进一步地，步骤S30之前，还包括：
结合所述发送反馈消息与所述接收反馈消息，判断在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
若在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常，则判定所述通信双方之间存在码流接收异常。
在本实施例中，系统通过对发送反馈消息与接收反馈消息进行比较分析，可判断出传输码流的完整性和/或可解码性是否存在异常。其中，完整性即为数据完整性，实际传输过程中可能会出现数据异常丢失的情况。可解码性指的是接收方能够使用与发送方编码格式对应的解码格式对数据成功进行解码。例如可通过比较发送的有效数据量与接收的有效数据量是否一致判断接收方是否数据接收完整，比较发送方的编码方式与接收方的解码方式是否对应来判断接收方是否能成功解析接收的数据。
另外，若码流的完整性与可解码性均不存在异常时，系统则可判定多个参会方之间不存在码流接收异常。
进一步地，步骤S30包括：
在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常时，将减小所述通信双方中发送码流的参会方的发送数据量和/或修改编码格式作为新的码流发送策略，以执行新的码流发送策略排除异常。
在本实施例中，系统在码流的完整性存在异常时，可采用减小发送方的发送数据量的方式解决异常；系统在码流的可解码性存在异常时，可采用将发送方的编码格式修改接收方解码格式对应的编码格式的方式来解决异常。发送方执行新的发送策略后，即可成功排除异常。
在本实施例中，进一步通过在独立信道中获取定时统计的发送反馈消息与接收反馈消息，使得视频会议系统能够在视频会议过程中及时获知发送参会方与接收参会方的实际数据传输情况；通过对传输码流的完整性和/或可解码性进行判断，可快速判断出当前是否存在接收方是否存在码流接收异常；通过减小发送数据量和/或修改编码方式即可快速解决对应异常情况。
进一步地，基于上述图2所示的第一实施例，提出本发明视频会议码流反馈方法的第三实施例。在本实施例中，步骤S10包括：
获取H.221帧结构中的BAS码，以将所述BAS码作为所述特定信号码；
利用所述BAS码在发送码流的参会方与接收码流的参会方之间打开独立的码流统计数据信道，其中，所述H.221帧结构为多个所述参会方在进行E1专线视频会议的数据传输基础。
在本实施例中，视频会议基于E1专线进行传输，E1电路传输基于电路交换网络，通过固定电路连接，完成两点之间音视频通信。连接建立后，完全独享该条电路。E1通信质量高、稳定性、可靠性和安全性高，特别是适用于对视频传输质量要求高，具备网络条件的政府、军队、电信运营商、大型企业等用户组建高质量视频传输网。BAS比特率分配信号指定H.221帧中视频、音频和数据信道中比特位置的分配，因而提供了每个信道所需的比特率。它还传输其他的控制信息，终端之间通过这些信息协商传输速率和其他命令。比特率分配信号位于服务信道的9～16比特位。
系统利用H.221帧结构中的BAS码打开码流统计数据信道，接收方即可通过该信道接收码流的发送反馈消息，而发送方可通过该信道获取接收方反馈的接收反馈消息而获知接收方的接收码流情况。
进一步地，步骤S20之后，还包括：
将所述码流反馈消息进行整合后生成目标反馈信息，并将所述目标反馈信息在屏幕上进行显示，以供用户基于所述目标反馈信息制定目标码流发送策略。
在本实施例中，还可结合人为决策来进行异常排除。系统可将码流反馈消息进行整合，整合方式例如将两份消息中同类信息对比突出显示等。系统将整合后的目标反馈信息展示在屏幕上，以供相关技术人员根据目标反馈信息为发送端制定新的发送策略。
作为一具体实施例，基于图4中系统所包含的各个单元，如图5所示，码流统计反馈信息传输流程为：
步骤一：E1专线会议双方通过BAS码打开数据信道，该数据信道用于传输码流反馈统计信息。
步骤二：每隔固定周期时间，媒体发送处理单元和媒体接收处理单元进行码流数据的统计。媒体发送处理单元统计音频和视频码流的编码格式，发送码流数据包的总个数和数据总大小，将这些统计数据封装到固定的消息结构中；媒体接收处理单元统计接收的音频和视频码流的编码格式，接收的码流包序号的最大值、单位时间内丢包率和总的丢包数，将这些统计数据封装到固定的消息结构中。
步骤三：媒体发送处理单元将码流发送反馈消息发送给H.320协议处理单元，媒体接收处理单元将码流接收反馈消息发送给H.320协议处理单元。
步骤四：H.320协议处理单元将码流发送反馈消息和码流接收反馈消息放到码流统计数据信道中，与H.221帧数据的其它数据一起发送给对方。
如图6所示，码流统计反馈信息接收流程为：
步骤五：H.320协议处理单元从H.221帧数据的码流统计数据信道中查找码流发送反馈消息和码流接收反馈消息，并将码流反馈消息发送给码流反馈消息处理单元。
步骤六：码流反馈消息处理单元：解析码流发送反馈消息和码流接收反馈消息，将消息中的码流统计信息上报给UI处理单元或利用码流统计信息进行处理，改变码流发送策略，提升视频通信效果。
在本实施例中，进一步通过在E1专线视频会议中利用BAS码打开用于传输码流反馈消息的独立信道，使得码流反馈消息能够在此信道中传输至对应参会方；通过在自动更新策略的基础上再提供一种人工排除异常的方式，丰富了异常的解决途径。
本发明还提供一种视频会议码流反馈装置，如图7所示。
所述视频会议码流反馈装置包括：
独立信道开启模块10，用于获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
反馈消息获取模块20，用于获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
发送策略更新模块30，用于在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
本发明还提供一种视频会议码流反馈设备。
所述视频会议码流反馈设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的视频会议码流反馈设程序，其中所述视频会议码流反馈设程序被所述处理器执行时，实现如上所述的视频会议码流反馈方法的步骤。
其中，所述视频会议码流反馈设程序被执行时所实现的方法可参照本发明视频会议码流反馈方法的各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有视频会议码流反馈设程序，所述视频会议码流反馈设程序被处理器执行时实现如上所述的视频会议码流反馈方法的步骤。
其中，所述视频会议码流反馈设程序被执行时所实现的方法可参照本发明视频会议码流反馈方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台视频会议码流反馈设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种视频会议码流反馈方法，其特征在于，所述视频会议码流反馈方法包括：
获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
基于对码流反馈消息中的发送反馈消息与接收反馈消息进行比较分析，判断在发送码流的参会方与接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
2.如权利要求1所述的视频会议码流反馈方法，其特征在于，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤包括：
从所述码流统计数据信道中查找并获取基于所述通信双方中发送码流的参会方进行码流发送所生成的发送反馈消息，以及接收码流的参会方进行码流接收所生成的接收反馈消息，以将所述发送反馈消息与接收反馈消息作为所述码流反馈消息。
3.如权利要求2所述的视频会议码流反馈方法，其特征在于，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤之前，还包括：
每隔预设第一时间间隔，统计所述发送码流的参会方所发送音视频码流的编码格式、数据包总个数与数据总量作为所述发送反馈消息；
将所述发送反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述发送反馈消息发送至所述接收码流的参会方；
每隔预设第二时间间隔，统计所述接收码流的参会方所接收音视频码流的解码格式、包序列号的最大值、单位时间丢包率与总丢包数，以作为所述接收反馈消息；
将所述接收反馈消息置于所述码流统计数据信道，以通过所述码流统计数据信道将所述接收反馈消息发送至所述发送码流的参会方。
4.如权利要求2所述的视频会议码流反馈方法，其特征在于，所述基于对码流反馈消息中的发送反馈消息与接收反馈消息进行比较分析，判断在发送码流的参会方与接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常的步骤，包括：
结合所述发送反馈消息与所述接收反馈消息，判断在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
若在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常，则判定所述通信双方之间存在码流接收异常。
5.如权利要求4所述的视频会议码流反馈方法，其特征在于，所述在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略的步骤包括：
在所述发送码流的参会方与所述接收码流的参会方之间传输的码流的完整性和/或可解码性存在异常时，将减小所述通信双方中发送码流的参会方的发送数据量和/或修改编码格式作为新的码流发送策略，以执行新的码流发送策略排除异常。
6.如权利要求1所述的视频会议码流反馈方法，其特征在于，所述获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道的步骤包括：
获取H.221帧结构中的BAS码，以将所述BAS码作为所述特定信号码；
利用所述BAS码在发送码流的参会方与接收码流的参会方之间打开独立的码流统计数据信道，其中，所述H.221帧结构为多个所述参会方在进行E1专线视频会议的数据传输基础。
7.如权利要求1-6中任一项所述的视频会议码流反馈方法，其特征在于，所述获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息的步骤之后，还包括：
将所述码流反馈消息进行整合后生成目标反馈信息，并将所述目标反馈信息在屏幕上进行显示，以供用户基于所述目标反馈信息制定目标码流发送策略。
8.一种视频会议码流反馈装置，其特征在于，所述视频会议码流反馈装置包括：
独立信道开启模块，用于获取帧结构中的特定信号码，基于所述特定信号码在通信双方之间打开独立的码流统计数据信道；
反馈消息获取模块，用于获取所述通信双方在码流传输过程中所生成，并在所述码流统计数据信道进行传输的码流反馈消息；
还用于基于对码流反馈消息中的发送反馈消息与接收反馈消息进行比较分析，判断在发送码流的参会方与接收码流的参会方之间传输的码流的完整性和/或可解码性是否存在异常；
发送策略更新模块，用于在根据所述码流反馈消息确定所述通信双方之间存在码流接收异常时，更新码流发送策略。
9.一种视频会议码流反馈设备，其特征在于，所述视频会议码流反馈设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频会议码流反馈设程序，所述视频会议码流反馈设程序被所述处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频会议码流反馈设程序，所述视频会议码流反馈设程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011366629.XA CN112565664B (zh) | 2020-11-27 | 2020-11-27 | 视频会议码流反馈方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011366629.XA CN112565664B (zh) | 2020-11-27 | 2020-11-27 | 视频会议码流反馈方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112565664A CN112565664A (zh) | 2021-03-26 |
| CN112565664B true CN112565664B (zh) | 2023-04-28 |
Family
ID=75046226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011366629.XA Active CN112565664B (zh) | 2020-11-27 | 2020-11-27 | 视频会议码流反馈方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112565664B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113573006B (zh) * | 2021-07-21 | 2024-04-05 | 北京融讯科创技术有限公司 | 专线视频会议通信方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06350725A (ja) * | 1993-06-10 | 1994-12-22 | Ricoh Co Ltd | テレビ会議システム |
| EP0760562A2 (en) * | 1995-08-30 | 1997-03-05 | Sharp Kabushiki Kaisha | Communication procedure control system |
| CN1476247A (zh) * | 2002-08-16 | 2004-02-18 | 深圳市中兴通讯股份有限公司 | 会议电视系统传送码流在低质量线路上可靠传输的方法 |
| CN101478411A (zh) * | 2009-01-16 | 2009-07-08 | 深圳华为通信技术有限公司 | 传输会议控制信令的方法、设备及系统 |
| CN101488916A (zh) * | 2009-01-24 | 2009-07-22 | 深圳华为通信技术有限公司 | 一种基于视频会议的带宽控制方法、装置、终端及系统 |
| CN101883240A (zh) * | 2010-06-09 | 2010-11-10 | 广东威创视讯科技股份有限公司 | 基于mcu的视频会议系统及其视频传输丢包处理的方法 |
| CN106357693A (zh) * | 2016-11-09 | 2017-01-25 | 深圳市云之讯网络技术有限公司 | 实时媒体流丢包补偿方法 |
| CN111988556A (zh) * | 2020-08-28 | 2020-11-24 | 深圳市融讯视通科技有限公司 | 动态音视频编码传输方法、系统、装置及存储介质 |
-
2020
- 2020-11-27 CN CN202011366629.XA patent/CN112565664B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06350725A (ja) * | 1993-06-10 | 1994-12-22 | Ricoh Co Ltd | テレビ会議システム |
| EP0760562A2 (en) * | 1995-08-30 | 1997-03-05 | Sharp Kabushiki Kaisha | Communication procedure control system |
| CN1476247A (zh) * | 2002-08-16 | 2004-02-18 | 深圳市中兴通讯股份有限公司 | 会议电视系统传送码流在低质量线路上可靠传输的方法 |
| CN101478411A (zh) * | 2009-01-16 | 2009-07-08 | 深圳华为通信技术有限公司 | 传输会议控制信令的方法、设备及系统 |
| CN101488916A (zh) * | 2009-01-24 | 2009-07-22 | 深圳华为通信技术有限公司 | 一种基于视频会议的带宽控制方法、装置、终端及系统 |
| CN101883240A (zh) * | 2010-06-09 | 2010-11-10 | 广东威创视讯科技股份有限公司 | 基于mcu的视频会议系统及其视频传输丢包处理的方法 |
| CN106357693A (zh) * | 2016-11-09 | 2017-01-25 | 深圳市云之讯网络技术有限公司 | 实时媒体流丢包补偿方法 |
| CN111988556A (zh) * | 2020-08-28 | 2020-11-24 | 深圳市融讯视通科技有限公司 | 动态音视频编码传输方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112565664A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7894354B2 (en) | System and method to monitor RTP streams using RTCP SR/RR packet information | |
| US8380848B2 (en) | Transmission of information relating to a quality of service | |
| US8320257B2 (en) | Automatic testing of scheduled telepresence meetings | |
| KR101122143B1 (ko) | 수신기 버퍼 아키텍처를 나타내는 버퍼 파라미터의 시그널링 | |
| CN105610824B (zh) | 一种基于屏幕镜像及rtsp流媒体框架的屏幕共享方法 | |
| CN102202210B (zh) | 手机播放实时监控视频的方法及播放实时监控视频的手机 | |
| US20160219318A1 (en) | Information presentation device and method | |
| CN112565664B (zh) | 视频会议码流反馈方法、装置、设备及计算机可读存储介质 | |
| RU2007114149A (ru) | Система и способ управления абонентскими данными в цифровом мультимедийном вещании | |
| CN1972494A (zh) | 信令跟踪的处理方法 | |
| CN1988709A (zh) | 信令跟踪装置 | |
| CN102263771B (zh) | 移动终端、适配器及多媒体数据的播放方法和系统 | |
| CN112738450B (zh) | 会议召开方法、装置、设备及计算机可读存储介质 | |
| KR100825459B1 (ko) | 무선통신 시스템에서 방송전용 채널을 이용한 멀티미디어방송 서비스 방법 | |
| CN100508640C (zh) | 电信系统中的方法和装置 | |
| CN101090415A (zh) | 一种获取媒体特征信息的方法和系统以及终端设备 | |
| CN112118442A (zh) | Ai视频通话质量分析方法、装置、计算机设备及存储介质 | |
| CN101909194A (zh) | 提供频道切换服务的方法、系统及频道切换服务器 | |
| US8391284B2 (en) | Usage of feedback information for multimedia sessions | |
| US20110216891A1 (en) | Method and equipment for implementing information exchange | |
| CN111698677A (zh) | 用户面统计信息的上报、接收方法及网络设备 | |
| CN110611663B (zh) | 一种检测方法、装置及系统 | |
| CN114793183B (zh) | 一种基于多源数据处理的分布式融合通讯方法 | |
| EP1855454A1 (en) | Method and apparatus for speaker identification in a conference call | |
| CN114584535B (zh) | 一种实现双向通话的电梯监控摄像机接入呼叫中心系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Video conference stream feedback method, device, device, and computer-readable storage medium Effective date of registration: 20230718 Granted publication date: 20230428 Pledgee: Haidian Beijing science and technology enterprise financing Company limited by guarantee Pledgor: Beijing Rongxun Technology Co.,Ltd. Registration number: Y2023110000296 |