这篇《基于H.324视频会议透明级联的设计与实现》的论文是2007年花了几个月时间帮一个朋友完成的，出于保密的考虑，此处仅放前几章。
摘要
随着网络和多媒体技术的发展，视频会议系统的应用越来越广泛，会议规模越来越大，单台视频会议多点控制单元（MCU）的处理能力无法承担大量用户的同时接入，视频会议之间的级联显得越来越重要。但目前国内外的MCU大多没有实现真正意义上的会议级联功能，只是由会议管理员同时管理多台MCU，协调各MCU设备之间的关系来实现简单的级联功能。这种方式操作复杂，逻辑混乱，无法在实际应用中得到推广。而本文提出的视频会议的级联方法，将多个物理MCU组合构成一个逻辑上的大容量MCU，可以简化级联会议的管理和调度，无需管理员对多个MCU进行手工操作和管理，对管理者是完全透明的，该方法称为MCU的透明级联。
本文的工作基础是在我们已研制完成的MCU的基础上，研究多MCU的级联问题。在已完成的MCU项目中，设计并实现了基于H.324标准的MCU和管理MCU的控制台，该MCU设备具有完备的会议管理和调度功能，系统工作稳定，并在多个项目中得到了实际应用。
本文的主要工作有：
首先介绍了多媒体通信标准H.324标准和已实现的MCU的框架结构、关键技术和工作原理。
其次，本文重点研究了级联会议中音视频数据的处理和切换逻辑，在研究现有MCU级联方法的基础上，提出了视频会议透明级联的方法，并基于用户列表的共享技术、语音混合和多画面合成模块对视频会议的透明级联进行了系统的设计，设计了视频会议多级透明级联协议。应用本文提出的透明级联方法，一个级联会议中各MCU设备对管理员是透明的，所有参与级联会议的用户没有层级之分，管理员就像在管理一个非级联会议。而各MCU之间的音视频切换逻辑由各MCU自动协商来完成。
最后，本文在MCU上具体实现了视频会议透明级联协议，并且对级联会议系统的性能和兼容性进行了测试和改进，与国外的MCU设备实现了会议的透明级联，为视频会议透明级联的标准化做好了技术上的准备。
关键词：视频会议 MCU H.324协议 透明级联
随着网络和多媒体技术的发展，视频会议系统的应用越来越广泛，会议规模越来越大，单台视频会议多点控制单元（MCU）的处理能力无法承担大量用户的同时接入，视频会议之间的级联显得越来越重要。但目前国内外的MCU大多没有实现真正意义上的会议级联功能，只是由会议管理员同时管理多台MCU，协调各MCU设备之间的关系来实现简单的级联功能。这种方式操作复杂，逻辑混乱，无法在实际应用中得到推广。而本文提出的视频会议的级联方法，将多个物理MCU组合构成一个逻辑上的大容量MCU，可以简化级联会议的管理和调度，无需管理员对多个MCU进行手工操作和管理，对管理者是完全透明的，该方法称为MCU的透明级联。
本文的工作基础是在我们已研制完成的MCU的基础上，研究多MCU的级联问题。在已完成的MCU项目中，设计并实现了基于H.324标准的MCU和管理MCU的控制台，该MCU设备具有完备的会议管理和调度功能，系统工作稳定，并在多个项目中得到了实际应用。
本文的主要工作有：
首先介绍了多媒体通信标准H.324标准和已实现的MCU的框架结构、关键技术和工作原理。
其次，本文重点研究了级联会议中音视频数据的处理和切换逻辑，在研究现有MCU级联方法的基础上，提出了视频会议透明级联的方法，并基于用户列表的共享技术、语音混合和多画面合成模块对视频会议的透明级联进行了系统的设计，设计了视频会议多级透明级联协议。应用本文提出的透明级联方法，一个级联会议中各MCU设备对管理员是透明的，所有参与级联会议的用户没有层级之分，管理员就像在管理一个非级联会议。而各MCU之间的音视频切换逻辑由各MCU自动协商来完成。
最后，本文在MCU上具体实现了视频会议透明级联协议，并且对级联会议系统的性能和兼容性进行了测试和改进，与国外的MCU设备实现了会议的透明级联，为视频会议透明级联的标准化做好了技术上的准备。
关键词：视频会议 MCU H.324协议 透明级联
目录
摘要… 1
目录… 3
第一章 绪论… 1
1．1视频会议系统概述… 1
1.1.1 视频会议系统的概念… 1
1.1.2 视频会议系统的发展… 2
1.2 视频会议的级联… 3
1.2.1 视频会议级联的概念… 3
1.2.2 视频会议级联的意义… 3
1.2.3 视频会议的级联方式… 4
1.3 论文的主要工作及内容… 6
第二章 H.324标准及其相关协议… 9
2.1 H.324概述… 9
2.2 H.324系统组成… 10
2.2.1 H.324系统结构… 10
2.2.2 H.324组件的功能… 10
2.3 H.324协议栈结构… 14
2.4 H.324相关协议… 16
2.4.1 数据协议… 17
2.4.2 H.263视频编码器
2.4.2 H.245媒体控制协议… 20
2.4.2.1 H.245协议… 21
2.4.2.2 H.245主要协议过程… 22
第三章 视频会议多点控制单元的设计与实现… 26
3.1多点视频会议的分类… 26
3.2 MCU的系统设计… 27
3.2.1 集中式多点视频会议的网络结构… 27
3.2.2 视频会议的管理及调度模式… 28
3.2.2.1 视频会议的管理… 28
3.2.2.2 视频会议的调度… 29
3.4 MCU控制台的设计与实现… 35
3.3.1 MCU管理中心的功能… 35
3.3.2 MCU管理中心的实现… 35
3.4 小结… 39
第四章 视频会议透明级联的系统设计… 40
4.1 视频会议级联的必要性… 40
4.2 视频会议的级联结构… 43
4.3 视频会议级联中音视频的转发策略… 45
4.3.1 单画面模式下音视频的传输… 46
4.3.2 多画面模式下音视频的传输… 53
4.4 视频会议级联中会议成员的管理… 56
4.5 小结… 58
第五章 视频会议透明级联的实现… 59
5.1 级联控制信道的建立… 59
5.1.1 级联控制能力的结构与定义… 59
5.1.2 级联控制信道的协商与建立… 60
5.2 级联控制信息的封装与传输… 63
5.2.1 会议ID和用户ID的定义… 63
5.2.2 级联控制消息的定义… 64
5.2.3 级联控制消息的传输过程… 66
5.3 音视频数据的处理与传输… 67
5.4 透明级联的兼容性与性能测试… 69
5.4.1 透明级联的兼容性测试… 69
5.4.2 透明级联的性能测试… 70
5.5 小结… 71
第六章 结束语… 73
致谢… 74
参考文献… 75
研究生在读期间的研究成果… 78
摘要… 1
目录… 3
第一章 绪论… 1
1．1视频会议系统概述… 1
1.1.1 视频会议系统的概念… 1
1.1.2 视频会议系统的发展… 2
1.2 视频会议的级联… 3
1.2.1 视频会议级联的概念… 3
1.2.2 视频会议级联的意义… 3
1.2.3 视频会议的级联方式… 4
1.3 论文的主要工作及内容… 6
第二章 H.324标准及其相关协议… 9
2.1 H.324概述… 9
2.2 H.324系统组成… 10
2.2.1 H.324系统结构… 10
2.2.2 H.324组件的功能… 10
2.3 H.324协议栈结构… 14
2.4 H.324相关协议… 16
2.4.1 数据协议… 17
2.4.2 H.263视频编码器
2.4.2 H.245媒体控制协议… 20
2.4.2.1 H.245协议… 21
2.4.2.2 H.245主要协议过程… 22
第三章 视频会议多点控制单元的设计与实现… 26
3.1多点视频会议的分类… 26
3.2 MCU的系统设计… 27
3.2.1 集中式多点视频会议的网络结构… 27
3.2.2 视频会议的管理及调度模式… 28
3.2.2.1 视频会议的管理… 28
3.2.2.2 视频会议的调度… 29
3.4 MCU控制台的设计与实现… 35
3.3.1 MCU管理中心的功能… 35
3.3.2 MCU管理中心的实现… 35
3.4 小结… 39
第四章 视频会议透明级联的系统设计… 40
4.1 视频会议级联的必要性… 40
4.2 视频会议的级联结构… 43
4.3 视频会议级联中音视频的转发策略… 45
4.3.1 单画面模式下音视频的传输… 46
4.3.2 多画面模式下音视频的传输… 53
4.4 视频会议级联中会议成员的管理… 56
4.5 小结… 58
第五章 视频会议透明级联的实现… 59
5.1 级联控制信道的建立… 59
5.1.1 级联控制能力的结构与定义… 59
5.1.2 级联控制信道的协商与建立… 60
5.2 级联控制信息的封装与传输… 63
5.2.1 会议ID和用户ID的定义… 63
5.2.2 级联控制消息的定义… 64
5.2.3 级联控制消息的传输过程… 66
5.3 音视频数据的处理与传输… 67
5.4 透明级联的兼容性与性能测试… 69
5.4.1 透明级联的兼容性测试… 69
5.4.2 透明级联的性能测试… 70
5.5 小结… 71
第六章 结束语… 73
致谢… 74
参考文献… 75
研究生在读期间的研究成果… 78
第一章 绪论
1．1视频会议系统概述
近年来，随着通信技术综合化、数字化、智能化和个人化的发展，以及计算
机网络技术的日益成熟，在网络平台上实现语音、数据和图像等多种业务已经成
为通信行业发展的目标和必然趋势。而随着覆盖全球的 Internet 的快速发展，以及多媒体信息处理能力的不断增强，视频会议系统得到越来越广泛的应用，它对于召开重要的会议，及时做出重要决策，发布重要消息和提高工作效率等有着重要的价值和意义。
1.1.1 视频会议系统的概念
视频会议（Video Conference）亦称会议电视，是一种使用专门的视频设备实现电子会议的一种模式，是利用计算机技术和通信设备通过传输信道在两点或多个地点之间建立可视多媒体通信，实现图像、语音及数据交流的一种会议形式。它是通过网络在两点或多点之间交互传输视频、音频和数据来实现远距离用户“面对面”的沟通与信息共享。
参与会议的每个会议成员对应一个会场，每个会场放置一台视频会议终端。视频会议终端负责对会场内的声音和图像进行采集并进行相关的编码处理，传输给对方的终端或者视频会议中心的多点控制单元（Multipoint Control Unit， MCU）[1]，同时接收对方的音视频数据，解码后显示异地会场的图像，并且播放相关的声音。
进行多个会场同时参与的会议，需要在网络结点处放置一台处理多点连接和媒体流的MCU设备。参与会议的所有会场都与MCU建立连接，每个会场的声音和图像都传输到MCU，MCU根据当前会议的状态，对相应的图像和声音进行合成和处理，然后发送给参与会议的每个会场。因此，MCU是多会场视频会议的核心设备，它负责管理和维护每一个分会场的信息。当参与视频会议的分会场增加，一个MCU无法同时处理所有会场的同时接入时，可将多个MCU进行级联来完成视频会议的扩展，各级MCU之间相互协调来保证整个会议的正常运行。
1.1.2 视频会议系统的发展
国外对视频会议的研究和开发要早于中国，第一代视频会议产品的可视电话是由美国贝尔实验室研制出来。1964年，美国的贝尔实验室在纽约国际博览会上展出了世界上最早的可视电话机Picture phone MOD-1。这个系统在一个带宽为 300-3400Hz的模拟话路上传输黑白静止硬拷贝图像，其图像和话音采用分时传送方式。随后，美国 BT 公司研制出 1MHz 带宽的黑白会议电视系统，提供静止和活动的点对点会议电视业务。到了 70 年代初，经过改进后的 Picture phone MOD-2 在匹兹堡和芝加哥之间开始了商业业务。后来，出现了各种改进的其他会议电视系统，但由于带宽要求大，而实用性不强。从总体看，70年代视频会议系统的发展处于相对平静的时期，但视频会议系统的研究工作一直在继续。
进入80年代中期，通信科技发展迅猛，编码和信息压缩技术的发展，使得视频会议设备的实用性大为提高。但此时的视频会议系统由于价格和技术的因素，仍只限于高档的会议室视频会议系统的应用，从而限制了视频会议系统的进一步普及。
视频会议系统真正实用化是以90年代初ITU－T建立的H.320标准为标志，不同品牌的产品之间的兼容性问题得到解决。配合H.261[2,3]视频压缩集成电路技术的开发，视频会议系统出现了朝小型化发展的趋势。在1992-1995年期间，中小型视频会议系统成为视频会议应用中的主要产品。视频会议系统在90年代中期的另一个发展趋势为桌上型产品开始成熟。自从30年前，AT&T展示了原始的可视电话以来，设计和建立视频会议系统已成为人们关注的热点。如今，随着半导体、软件技术的飞速发展，各种专用芯片、高速DSP芯片的出现以及相关视频会议标准的制定，使得视频会议系统已触手可及。1996年ITU组织通过的H.324建议，其全称为低码率多媒体通信终端。因此ITU从1993年开始着手制定一套新的标准H.324,它和旧标准的关系如下: @@I1;表0@@ 在各国专家的努力下,这个新标准将于1997年5～7月正式通过。H.324系列是一个低位速率多媒体通信终端标准，H.324标准使用 H.263：电视图像编码标准，压缩后的速率为20 kb/s。 G.723.1：声音编码标准，压缩后的速率为5.3 kb/s(用于声音＋数据)或者6.3 kb/s。 H.223： 低位速率多媒体通信的多路复合协议。 H.245：多媒体通信终端之间的控制协议。 T120：实时数据会议标准(可视电话应用中不一定是必须的)。
国内会议电视设备的研制开始于80年代。80年代末期，浙江大学、北京邮电大学、电子部三所、北京大学均开始了64Kbit/s （或128Kbit/s）的会议电视编解码器（CODEC）的研制。随着H.261建议的批准，上述单位转而按照H.261建议进行CODEC的开发。1994年，邮电部建设了由北京连通30个省市中心的全国会议骨干网，1994年12月28日浙江省邮电管理局宣布全省11个地点的会议电视网建成，并与北京国家电视网级联。虽然，中国会议电视系统发展迅速，但是由于起步晚，多年来我国的会议电视市场仍是洋货一统天下的局面，仅美国CLI和英国GPT公司就占据了国内市场份额的85%以上。我国科研部门和通讯厂商不甘落后，积极开发适合我国国情的，具有自己知识产权的会议电视系统。目前，已有不少国产会议电视系统出台，如华为、中兴公司以及东北大学、北方交大、西安邮电学院等都开发了基于H.320标准或H.323标准的视频会议系统，在应用中能做到与国外同类产品互相兼容。
近几年来，随着国内外大型网络运营商对网络环境的建设和改造，视频会议系统的使用环境也变得越来越好。尤其是美国“9.11” 事件和SARS疫情后，人们更加认识到视频会议产品的重要性，使得全球视频会议产品的销售量快速增长。同时，视频厂商之间的竞争也更为激烈，除了压低成本和降低价格外，各大厂商纷纷加大科研力量，来提高视频图像质量，减少传输带宽，增加系统功能，提高系统稳定性等，从而也进一步加快了视频会议产品的普及。
1.2 视频会议的级联
1.2.1 视频会议级联的概念
视频会议级联是指多个MCU设备通过一定方式连接起来，协同工作，构成一个逻辑上的大容量MCU，共同完成一个视频会议的一种技术。级联中的每个MCU都可以连接一定数量的终端，所有MCU的终端通过在MCU之间进行音视频数据和控制信令的交换，实现对与会者的音视频的传输、合成和切换。每个MCU对应一个逻辑上的子会议，所有子会议共同组成一个大的逻辑上的级联会议。整个级联会议只有一个主席，同时最多只有一个发言听众，主席和发言听众具体在哪个子会议下面根据会议的实际情况指定。
1.2.2 视频会议级联的意义
随着网络环境的不断提升以及用户需求量的不断增大，近年来视频会议的规模越来越大。参与同一个会议的用户数由最初的8点、16点不断提高到32点、64点甚至更高。从参与会议的用户所处的地理位置看，同一个会议所覆盖的地域范围也不断扩大，由原来的一个企业单位的一个办公楼，到一个城市的所有子单位，现在某个系统的全省的所有下属单位共同参与同一个会议的需求已经被提了出来，而且这种全省范围内的大型会议已经被安装并且在使用中。参与同一个会议的用户数的不断增加，无疑增加了MCU设备的负荷，单台MCU的处理能力以及MCU所处的网络节点的网络吞吐量毕竟有限。现在多数MCU厂家可以生产支持用户数为32点的MCU，一旦参与会议的用户数超过MCU的处理能力，视频会议的音视频效果将急剧下降，导致会议无法正常召开。
要解决这一问题，只有将多台不同区域的MCU级联起来，每个MCU负责它所处区域的那一部分用户的接入和音视频处理，组织一个子会议，不同区域的MCU通过建立彼此之间的连接，相互协调，把各子会议按照一定的层次关系组成一个大型的级联会议，从而共同对所有与会者及其音视频数据进行统一的处理和调度。级联会议只是一个逻辑上的会议，各个参与会议的用户物理上还是分别就近连接在本地的MCU设备上。但级联会议大大增加了会议的规模，理论上讲，随着参与级联的MCU的不断增加，级联会议允许接入的用户数可以无限增大。但实际召开级联会议的时候，考虑到音视频数据在多级MCU之间经过多次的编解码处理和网络传输，会造成一定的时延，影响会议的实际效果，所以现实中，对级联会议的级数多有一定的限制。
1.2.3 视频会议的级联方式
视频会议的级联主要是通过在MCU之间建立一个遵从H.323标准的连接来实现的。在这个连接中包括音频的逻辑发送、接收信道，视频主流的逻辑发送、接收信道，视频附流的逻辑发送、接收信道，远端摄像机控制信令的逻辑发送、接收信道以及用于传输级联控制信息的双向级联控制信道。级联会议中MCU之间的所有信息交换都是通过这个连接来完成的。
会议的级联按照级联的级数分可以分为两级级联和多级级联。参与两级级联的MCU有主从之分，其中有一个主MCU，一个或者多个从MCU，所有从MCU都与主MCU建立连接，每个从MCU组织一个子会议，把参与子会议的用户的音视频数据按照当前级联会议的状态进行预处理，然后送到主MCU，由主MCU进行统一调度。两级级联是中型会议大多采用的级联方式，其结构图如图1.1。
图1.1 两级级联结构图
多级级联是对两级级联的扩展，即通过在两级级联中的从MCU上连接一个或者多个MCU，构成三级级联会议。依次类推，根据与会者的数量和会议的规模可以实现四级、五级等多级级联会议。最顶级的MCU称为一级MCU，与一级MCU直接建立连接的MCU称为二级MCU，与二级MCU直接建立连接的MCU称为三级MCU，依次类推分别有四级、五级MCU等，其结构图如图1.2所示。
图1.2 多级级联结构图
按级联的网络拓扑结构可以分为星型树结构的级联会议和全互联结构的级联会议。图1.1和图1.2所示的为星型树结构的级联会议。而全互联结构的级联会议要求参与级联的所有MCU彼此之间都建立一个连接，图1.3示出五台MCU组成全互联的级联会议结构图。
图1.3 全互联级联结构图
全互联的网络结构增加了MCU之间传输音视频数据的传输线路的选择，各MCU根据当前的会议模式，相互协商选择最近的线路，以最小的时延把音视频数据传输给对方，而不需要象在星型树结构的级联会议里那样，各下级MCU首先把数据传输给上级MCU，由顶级MCU进行统一处理和调度，从而避免了音视频数据的不必要的多次转发，降低了通话时延。不过，在全互联情况下，五台MCU就需要10条MCU之间的传输线路。如果参与级联的MCU有N台，所需线路将达到N×(N－1)/2条。显而易见，这种方式的线路维护比较复杂，只有在涉及地理范围不大，设备比较少的情况下才有可能使用。实际应用中，级联会议多采用星型树的网络结构，这种结构便于集中控制，易于维护。必须指出，在这种结构中，一级MCU必须具有极高的可靠性，因为一级MCU一旦损坏，整个级联会议系统便趋于瘫痪。因此，一级MCU通常采用双机热备份，以提高系统的可靠性。
按级联会议的管理方式可以分为非透明级联和透明级联。所谓非透明级联是指参与级联的每个MCU设备对会议管理员来说是可见的，管理员需要对每个MCU所对应的子会议分别进行会议参数的设置，会议成员列表的维护以及会议模板的载入。各MCU之间的连接由管理员手动建立，每个MCU所组织的子会议都有自己的主席和发言听众。各MCU之间的配合和音视频流的切换由管理员通过指定每个子会议的主席和发言听众来实现。由于国内外MCU厂家最初设计的时候大多没有考虑到会议的级联，所以目前级联会议多是采用这种管理员手动控制、分别管理的模式来实现的非透明级联。这种级联模式用于只有两个MCU参与的级联会议中，勉强可以被用户接受，而对于多台MCU参与的二级级联或者多级级联，管理员的工作量急剧增加，各子会议的主席、发言听众的指定操作足以让管理员晕头转向，理不清音视频的转发逻辑。而本文提出的透明级联方法正是为了解决这一问题。所谓透明级联是指参与级联的下级MCU对会议管理员来说是透明的，管理员所感觉到的只是一个大容量MCU，是由多个物理MCU设备构成的逻辑上的MCU。管理员可以对参与会议的每个用户进行统一调度，不论这个用户属于哪个子会议。整个级联会议只有一个主席，最多只有一个发言听众。而主席和发言听众的音视频流的转发逻辑由各MCU之间自动协商，无需管理员进行组织。视频会议的透明级联大大简化了会议调度的复杂度，方便了管理员对会议的控制。
1.3 论文的主要工作及内容
作者多年来一直负责的主要项目是基于H.324标准的视频会议系统MCU（多点控制单元）产品的研究和开发，目前该产品已经是较为成熟的产品，在国内数十家企事业单位和政府机构进行了安装，并且正在使用。多年来随着网络状况的不断改善和一些单位的业务需求不断的增加，参与同一个会议的用户数成倍增长，视频会议的规模越来越大。大量用户的同时接入已经超过了单台MCU设备的处理能力和MCU设备所在网络节点的网络吞吐能力，为了在扩大会议规模的同时保证视频会议的正常运行，多台MCU之间的级联被广泛应用在实际的工程中。
作者了解到，目前国内的MCU产品还没有一款能真正做到支持MCU的多级透明级联，大多是由管理员同时管理多台MCU，由管理员协调各MCU之间的关系，来实现简单的级联功能，这种对每个MCU分别管理的方式调度极其复杂，实用性差，无法得到推广。国外的同类产品也只有极个别厂家按照自己的方式实现了对参与级联的多个MCU进行简单的统一调度，远远不能满足用户对级联会议的操作要求。而目前关于级联会议的组织管理和会议调度还没有制定统一的相关标准，那些实现简单级联功能的不同厂家的MCU设备之间也无法做到相互兼容。作者通过接触和研究多个国内外厂家的MCU产品，并总结多年来对自己MCU设备的不断完善和升级的经验，提出了实现多级透明级联会议的一种方法。这种级联方式虽然实现起来比较复杂，要求设计和开发人员有较高的逻辑协调能力和严谨的逻辑分析能力，但通过这种方式实现的多级透明级联会议大大简化了大型会议的调度复杂性，降低了会议组织和调度的工作量，保证了大型会议的正常运行，为视频会议的进一步普及提供了技术保证。
本文的重点就是详细介绍视频会议透明级联的工作原理，系统的设计了透明级联会议中音视频的转发逻辑，通过用户列表共享技术实现对参与级联会议的用户进行透明的管理。然后基于自己成熟的MCU产品具体实现了透明级联的功能，并对视频会议的多级透明级联系统进行仔细的测试和完善，和国外知名的视频会议设备厂家RADVISION的MCU产品ViaIP4.0实现了兼容性测试，为透明级联会议的标准化做好了充分准备。
本文中作者的主要工作是：
1、深入研究多媒体通信标准H.324及其相关协议，具体介绍了已实现的MCU及其控制台的框架结构、关键技术、工作原理和具体实现过程。
2、本文重点研究了多级级联会议中音视频数据的处理和切换逻辑，包括多路语音混合和多画面合成在级联会议中的处理方法，在研究现有MCU级联方法的基础上，提出了视频会议透明级联的方法，并基于用户列表的共享技术、语音混合和多画面合成模块对视频会议的透明级联进行了系统的设计。应用本文提出的透明级联方法，一个级联会议中各MCU设备对管理员是透明的，所有参与级联会议的用户没有层级之分，管理员就像在管理一个非级联会议。而各MCU之间的音视频处理和切换逻辑由各MCU自动协商来完成。
3、本文在MCU上具体实现了视频会议透明级联的功能，并且对级联会议系统的性能和兼容性进行了测试和改进，与国外的MCU设备实现了会议的透明级联，为视频会议透明级联的标准化做好了技术上的准备。
本文内容安排如下：
第一章绪论介绍了视频会议的发展状况以及视频会议透明级联在视频会议系统中的应用意义与实现方式。并简要地介绍本文的研究意义和主要工作。
第二章介绍了本文所涉及的H.324标准和相关协议。
第三章具体介绍了视频会议的分类，MCU使用的关键技术、应具有的功能和工作原理，介绍了已实现的MCU及其控制台的系统设计和实现过程。
第四章首先分析了视频会议级联的必要性，然后重点介绍了多级透明级联会议下，音视频的处理和转发策略，用户列表信息的共享技术，对会议的多级透明级联进行了系统上的详细设计。
第五章介绍了视频会议多级透明级联的具体实现，包括对语音的混合，视频流的多画面合成，以及会议成员列表等级联控制信息在上下级MCU之间的协商与交互，并对已实现的多级透明级联会议系统进行了严格的性能测试与改进，并完成了与国外MCU的兼容性测试。
第六章总结了本论文的主要研究工作，指出了进一步研究方向和需要完善的工作。
最后是致谢和参考文献。
1．1视频会议系统概述
近年来，随着通信技术综合化、数字化、智能化和个人化的发展，以及计算
机网络技术的日益成熟，在网络平台上实现语音、数据和图像等多种业务已经成
为通信行业发展的目标和必然趋势。而随着覆盖全球的 Internet 的快速发展，以及多媒体信息处理能力的不断增强，视频会议系统得到越来越广泛的应用，它对于召开重要的会议，及时做出重要决策，发布重要消息和提高工作效率等有着重要的价值和意义。
1.1.1 视频会议系统的概念
视频会议（Video Conference）亦称会议电视，是一种使用专门的视频设备实现电子会议的一种模式，是利用计算机技术和通信设备通过传输信道在两点或多个地点之间建立可视多媒体通信，实现图像、语音及数据交流的一种会议形式。它是通过网络在两点或多点之间交互传输视频、音频和数据来实现远距离用户“面对面”的沟通与信息共享。
参与会议的每个会议成员对应一个会场，每个会场放置一台视频会议终端。视频会议终端负责对会场内的声音和图像进行采集并进行相关的编码处理，传输给对方的终端或者视频会议中心的多点控制单元（Multipoint Control Unit， MCU）[1]，同时接收对方的音视频数据，解码后显示异地会场的图像，并且播放相关的声音。
进行多个会场同时参与的会议，需要在网络结点处放置一台处理多点连接和媒体流的MCU设备。参与会议的所有会场都与MCU建立连接，每个会场的声音和图像都传输到MCU，MCU根据当前会议的状态，对相应的图像和声音进行合成和处理，然后发送给参与会议的每个会场。因此，MCU是多会场视频会议的核心设备，它负责管理和维护每一个分会场的信息。当参与视频会议的分会场增加，一个MCU无法同时处理所有会场的同时接入时，可将多个MCU进行级联来完成视频会议的扩展，各级MCU之间相互协调来保证整个会议的正常运行。
1.1.2 视频会议系统的发展
国外对视频会议的研究和开发要早于中国，第一代视频会议产品的可视电话是由美国贝尔实验室研制出来。1964年，美国的贝尔实验室在纽约国际博览会上展出了世界上最早的可视电话机Picture phone MOD-1。这个系统在一个带宽为 300-3400Hz的模拟话路上传输黑白静止硬拷贝图像，其图像和话音采用分时传送方式。随后，美国 BT 公司研制出 1MHz 带宽的黑白会议电视系统，提供静止和活动的点对点会议电视业务。到了 70 年代初，经过改进后的 Picture phone MOD-2 在匹兹堡和芝加哥之间开始了商业业务。后来，出现了各种改进的其他会议电视系统，但由于带宽要求大，而实用性不强。从总体看，70年代视频会议系统的发展处于相对平静的时期，但视频会议系统的研究工作一直在继续。
进入80年代中期，通信科技发展迅猛，编码和信息压缩技术的发展，使得视频会议设备的实用性大为提高。但此时的视频会议系统由于价格和技术的因素，仍只限于高档的会议室视频会议系统的应用，从而限制了视频会议系统的进一步普及。
视频会议系统真正实用化是以90年代初ITU－T建立的H.320标准为标志，不同品牌的产品之间的兼容性问题得到解决。配合H.261[2,3]视频压缩集成电路技术的开发，视频会议系统出现了朝小型化发展的趋势。在1992-1995年期间，中小型视频会议系统成为视频会议应用中的主要产品。视频会议系统在90年代中期的另一个发展趋势为桌上型产品开始成熟。自从30年前，AT&T展示了原始的可视电话以来，设计和建立视频会议系统已成为人们关注的热点。如今，随着半导体、软件技术的飞速发展，各种专用芯片、高速DSP芯片的出现以及相关视频会议标准的制定，使得视频会议系统已触手可及。1996年ITU组织通过的H.324建议，其全称为低码率多媒体通信终端。因此ITU从1993年开始着手制定一套新的标准H.324,它和旧标准的关系如下: @@I1;表0@@ 在各国专家的努力下,这个新标准将于1997年5～7月正式通过。H.324系列是一个低位速率多媒体通信终端标准，H.324标准使用 H.263：电视图像编码标准，压缩后的速率为20 kb/s。 G.723.1：声音编码标准，压缩后的速率为5.3 kb/s(用于声音＋数据)或者6.3 kb/s。 H.223： 低位速率多媒体通信的多路复合协议。 H.245：多媒体通信终端之间的控制协议。 T120：实时数据会议标准(可视电话应用中不一定是必须的)。
国内会议电视设备的研制开始于80年代。80年代末期，浙江大学、北京邮电大学、电子部三所、北京大学均开始了64Kbit/s （或128Kbit/s）的会议电视编解码器（CODEC）的研制。随着H.261建议的批准，上述单位转而按照H.261建议进行CODEC的开发。1994年，邮电部建设了由北京连通30个省市中心的全国会议骨干网，1994年12月28日浙江省邮电管理局宣布全省11个地点的会议电视网建成，并与北京国家电视网级联。虽然，中国会议电视系统发展迅速，但是由于起步晚，多年来我国的会议电视市场仍是洋货一统天下的局面，仅美国CLI和英国GPT公司就占据了国内市场份额的85%以上。我国科研部门和通讯厂商不甘落后，积极开发适合我国国情的，具有自己知识产权的会议电视系统。目前，已有不少国产会议电视系统出台，如华为、中兴公司以及东北大学、北方交大、西安邮电学院等都开发了基于H.320标准或H.323标准的视频会议系统，在应用中能做到与国外同类产品互相兼容。
近几年来，随着国内外大型网络运营商对网络环境的建设和改造，视频会议系统的使用环境也变得越来越好。尤其是美国“9.11” 事件和SARS疫情后，人们更加认识到视频会议产品的重要性，使得全球视频会议产品的销售量快速增长。同时，视频厂商之间的竞争也更为激烈，除了压低成本和降低价格外，各大厂商纷纷加大科研力量，来提高视频图像质量，减少传输带宽，增加系统功能，提高系统稳定性等，从而也进一步加快了视频会议产品的普及。
1.2 视频会议的级联
1.2.1 视频会议级联的概念
视频会议级联是指多个MCU设备通过一定方式连接起来，协同工作，构成一个逻辑上的大容量MCU，共同完成一个视频会议的一种技术。级联中的每个MCU都可以连接一定数量的终端，所有MCU的终端通过在MCU之间进行音视频数据和控制信令的交换，实现对与会者的音视频的传输、合成和切换。每个MCU对应一个逻辑上的子会议，所有子会议共同组成一个大的逻辑上的级联会议。整个级联会议只有一个主席，同时最多只有一个发言听众，主席和发言听众具体在哪个子会议下面根据会议的实际情况指定。
1.2.2 视频会议级联的意义
随着网络环境的不断提升以及用户需求量的不断增大，近年来视频会议的规模越来越大。参与同一个会议的用户数由最初的8点、16点不断提高到32点、64点甚至更高。从参与会议的用户所处的地理位置看，同一个会议所覆盖的地域范围也不断扩大，由原来的一个企业单位的一个办公楼，到一个城市的所有子单位，现在某个系统的全省的所有下属单位共同参与同一个会议的需求已经被提了出来，而且这种全省范围内的大型会议已经被安装并且在使用中。参与同一个会议的用户数的不断增加，无疑增加了MCU设备的负荷，单台MCU的处理能力以及MCU所处的网络节点的网络吞吐量毕竟有限。现在多数MCU厂家可以生产支持用户数为32点的MCU，一旦参与会议的用户数超过MCU的处理能力，视频会议的音视频效果将急剧下降，导致会议无法正常召开。
要解决这一问题，只有将多台不同区域的MCU级联起来，每个MCU负责它所处区域的那一部分用户的接入和音视频处理，组织一个子会议，不同区域的MCU通过建立彼此之间的连接，相互协调，把各子会议按照一定的层次关系组成一个大型的级联会议，从而共同对所有与会者及其音视频数据进行统一的处理和调度。级联会议只是一个逻辑上的会议，各个参与会议的用户物理上还是分别就近连接在本地的MCU设备上。但级联会议大大增加了会议的规模，理论上讲，随着参与级联的MCU的不断增加，级联会议允许接入的用户数可以无限增大。但实际召开级联会议的时候，考虑到音视频数据在多级MCU之间经过多次的编解码处理和网络传输，会造成一定的时延，影响会议的实际效果，所以现实中，对级联会议的级数多有一定的限制。
1.2.3 视频会议的级联方式
视频会议的级联主要是通过在MCU之间建立一个遵从H.323标准的连接来实现的。在这个连接中包括音频的逻辑发送、接收信道，视频主流的逻辑发送、接收信道，视频附流的逻辑发送、接收信道，远端摄像机控制信令的逻辑发送、接收信道以及用于传输级联控制信息的双向级联控制信道。级联会议中MCU之间的所有信息交换都是通过这个连接来完成的。
会议的级联按照级联的级数分可以分为两级级联和多级级联。参与两级级联的MCU有主从之分，其中有一个主MCU，一个或者多个从MCU，所有从MCU都与主MCU建立连接，每个从MCU组织一个子会议，把参与子会议的用户的音视频数据按照当前级联会议的状态进行预处理，然后送到主MCU，由主MCU进行统一调度。两级级联是中型会议大多采用的级联方式，其结构图如图1.1。
图1.1 两级级联结构图
多级级联是对两级级联的扩展，即通过在两级级联中的从MCU上连接一个或者多个MCU，构成三级级联会议。依次类推，根据与会者的数量和会议的规模可以实现四级、五级等多级级联会议。最顶级的MCU称为一级MCU，与一级MCU直接建立连接的MCU称为二级MCU，与二级MCU直接建立连接的MCU称为三级MCU，依次类推分别有四级、五级MCU等，其结构图如图1.2所示。
图1.2 多级级联结构图
按级联的网络拓扑结构可以分为星型树结构的级联会议和全互联结构的级联会议。图1.1和图1.2所示的为星型树结构的级联会议。而全互联结构的级联会议要求参与级联的所有MCU彼此之间都建立一个连接，图1.3示出五台MCU组成全互联的级联会议结构图。
图1.3 全互联级联结构图
全互联的网络结构增加了MCU之间传输音视频数据的传输线路的选择，各MCU根据当前的会议模式，相互协商选择最近的线路，以最小的时延把音视频数据传输给对方，而不需要象在星型树结构的级联会议里那样，各下级MCU首先把数据传输给上级MCU，由顶级MCU进行统一处理和调度，从而避免了音视频数据的不必要的多次转发，降低了通话时延。不过，在全互联情况下，五台MCU就需要10条MCU之间的传输线路。如果参与级联的MCU有N台，所需线路将达到N×(N－1)/2条。显而易见，这种方式的线路维护比较复杂，只有在涉及地理范围不大，设备比较少的情况下才有可能使用。实际应用中，级联会议多采用星型树的网络结构，这种结构便于集中控制，易于维护。必须指出，在这种结构中，一级MCU必须具有极高的可靠性，因为一级MCU一旦损坏，整个级联会议系统便趋于瘫痪。因此，一级MCU通常采用双机热备份，以提高系统的可靠性。
按级联会议的管理方式可以分为非透明级联和透明级联。所谓非透明级联是指参与级联的每个MCU设备对会议管理员来说是可见的，管理员需要对每个MCU所对应的子会议分别进行会议参数的设置，会议成员列表的维护以及会议模板的载入。各MCU之间的连接由管理员手动建立，每个MCU所组织的子会议都有自己的主席和发言听众。各MCU之间的配合和音视频流的切换由管理员通过指定每个子会议的主席和发言听众来实现。由于国内外MCU厂家最初设计的时候大多没有考虑到会议的级联，所以目前级联会议多是采用这种管理员手动控制、分别管理的模式来实现的非透明级联。这种级联模式用于只有两个MCU参与的级联会议中，勉强可以被用户接受，而对于多台MCU参与的二级级联或者多级级联，管理员的工作量急剧增加，各子会议的主席、发言听众的指定操作足以让管理员晕头转向，理不清音视频的转发逻辑。而本文提出的透明级联方法正是为了解决这一问题。所谓透明级联是指参与级联的下级MCU对会议管理员来说是透明的，管理员所感觉到的只是一个大容量MCU，是由多个物理MCU设备构成的逻辑上的MCU。管理员可以对参与会议的每个用户进行统一调度，不论这个用户属于哪个子会议。整个级联会议只有一个主席，最多只有一个发言听众。而主席和发言听众的音视频流的转发逻辑由各MCU之间自动协商，无需管理员进行组织。视频会议的透明级联大大简化了会议调度的复杂度，方便了管理员对会议的控制。
1.3 论文的主要工作及内容
作者多年来一直负责的主要项目是基于H.324标准的视频会议系统MCU（多点控制单元）产品的研究和开发，目前该产品已经是较为成熟的产品，在国内数十家企事业单位和政府机构进行了安装，并且正在使用。多年来随着网络状况的不断改善和一些单位的业务需求不断的增加，参与同一个会议的用户数成倍增长，视频会议的规模越来越大。大量用户的同时接入已经超过了单台MCU设备的处理能力和MCU设备所在网络节点的网络吞吐能力，为了在扩大会议规模的同时保证视频会议的正常运行，多台MCU之间的级联被广泛应用在实际的工程中。
作者了解到，目前国内的MCU产品还没有一款能真正做到支持MCU的多级透明级联，大多是由管理员同时管理多台MCU，由管理员协调各MCU之间的关系，来实现简单的级联功能，这种对每个MCU分别管理的方式调度极其复杂，实用性差，无法得到推广。国外的同类产品也只有极个别厂家按照自己的方式实现了对参与级联的多个MCU进行简单的统一调度，远远不能满足用户对级联会议的操作要求。而目前关于级联会议的组织管理和会议调度还没有制定统一的相关标准，那些实现简单级联功能的不同厂家的MCU设备之间也无法做到相互兼容。作者通过接触和研究多个国内外厂家的MCU产品，并总结多年来对自己MCU设备的不断完善和升级的经验，提出了实现多级透明级联会议的一种方法。这种级联方式虽然实现起来比较复杂，要求设计和开发人员有较高的逻辑协调能力和严谨的逻辑分析能力，但通过这种方式实现的多级透明级联会议大大简化了大型会议的调度复杂性，降低了会议组织和调度的工作量，保证了大型会议的正常运行，为视频会议的进一步普及提供了技术保证。
本文的重点就是详细介绍视频会议透明级联的工作原理，系统的设计了透明级联会议中音视频的转发逻辑，通过用户列表共享技术实现对参与级联会议的用户进行透明的管理。然后基于自己成熟的MCU产品具体实现了透明级联的功能，并对视频会议的多级透明级联系统进行仔细的测试和完善，和国外知名的视频会议设备厂家RADVISION的MCU产品ViaIP4.0实现了兼容性测试，为透明级联会议的标准化做好了充分准备。
本文中作者的主要工作是：
1、深入研究多媒体通信标准H.324及其相关协议，具体介绍了已实现的MCU及其控制台的框架结构、关键技术、工作原理和具体实现过程。
2、本文重点研究了多级级联会议中音视频数据的处理和切换逻辑，包括多路语音混合和多画面合成在级联会议中的处理方法，在研究现有MCU级联方法的基础上，提出了视频会议透明级联的方法，并基于用户列表的共享技术、语音混合和多画面合成模块对视频会议的透明级联进行了系统的设计。应用本文提出的透明级联方法，一个级联会议中各MCU设备对管理员是透明的，所有参与级联会议的用户没有层级之分，管理员就像在管理一个非级联会议。而各MCU之间的音视频处理和切换逻辑由各MCU自动协商来完成。
3、本文在MCU上具体实现了视频会议透明级联的功能，并且对级联会议系统的性能和兼容性进行了测试和改进，与国外的MCU设备实现了会议的透明级联，为视频会议透明级联的标准化做好了技术上的准备。
本文内容安排如下：
第一章绪论介绍了视频会议的发展状况以及视频会议透明级联在视频会议系统中的应用意义与实现方式。并简要地介绍本文的研究意义和主要工作。
第二章介绍了本文所涉及的H.324标准和相关协议。
第三章具体介绍了视频会议的分类，MCU使用的关键技术、应具有的功能和工作原理，介绍了已实现的MCU及其控制台的系统设计和实现过程。
第四章首先分析了视频会议级联的必要性，然后重点介绍了多级透明级联会议下，音视频的处理和转发策略，用户列表信息的共享技术，对会议的多级透明级联进行了系统上的详细设计。
第五章介绍了视频会议多级透明级联的具体实现，包括对语音的混合，视频流的多画面合成，以及会议成员列表等级联控制信息在上下级MCU之间的协商与交互，并对已实现的多级透明级联会议系统进行了严格的性能测试与改进，并完成了与国外MCU的兼容性测试。
第六章总结了本论文的主要研究工作，指出了进一步研究方向和需要完善的工作。
最后是致谢和参考文献。
<< 返回首页
蜗牛星空下的那片海 Copyright 2008-2024 奋进的那十六年，版权所有 违者不究