网络WebCache系统建设方案探究

时间:2019-09-27

 

　　0 引言
　　
　　国家制定的“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，这对移动互联网既是机遇，也是挑战。随着移动数据业务的快速发展，中国移动通过建设互联网WebCache系统，引导网内用户的访问请求转发到缓存系统中，由缓存系统为用户提供所需的互联网访问数据，避免直接从互联网源站下载数据，从而有效规避网络链路的拥塞问题，降低中国移动用户访问互联网内容的时延，提升用户的数据业务体验。
　　
　　随着不同形态的终端的快速发展，加上用户对高清视频点播、即摄即传等新型需求的增加，对现网的互联网出口带宽带来不小的挑战。本文对WebCache系统功能作了简单介绍，结合不同的业务场景及现网实际情况，提出了合适的WebCache建设方案，为有效规避网络链路拥塞、提升用户体验奠定了基础。
　　
　　1 系统功能
　　
　　WebCache系统对Web浏览、文件下载、视频播放等基于HTTP的互联网业务进行加速，系统对于本地存储的文件格式、音视频及文件编码方式均没有特定要求，各类互联网音频、视频、图像、文本等文件均可通过系统实现缓存和加速服务。WebCache系统主要由重定向子系统、缓存子系统和管理子系统3部分组成。其逻辑结构如图1所示。
　　
　　重定向子系统包括报文解析功能模块和请求调度功能模块。报文解析功能模块通过Layer3/4/7层的数据报文分析能力，实现对链路中互联网访问数据流量的精确识别与解析；请求调度功能模块处理接收到的用户请求报文，根据系统状态、策略配置及资源分布情况，生成对应的响应消息，将用户访问请求引导至本地的缓存系统。
　　
　　缓存子系统包括负载均衡功能模块和缓存服务功能模块。负载均衡功能模块对用户请求和互联网流量进行管理分配，支持多种负载均衡算法，能够将请求和数据流有效分发至不同的缓存服务设备，使得WebCache系统可以通过集群机制支持较高的用户规模；缓存服务功能模块依据配置的缓存策略存储互联网内容，响应用户至外网的访问请求。
　　
　　管理子系统主要提供网络管理功能和系统管理功能，实现WebCache系统中各功能实体的性能监测和参数配置等功能。
　　
　　2 建设策略
　　
　　WebCache系统必须支持DNS重定向模式、HTTP重定向模式或策略路由引导模式，并可同时支持DNS重定向和HTTP重定向模式。在实际部署中需根据业务场景需求，结合实际网络条件选择使用。在面向互联网网站、Web小文件场景进行缓存加速时，建议WebCache系统优先采用DNS重定向模式。策略路由引导模式应面向城域网出口部署的WebCache系统中使用，主要面向小文件及网站对象的缓存加速。对于省网及一级WebCache系统，考虑到策略管理复杂度及网络可靠性，建议谨慎使用。
　　
　　WebCache系统协同的总体原则是在保障用户服务质量的前提下，支持与内容资源管理平台之间以及Cache系统之间的交互，尽可能共享网内已缓存的互联网静态内容及系统资源，实现流量本地化、本网化，降低跨网流量。一级WebCache系统和二级WebCache系统之间为松散耦合关系，各级别WebCache节点可独立面向所辖范围的用户提供缓存服务，也可相互协同配置实现资源与流量的优化管理。在此原则下，WebCache系统要求支持的流量调度策略建议满足如下要求。
　　
　　a）对于一级节点已配置为加速白名单的站点，二级节点可不缓存，此时将直接使用一级节点的缓存内容。
　　
　　b）在内容被多级缓存情况下，优先由下级节点响应用户请求，就近为用户提供对应的文件数据。
　　
　　c）下级节点应支持将上级节点作为回源节点，在本地缓存未命中的情况下，下级节点可以通过上一级节点缓存子系统进行回源获取数据。
　　
　　d）一级节点应尽可能覆盖多个二级节点缓存的共性热点内容，降低二级节点回源流量。
　　
　　e）下级节点可支持面向特定资源的跨域调度策略，将对特定资源的访问调度到对应的上一级节点。
　　
　　同级WebCache系统应优先根据本节点所监控链路的访问流量情况存储热点内容，同级节点可根据用户访问模型关系，缓存差异化的互联网内容，节点之间形成资源互补关系，有效提升整体缓存能力。
　　
　　a）可通过配置，重用其他WebCache节点的缓存内容实现数据回源下载，相同内容一次出网，尽量降低出网流量。WebCache在回源之前，可向其他Cache节点进行查询，如其他Cache系统中存在有效内容，此时Cache系统可以向该节点请求下载内容。
　　
　　b）对于差异化资源，同级节点之间可实现协同调度，对于本节点未提供缓存服务、但其他节点提供服务的访问请求，可将该请求调度到对应的WebCache节点，即用户可以跨域访问其他节点。
　　
　　c）在WebCache系统故障、退服、服务能力达到上限等场景下，也可以支持同级节点之间的协同调度，不影响用户访问体验。
　　
　　WebCache系统支持与其他流量疏导方式的协同，包括IDC资源、省级第三方出口、BGP对等互联等，通过协同提升互联网业务质量，同时兼顾网络建设运营成本，实现降本增效。
　　
　　a）支持通过域名解析方式，根据解析结果是否属于对应的中国移动IP地址段进行判定。对于本省IDC引入互联网资源，省级WebCache系统节点应作为黑名单配置，不进行缓存。一级节点可以不配置黑名单，在网间互联出口将源网站调度漏掉的流量尽可能留在网内。
　　
　　b）对于判定为网内其他省份IDC引入的互联网内容，要求省级WebCache系统默认不缓存。也可根据服务质量监测数据，对于访问质量差的IDC引入内容开启缓存，实现按需缓存，从而提升互联网业务感知。
　　
　　c）对于通过第三方链路疏导的流量，应尽可能纳入WebCache系统的监测范围，重用系统的缓存内容，实现已有缓存内容不通过第三方链路疏导。
　　
　　d）对于实现BGP对等直联、租用CDN方式的互联网资源，应当通过黑名单配置等方式，避免在Web
　　
　　Cache系统中进行缓存，而直接通过对等链路进行流量疏导。
　　
　　3 部署方式
　　
　　省级WebCache系统部署于CMNET省网内部，面向特定范围（如省、地（市））的用户提供加速服务。根据用户和流量规模，省级WebCache系统可以采用集中式部署和分布式部署2种模式。具体位置可以是省网出口链路、第三方出口链路或城域网内部。
　　
　　3.1 集中式部署模式
　　
　　WebCache系统采用单点方式部署，通常部署在省网内的核心机房或IDC中，监控省网至CMNET骨干网的出口链路，所有满足要求的用户请求均通过该节点提供服务。
　　
　　对于省内的第三方互联链路，也可根据省内实际需求纳入流量监控范围，缓存第三方链路中的热点内容。
　　
　　集中部署模式下，也可以同时部署多套WebCache系统对链路进行监测，此时不同WebCache系统之间需明确分工，如分别面向不同类型的业务或者网站提供服务，或者面向不同用户群体提供服务。组网结构如图2所示。
　　
　　集中部署模式下，WebCache系统应通过专用链路汇聚后直接接入CMNET省网核心路由器。
　　
　　3.2 分布式部署模式
　　
　　WebCache系统部署在省内不同地域的多个机房或IDC中，通常监测城域网的上联链路，按照区域划分，就近为本地用户提供加速服务。分布式部署模式下，WebCache系统应通过专用链路直接接入城域网核心路由器。具体组网结构如图3所示。在建设时建议根据省内网络条件、用户分布、流量特征等因素需求综合评估。
　　
　　4 结束语
　　
　　通过合适的WebCache建设方案，能有效规避网络链路拥塞，以促进公司全业务运营的不断深入，促进互联网宽带业务的迅速发展，进一步提升用户上网速度、访问感知度以及降低出口带宽。
　　
　　参考文献：
　　
　　[1] WEI KOONG CHAI,HE DILIANG,IOANNIS PSARAS,et al. Cache“less for more”in information-centric networks（extended version）[J]. Computer Communications,2013,36（7）：758-770.
　　
　　[2] ZHANG Y,ZHOU X,LIU Y,et al. A novel cooperative caching algo rithm for massive P2P caches[J]. Peer-to-Peer Networking and Applications,2013,6（4）：425-433.

 

 

TAG标签： WebCache  方  网络  

上一篇：中间件测试中LoadRunner的应用
下一篇：济宁广电远程用户拨号认证系统的问题及改进措