内容网络基础(CDN)

 
  • 0 阅读
本文最后更新于

内容分发网络技术基础

CDN技术及应用介绍

全球移动运营商大多面临网内资源匮乏，网间结算费用高的问题。建设IDC，引入部分CP厂家，建设CDN和Cache系统都是解决问题的思路。

  • IDC是基础，是承载CP内容的关键基础设施。
  • CDN可以解决签约CP的缓存与分发。
  • Cache基于对管道内容的智能分析，采用被动缓存的方式，自动将管道的热点进行存储并加速，是一种广谱缓存技术，可以解决未签约CP的缓存与分发。

1.1 什么是IDC

互联网数据中心（Internet Data Center）简称IDC，是电信部门利用已有的互联网通信线路、带宽资源，建立标准化的电信专业级机房环境，为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。

四大焦点：可靠、灵活、绿色、资源利用率

1.2 什么是Cache

Cache通常是面向电信级运营商和宽带运营商而提供的流量缓存加速解决方案。

价值

  • 为国内运营商节省网间结算费用，为终端用户带来更加的上网体验。
  • 降低网间结算
  • 提升用户体验

1.3 什么是CDN

CDN全程是Content Delivery Network，即内容分发网络。基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的平静和环节，是内容传输的更快、更稳定。

4个要件：分布式存储、负载均衡、网络请求的重定向、内容管理。

应用场景：

  • IP Video视频
  • 互联网流媒体
  • web网页加速
  • 文件下载
  • 应用加速

2.1 IDC、CDN和Cache应用的区别与联系

2.2 CDN与Cache区别

  • CDN负责计划好的可管理内容
  • CDN负责可DNS调度的内容
  • Cache还需要负责计划外的不可管理内容
  • Cache还需要负责DNS不可调度的内容
  • Cache负责P2P业务缓存加速

CDN就是可以调度的Cache，Cache需要和CDN长期共存。

3 CDN关键技术

  • 内容路由技术
  • 内容分发技术
  • 内容缓存技术
  • 内容管理技术
  • 其他技术-动态内容加速
  • 其他技术-HTTPS加速

视频业务基础

1.1 视频技术概述

将一系列静态影响以电信号的方式加以捕捉、记录、处理、存储、传达与重现的各种技术。

1.2 视频属性介绍

画面帧率

每秒钟播放的静态画面数量

  • PAL与SECAM规定25帧
  • NTSC规定29.97帧
  • 电影胶卷是24帧

视频扫描传输

逐行扫描P、隔行扫描i

视频分辨率

指视频的画面大小比如分辨率1920x1080，以像素为度量单位，如2百万像素，有时也用水平扫描线数量为度量单位比如高清720P。

显示器的点距是高分辨率的基础之一，一般为0.28，0.26，0.25。

分辨率是度量位图图像内数据量多少的一个参数。通常表示成每英寸像素（Pixel per inch, PPI）和每英寸点（Dot per inch, DPI）。ppi和dpi经常出现混用现象。从技术角度说，“像素”（P）只存在与计算机显示领域，而“点”（d）只出现于打印或印刷领域。

视频长宽比例

传统电视4：3，主流电视屏幕为16：9

视频色彩空间

RGB色彩模式是工业的一种颜色标准，代表红绿蓝三个通道的颜色，电脑中256级的RGB色彩（也称为24位色，2的24次方）总共能组合出1678万中色彩，即256x256x256=116777216

YUV是欧洲电视系统采用的颜色编码方法。Y表示亮度即灰阶值，U和V表示色度，描述影响色彩及饱和度，用于指定像素的颜色。有点是占用极少的频宽。

视频编码协议

ITU-T指定的标准有H.261、H.263、H.263+等。

ISO制定的标准有MPGE-1、MPGE-2、MPGE-4等。

H.264是MPGE-4的一部分。

视频编码的可行性

空间冗余：同一帧图像中相邻像素间的相似性

时间冗余：时间相邻的视频图像有相关性

符号冗余：不同的信号出现的概率不同，若用相同的比特数来表示，则会存在冗余

结构冗余：图像中有很强的纹理结构

视觉冗余：相对于人眼的视觉特性而言

三种主要编码帧

基本流由一组连续的GOP组成，GOP由一组连续的图片组成，每一张图片根据图片的编码方式分为I帧、B帧、P帧。

GOP（Group of Pictures）由一串I帧、B帧、P帧组成。

I帧（intra frame），帧内编码帧，关键帧，帧内压缩编码，无需参考其他帧可单独解码成一张的完整图片。通常是每一个GOP的第一帧，作为随机访问的参考点。压缩率低，对其他帧无依赖。

P帧（Predictive frame），钱箱预测编码帧，需要参考其前面的一个I帧或者P帧来生成一张完整的图片。通压缩率次之。

B帧（bi-directional interpolated prediction frame），双向预测内插编码帧，要参考其前一个I或P帧及其后面的一个P帧来生成一张完整的图片。B帧同时利用了空间相关性和时间相关性进行压缩。压缩率最高，对其他帧有较强依赖。

视频码率

每秒所传送的位元数量，单位为bps、Mps。一般分为CBR（Constant Bitrate）固定编码和VBR（Variable Bitrate）可变编码。

1.3 流媒体技术介绍

方案：下载、流式传输。

2.1 视频业务的起源

模拟-数字-标清-高清-4k-8k

  • IPTV
  • OTT

2.2 视频业务的典型业务

  • 直播
  • 网络时移
  • 本地时移
  • 模拟直播
  • 画中画
  • 多画面
  • 点播
  • 录播
  • 下载
  • 网络个人视频录制
  • 多字幕多音轨
  • 父母控制和多用户

3.1 IPTV的流媒体协议

RTP（Real-time Transport Protocol），实时网络传输协议

RTSP（Real Time Steaming Protocol），实时流传输协议

RTCP（Real-time Transport Control Protocol），实时传输控制协议

3.2 OTT的流媒体协议

Apple：HLS（HTTP Live Streaming）

Microsoft：HSS（HTTP Smooth Streaming）

Adobe：HDS（HTTP Dynamic Streaming）

MPEG：MPEG_DASH（Dynamic Adaptive Straming over HTTP）

HLS文件组织形式

3部分：Index file（主索引文件）、Alternate Index file（码率索引文件）、ts（媒体文件）。

3.3 IP网络传输技术组播和单播

组播的优势、应用、劣势。

视频质量评分

  • vMOS（Video Mean Potion Score）
  • U-vMOS

U-vMOS=f(sQuality, sInteraction, sView)，视频质量，互动体验，观看体验

负载均衡技术

1.1 概述

服务器负载均衡器是指设置在一组功能相同或相似的服务器前端，对到达服务器组的流量进行合理分发，并在其中某一台服务器故障时，能够访问请求转移到其他可以正常工作的服务器的软件或者网络设备。

服务器负载均衡器简称SLB（Server Load Balancing），又可分为局域网服务器负载均衡和广域网服务器负载均衡（Global Server Load Balancing）。

1.2 负载均衡的优点

  • 高性能
  • 可扩展性
  • 高可靠性
  • 可管理性
  • 透明性

1.3 常见负载均衡方式

  • 基于DNS轮询的方法
  • 基于应用软件
  • 基于七层服务器负载均衡
  • 基于四层服务器负载均衡

四层负载均衡方式

支持ipv4和ipv6，对报文进行逐流分发。支持NAT（Network Address Translation，网络地址转换）和DR（Direct Routing，直接路由）两种方式。

七层负载均衡方式

只支持ipv4，对报文深度解析，包含HTTP协议、RTSP协议等。仅支持NAT方式。

1.4 常见负载均衡器介绍-F5

F5 BIG-IP，融合了软件与硬件功能。

1.5 负载均衡器关键指标

  • 支持的负载均衡算法
  • 支持的服务器健康检查的方法
  • 如何保持客户端和服务器的会话
  • 速度/性能指标
  • 安全性与可靠性
  • 端口数量

2 负载均衡相关概念

listener、Member、wide ip。

  • 虚拟服务器
  • 节点（Node）
  • 地址池（Pool）

一个虚拟服务器对应一个地址池，一个地址池对应多个节点

3 负载均衡算法分类

静态

  • Round Robin（轮询）
  • Ratio（权重）

动态

  • Least Connections（最少连接）
  • Fastest（最快回应）
  • Observed（观察）
  • Predictive（预测）
  • Dynamic Ratio（动态权重）

失效机制

  • Minimum Active Members（最少活动成员）
  • Fallback Host

4 负载均衡方案概述

  • SLB
  • GSLB

GSLB应用于跨地域服务器负载均衡、多站点容灾。对外体现为统一域名提供服务，通过F5作为只能DNS将业务调度到多个真实服务器实现负载均衡。

5.1 健康状态检查

  • 可用性
  • 性能和负载
  • 链路状态
  • 服务状态

5.2 健康检查规则分类

健康检查类型 优势 弱点
简单健康检查 只需要检查节点状态为up/down使工作良好  
主动健康检查 可以检测特定业务
没有业务时也可以工作		 产生额外的网络负担
发现down状态有延时
被动健康检查 不产生额外网络负担
有业务时能快速检测down状态		 不能随心检测制定的响应，必须依赖于业务
发现up状态可能有延迟

内容网络系统架构

1.1 内容网络系统硬件选型介绍

项目 大文件服务器 小文件服务器 重定向服务器 其他服务器（调度、管理等）
采集模型        
CPU型号 intel E5-2620-v2*2 intel E5-2640-v2*2 intel E5-2620-v2*2 intel E5-2620-v2*2
内存配置 8x16GB DDR3 RDIMM(2Rx4)，支持ECC 16x16GB DDR3 RDIMM(2Rx4)，支持ECC 8x8GB DDR3 RDIMM(2Rx4)，支持ECC 8x8GB DDR3 RDIMM(2Rx4)，支持ECC
硬盘配置 系统盘：2x200GB HDD、SAS、6Gb/s、10000rpm
数据盘：12x3TB HDD、SATA、6Gb/s、7200rpm		 系统盘：2x200GB HDD、SAS、6Gb/s、10000rpm
数据盘：12x480GB SSD、SATA、6Gb/s		 系统盘：2x200GB HDD、SAS、6Gb/s、10000rpm 系统盘：2x200GB HDD、SAS、6Gb/s、10000rpm
数据盘：6x900GB HDD、SAS、6Gb/s、10000rpm
RAID配置 系统盘做RAID1
数据盘不做RAID		 系统盘做RAID1
数据盘不做RAID		 系统盘做RAID1
数据盘不做RAID		 系统盘做RAID1
数据盘不做RAID
网络配置 2x10GE(SFP+)；支持802.3ad，支持端口聚合 2x10GE(SFP+)；支持802.3ad，支持端口聚合 10GE(SFP+)；支持802.3ad，支持端口聚合 4xGE(SFP+)；支持802.3ad，支持端口聚合

1.2 RH2288服务器介绍

2U、XeonE5-2600v3、24个DDR4插槽、8个PCle扩展、风扇N+1冗余、电源1+1冗余

2.1 内容网络系统整体架构

  • 内容网络在架构上分为内容管理层、调度分发层、边缘服务层。
  • 内容网络在业务方面分为缓存与CDN两部分。
    • CDN场景主要针对移动自由业务及其他SP业务引入、分发，要求全网统一调度，统一由内容中心提供资源；
    • 缓存场景部署在各省份，统一到溯源中心回源。

2.2 内容网络系统逻辑架构

Cache&CDN

内容管理平台

  • 作为互联网内容的统一展现和分析平台，实现互联网内容视图呈现、资源质量评估、统计分析等功能，一般为第三方系统。

运营调度平台

  • 对内容网络提供统一运营管理与访问调度控制服务，包括内容玩两个全局调度、OMS运营管理等。

溯源中心

  • 负责缓存出网热点内容，并为各省Cache系统提供出网访问的统一回源服务。

内容中心

  • 负责签约ICP的系统对接有UN诶荣注入，并为边缘节点提供内容分发与回源服务。

边缘服务节点

  • 提供内容网络边缘服务节点的功能，并在部分流量规模打或至省会距离远的地市部署物理存储节点。

OTT CDN

CMI：Content Management Interface，内容管理接口

  • 提供配置界面，CMI提供内容管理接口，接收外部内容管理系统的内容分发、维护请求，并向M下发响应的内容管理指令。

MM：Media Manager，媒体管理服务器

  • MM执行CMI下发的内容管理指令，负责CDN内部所有媒体内容管理任务，包含内容分发、内容删除、内容分布调整等。

RRS：Request Routing Server，请求调度服务器

  • RSS负责调度用户请求，将用户的请求调度到合适的HMS/HCS。

HCS：Hybrid Cache Subsystem

  • HCS是网页下载缓存服务器，负责存储网页和文件内容并直接向用户提供服务。HC支持HTTP协议。

HMS：HUAWEI Media Server，华为媒体服务器

  • HMS是流媒体服务器，负责存储媒体内容并直接向用户提供流媒体服务。HMS支持HLS、HSS、HTTP协议。

MC：Management Component，管理组件

  • MC提供设备管理接口，与网管对接实现对DCN设备的统一管理，主要包含：向网管设备管理接口，网管通过MC对CDN进行配置管理（包含POP点管理、设备管理、拓扑关系管理、Mount点管理、发布点管理。拓扑同步、调度策略配置等），获取告警和日志信息。
  • 监控并记录设备健康状态，在分发内容或调度用户请求时，MM或RRS根据设备状态选择健康的HMS/HCS执行任务。

UOA，Uniform Operation & Maintenance Agent，统一操作维护代理

  • UOA是网管的网元接入代理，通过SNMP协议将CDN接入网管实现网元拓扑管理，此后MC才能与网管对接。因此如果没有UOA，CDN系统也无法配置初始业务数据。但UOA与CDN的内容分发等主要功能无关，并不属于CDN，通常只是部署在CDN的中心POP点。而MC属于CDN。

2.3 内容网络系统外部接口

14个。。。

3.1 调度运营中心

  • 负责全网CDN业务的分发调度及运营管理；
  • 集中部署于北京国际信息私有云资源池，包含运营管理、调度控制、日志、报表、负载均衡等组件。
模块 说明
NMS 针对所有内容网络节点。
所有内容网络节点信息同步、设备信息同步、调度信息同步（设备分组、虚拟IP等）拓扑展示。
接收所有网络节点I2000上报的告警并统一展示。
进行内容网络节点全局网管的配置下发。
对接第三方节点。
CDNC 针对所有内容网络节点。
进行内容网络节点的CP信息、域名信息、域名组、全局调度策略、回源策略配置。

对接第三方节点。
Report 针对所有节点。
解析日志报表数据并展示
TIS_GSLB（全局调度）  

3.2 内容中心

负责移动自有业务及其他SP业务引入，为边缘节点提供资源。

3.3 溯源中心

模块 说明
I2000 接收本节点所有设备上报的告警并展示
BMS 本节点业务管理、规则库管理、资源管理、系统管理等一般维护操作。
配置下发给本节点子系统
日志服务器 存本节点HCS上报的日志、话单文件
TIS_Mirror 流量镜像，Cache模式下大文件缓存和加速服务。
TIS_DNS Cache模式下小文件DNS重定向
LBS 负载均衡

3.4 边缘节点

部署于省中心缓存、重定向机房，负责所属省份CDN及缓存业务

内容网络系统业务流程

1.1 DNS Forward 调度机制

1.2 DNS CNAME 调度机制

2.1 DNS CNAME模式业务流程/全局调度流程

  • 资源未命中&未达到热点
  • 资源未命中&已达到热点
  • 资源命中

3.1 DNS Forward 模式业务流程

3.2 流量镜像模式业务流程

内容网络系统组网介绍

1.1 内容网络系统组网设计要求

  • 业务流量性能
  • 可靠性
  • 安全性
  • 可拓展性

1.2 组网可靠性设计

使用负载均衡设备负载分担 四层组网冗余设计
路由冗余动态路由 三层组网冗余设计
“口字型+STP”方案 二层组网冗余设计
双机冗余链路聚合 物理组网冗余设计

1.3 组网安全性设计

  • 物理安全隔离
  • 逻辑安全隔离
  • 管理通道控制
  • 网络设备安全加固

内容网络系统配置操作

1.1 BMS系统介绍

  • 业务管理
  • 规则库管理
  • 鉴权管理
  • 资源管理
  • 系统管理

1.2 业务管理

  • 节点管理
  • 缓存策略配置
  • 控制规则配置
  • 调度策略配置

1.3 资源管理

1.4 系统管理

2.1 CDNC系统介绍

  • 缓存策略管理
  • 调度策略管理
  • CP管理
  • 内容管理
  • 系统管理

。。。这些都不太重要，后面全部省略。。。

© X.Da 2018 RSS