1.2 基础支撑层

1.2.1 技术框架

数据基础设施的基础支撑层主要解决核心资源供给问题，其核心技术主要包括资源供给和资源调度两部分。在资源供给方面，主要构建存储、网络、计算三个资源池，为上层数据治理和交易流通提供资源支撑。在资源调度方面，主要实现资源调度和资源监管两方面的功能，实现核心资源的有效流转和安全运行。基础支撑层的技术框架见图1-2。

1.2.2 资源供给技术

在资源供给方面，主要包括存储、网络和计算三方面。而每一类资源都涉及资源设施和供给技术两个层面，资源设施是资源供给的基础和源泉，供给技术则是资源供给的主要手段。

1.计算技术

计算资源池提供计算能力，主要对CPU和内存等硬件资源进行灵活管理。数据中心中资源供给的主力是大型机、小型机和X86服务器，依托虚拟化等技术，提供充足的计算资源。在计算模式上，云计算已经成为广泛使用的通行方式。

（1）计算硬件

从计算硬件角度看，数据处理的算力主要来自处理器，包括通用处理器和专用处理器两大类。其中，通用处理器主要指CPU、FPGA和存储芯片等，专用处理器主要指GPU、DSP、人工智能芯片等。对于数据基础设施而言，其算力需求主要用于解决数据查询、数据挖掘、数据建模、数据分析等问题，核心在于解决大数据分析应用的人工智能芯片。

由于人工智能算法已经成为大数据应用的核心，人工智能芯片也成为数据基础设施中的核心硬件。从广义上讲，只要能够运行人工智能算法的芯片都叫作人工智能芯片，但通常意义上的人工智能芯片指的是针对人工智能算法做了特殊加速设计的芯片。现阶段，人工智能算法一般以深度学习算法为主，也包括其他机器学习算法。人工智能芯片一般有三种分类方式：按技术架构分类、按功能分类和按应用场景分类。

在人工智能产业的推动下，我国人工智能芯片发展快速，但由于在芯片核心技术领域的不足，国内企业在人工智能芯片方面与国际巨头存在较大差距。由于我国人工智能公司大多属于新创公司，整体在人工智能芯片领域研究渗透率较低，主要集中在ASIC和类脑等领域，如寒武纪主打ASIC芯片、西井科技涉足类脑芯片领域。

（2）计算模式

在计算硬件设施基础上，根据具体场景和算力需求，可采用多种不同的计算模式，包括并行计算、分布式计算、云计算等。这些计算模式对于算力供应也非常重要。

并行计算：并行计算将求解的问题分解成独立命令执行流，每一个命令执行流由不同的处理器同时运算。与普通用户较为贴近的是多处理器技术，其通过一个共享存储器、多个CPU利用多线程技术在同一时间执行不同的任务。另外一个常见的并行计算是多核CPU，每个核心处理器都是完全独立的，并且拥有自己的前端总线和执行集合，可以并行独立地完成分解后的任务。随着并行计算技术的发展，一系列模型被演化出来，包括高性能计算、超级计算等，已经广泛应用于气象预报、石油勘探、基因测序、AI算法等高算力需求场景中。

分布式计算：分布式计算是解决高算力需求的另一个思路，并行计算将大量计算能力迭加在一起，分布式计算则是将计算任务分解，以减少单一计算体的压力，将任务分解到空闲的计算体。相比并行计算，分布式计算更为经济。网格计算是一种较为典型的分布式计算模式，利用互联网将不同区域、不同配置的计算机空闲能力聚集在一起，形成虚拟的超级计算机，完成超大数据量的处理。如美国加州大学伯克利分校的空间科学实验室SETI@home项目就使用了网格计算技术。

云计算：从广义上讲，云计算属于分布式计算的范畴，但现在的云计算已经融合了分布式计算、并行计算、网格计算、效用计算、负载均衡、网络存储等多种技术，形成了一种新的计算和服务模式。云计算主要利用虚拟化等技术，依托专用数据中心的计算、网络和存储等资源，按照按需使用、按需计费的模式提供服务，满足各类计算需求，集各种计算模式之所长。

2.网络技术

随着越来越多的用户接入云端，越来越多的复杂应用通过网络进行访问，越来越多的数据在互联网上传输，网络流量快速攀升。当前大数据中心主要依赖宽带互联网技术，随着5G、卫星互联网等通信技术的快速发展，未来网络架构还会发生巨大变化，网络流量模型、网络性能、网络安全等都会出现本质的变化。

（1）网络设备

网络设备涉及种类较多，典型的有路由器、交换机、网关、网桥、无线接入设备等。网络设备涉及的核心技术有网络处理器、交换芯片、路由协议等，相关技术定制性较强，对企业厂商要求较高。但总体而言，网络设备的核心目的是实现信息交换，对于上层的网络通信协议依赖性较强，因此，网络设备标准的制定往往由ITU、IEEE等国际化组织主导。

（2）网络通信协议

高速以太网和5G移动通信技术是两种可以支撑数据基础设施网络要求的主要技术。目前，高速以太网在数据中心和企业局域网占主导地位。2010年6月17日，IEEE正式批准了IEEE802.3ba标准，这标志着40G/100G以太网的商用之路正式开始。高速以太网技术大幅提高了路由器/交换机处理能力，对流量管理、端口密度、整机容量等作了全新的规划，快速成为云数据中心的主流技术。

近年来，5G通信技术得到快速发展。5G网络的峰值理论传输速度可达20Gbps，合每秒2.5GB，比4G网络的传输速度快10倍以上。举例来说，一部1GB的电影可在4秒之内完成下载。随着5G技术的发展，通过智能终端分享3D电影、游戏以及超高画质（UHD）节目的时代正向我们走来。在未来万物互联的时代，5G以其速度快、稳定性强的优势，成为数据基础设施不可或缺的组成部分。

3.存储技术

数据的增长是没有上限的，传统的磁盘、磁带、阵列等已不能满足大数据量的存储要求，DAS、NAS、SAN等存储技术应运而生。

数据存储的基础是存储介质。传统的存储介质主要包括磁带、磁盘和光盘三种，在此基础上可构成磁带库、磁盘阵列、光盘库三种主要存储设备。在数据基础设施中，这些存储设备通过各种存储技术接入存储资源池中。目前，三种存储介质的应用以磁盘为主，其核心技术主要是存储芯片，包括用于内存的易失性存储技术DRAM和SRAM，以及用于硬盘和闪存的非易失性存储技术ROM和Flash。目前正在研究的还有激光全息存储技术，这是一种利用激光全息摄影原理将图文等信息记录在感光介质上的大容量信息存储技术，它有可能取代磁存储和光学存储技术，成为下一代高容量数据存储技术。

在存储设备之上，主要通过存储技术实现海量数据存储。存储技术主要包括两种：一是DAS（direct-attached storage，直接附加存储），这是最早被采用的存储技术，它把外部的数据存储设备直接挂在服务器内部的总线上，数据存储设备是服务器结构的一部分。但随着需求的不断增大，越来越多的设备添加到网络环境中，导致服务器和存储独立数量较多，资源利用率低下，使得数据共享受到严重的限制。特别是在备份、恢复、扩展、灾备等方面不能满足大数据量的要求。目前大数据中心的应用已经较少涉及这一技术。二是网络存储技术，包括NAS（network attached storage，网络附加存储）和SAN（storage area network，存储区域网络）。其中，NAS主要基于标准网络协议实现数据的传输，实现跨平台的文件共享，支撑NFS（网络文件系统）和CIFS（通用互联网文件系统），是文件级的存储方法，其重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。如今用户主要应用NAS实现文档共享、图片共享、电影共享等。随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。SAN主要通过光纤通道交换机连接存储阵列和服务器主机，形成一个光纤通道存储在网络中，然后再与企业的局域网进行连接。这种技术的最大特性是将网络和设备的通信协议与传输介质隔离开，并在同一个物理连接上传输。高性能的存储系统配合宽带网络使用，大大降低了系统的构建成本和复杂程度。经过十多年的发展，SAN技术已经相当成熟，成为业界的事实标准。

为满足大量云用户的并发访问需求，并保证用户访问的高可靠性，当前云数据中心往往采用分布式存储模式，并依托冗余存储保证可靠性。分布式存储技术将企业所有分散的存储抽象成一个存储池，所有数据分散在多个独立的存储设备上，用户通过网络获取其需要的数据资源。该技术采用可扩展的系统结构，将存储的负荷分配到多个存储介质上，这样有利于减少单个存储介质的压力，提高存储效率，同时冗余功能大大提高了系统的可靠性和可用性。

1.2.3 资源调度技术

资源整合汇聚之后，如何有效实现资源调度和运行管理成为关键，虚拟化技术及相关监管技术是解决该问题的核心，也是数据基础设施不可或缺的关键技术。

1.虚拟化技术

虚拟化技术诞生于20世纪60年代，主要以单个物理硬件系统为基础，创建多个模拟环境或专用资源，是实现硬件资源优化配置的利器。

虚拟化技术主要分为三类：平台虚拟化、资源虚拟化和应用虚拟化。其中，平台虚拟化是指针对服务器、操作系统的虚拟化，主要包括全虚拟化、半虚拟化、硬件辅助虚拟化和操作系统级虚拟化等；资源虚拟化主要指针对各类资源进行的虚拟化，包括服务器的CPU、内存，网络和存储，以及外部资源；应用虚拟化主要针对程序、系统进行仿真、模拟等。虚拟化技术覆盖的范围包括设备、系统、网络、应用等众多领域。

典型的虚拟化技术包括服务器虚拟化、存储虚拟化和网络虚拟化等。服务器虚拟化是虚拟化技术最先应用的领域，主要是将底层物理设备与上层操作系统、平台进行分离的去耦合技术，以实现最佳的资源利用率和最大的灵活性。服务器虚拟化的关键技术包括自动资源配置、灾难备份及恢复、容错技术、高性能存储、即插即用技术等。存储虚拟化是对存储硬件进行抽象，对不同目标服务、功能和介质的存储设备进行统一管理，从而屏蔽系统的复杂性，消除用户对于存储容量不足的担忧。网络虚拟化主要是对整个网络进行统一运筹和管理，建立虚拟、安全的网络，通过构建虚拟交换机、虚拟以太网适配器等建立虚拟交换模式。

2.资源监管技术

在大数据应用环境下，用户所需要的资源很难计量，需依托虚拟调度技术和相应的监控管理技术，实现资源的有效调配和供给。

虚拟调度分为两个层次：一是全局性的调度，主要涉及虚拟、物理之间的负载平衡、资源的合理分配、虚拟机的优化、迁移等内容；二是局部性的调度，主要涉及物理机的CPU、内存、I/O资源的合理分配和调度。考虑到数据基础设施涉及的用户较多，不同用户使用的虚拟资源和进程的差异性较大，资源调度要实现时间短、质量高、经济性且负载均衡等目标，虚拟调度模块需要结合不同的数据应用设定调度规则，实现自动化判断调度优劣，并根据结果不断优化调整调度算法，以提升虚拟调度效率和效果。

由于资源池中的资源始终是有限的，因此，有必要形成一套系统资源监管技术，确保资源被有效使用并及时释放。现有云计算平台可以提供系统资源的自动化监视和事件处理机制。与此同时，数据资源池存储数据的安全保障问题也同样重要。对于企业而言，数据的安全与其生存状况息息相关。对于虚拟化资源池也要提供完善的安全监控方案，建立一体化容灾环境。