云计算关键技术及超融合使用(上)
  

善缘biu 41803人觉得有帮助

{{ttag.title}}
第1章:云计算关键技术和超融合解决方案
课时1:云计算关键技术和超融合解决方案
1、虚拟化概述
(1)虚拟化的几个概念
Guest OS:运行在虚拟机之上的操作系统
Guest Machine:虚拟出来的虚拟机
Hypervisor (Virtual Machine Monitor):虚拟化软件层/虚拟机监控器
Host OS:运行在物理机之上的OS
Host Machine:物理机

(2)Hypervisor架构
TYPE-II(宿主型、高居型):VMM之下还有一层宿主操作系统,Guest OS对硬件资源访问必须经过宿主操作系统,带来额外开销,所有硬件驱动、内存管理、进程调度等由宿主操作系统执行。
——VMware workstation Orade
——VM VirtualBox
计算虚拟化的软件层,通常叫Hypervisor,即虚拟化层,也叫虚拟机监控器(Virtual Machine Monitor,VMM),负责Guest OS所有硬件资源调用。
TYPE-I(裸金属架构):VMM直接运行在裸机上,使用和管理底层硬件资源,Guest OS对硬件资源访问都需通过VMM完成,VMM拥有硬件驱动程序。
——某公司 HCI
——VMware ESXi

2、CPU虚拟化
(1)CPU指令系统
内核态:操作系统访问硬件(物理内存,IO设备等),关键数据结构,运行中断等;
用户态:用户运行应用进程。
最初的X86架构不适用于虚拟化,因为存在17条敏感的非特权指令,这些指令在虚拟化环境中执行时可能会导致系统异常。
(2)全虚拟化(Binary Translation)
工作原理:a、Guest OS指令段在执行前进行整段翻译,将其中的敏感非特权指令替换为Ring0中执行对应特权指令.非特权指令直接执行.
b、特权指令首先被陷入到VMM,VMM通过一系列的模拟操作来实现此特权指令,然后返回给Guest OS,Guest OS从上次被中断的地方继续执行。
优点:Guest OS无需修改,可移植性和兼容性好。
缺点:当负载较大、敏感指令频繁被执行时CPU性能低下。
——VMWare、Hyper-V、KVM-x86(复杂指令集)

(3)半虚拟化(Para-Virtualization)
工作理:
a、在Hypervisor上运行的Guest OS已经集成了与半虚拟化有关的代码,使得Guest OS能够非常好地配合Hypervisor来实现虚拟化。
b、Hypervisor提供Hypercall接口来满足Guest OS的关键内核操作,如内存管理、中断和时间同步等。
优点:性能非常接近物理机。
缺点:不支持未修改的操作系统,兼容性和可移植性差。
——Xen、KVM-PowerPC(简易指令集)

(4)硬件辅助虚拟化
工作原理:
a、引入新的CPU运行模式和新的指令集,使得VMM和Guest OS运行于不同的模式下。
b、Guest OS运行于受控模式,原来的一些敏感指令在受控模式下会全部陷入VMM,由VMM来实现模拟,这样就解决了部分非内核态敏感指令的陷入,而且模式切换时上下文的保存恢复由硬件来完成,这样就大大提高了陷入的效。
主要代表有 Intel的VT-X和AMD的AMD-V;该技术的引入使x86 CPU可以很客易地实现完全虚拟化。所以被几乎所有之前分歧的各大流派所采用。包括KVM-x86,VMWare ESX Server 3,Xen 3.0.

3、内存虚拟化
(1)内存页表
在物理机中,操作系统需要维护内存页表,该页表上记录了应用所使用的虚拟地址到实际内存物理地址的映射。


(2)虚拟内存页表
物理服务器经过虚拟化之后,VMM需要维护有HVA到GPA的内存页表,同时Guest OS也会有自己的系统页表。那么此时从Guest OS下发的内存请求,到物理服务器的硬件这个过程就会消耗大量的性能,甚至会发生故障。


(3)MMU虚拟化
传统MMU(内存管理单元)复杂虚拟地址映射为物理地址。
软件层面的影子页表技术。
硬件层面的EPT(Intel)/RVI(AMD)。

(4)影子页表
影子页表(shadow page table):VMM在宿主机内核中为虚拟机进程维护了一个虚拟机的虚拟地址到宿主机物理地址的页表(将三张页表进行整合),这个页表和虚拟机内核的页表同步更新。

(5)Intel EPT/AMD RVI
利用TLB(translation look-aside buffer) 转换查找缓冲器实现虚拟机虚拟地址到宿主机物理地址“一步到位”的自动映射。

4、IO虚拟化
(1)IO全虚拟化
工作原理:
a、由虚拟机设备驱动发出的I/O请求先通过设备模型转化为物理I/O设备的请求,再通过调用物理设备驱动来完成相应的I/O操作作。
b、反过来,设备驱动将I/O操作结果通过设备模型,返回给虚拟机
的虚拟设备驱动程序。
优点:Guest OS无需修改,可移植性和兼容性好。
缺点:大量的上下文切换时,造成的开销较大。

(2)IO半虚拟化
工作原理:
a、采用I/O环机制,使得Guest 端和Host端可以共享内存,减少了虚拟机与VMM之间的交互。
b、采用事件和回调的机制来实现 Guest与Host VMM之间的通信。这样,在进行中断处理时,就可以直接采用事件和回调机制,无需进行上下文切换,减少了开销。
优点:性能较I/O全虚拟化有了较大的提升。
缺点:存在移梳性问题,导致其使用受限。
比较好的实现就是 vitrio,Linux 2.6.30版本之后就被集成到了Linux 内核横块中。

(3)IO直通或透传
工作理:
a、通过硬件的辅助可以让虚拟机直接访问物理设备,而不需要通过VMM 或被VMM 所截获。
b、通过IOMMU技术来隔离虚拟机对内存资源的访问。
c、通过Intel的VT-d技术对芯片进行改造,提升性能。
优点:性能提升最大,接近于物理主机。
缺点:资源是虚拟机独占的,仅限于物理资源丰富的机器。

(4)软硬件结合的 SR-IOV
工作原理:
a、SR-IOV允许多个虚拟机共享单个I/O设备硬件。
b、Host通过SR-IOV将包括发送、接收队列在内的物资源依据VF数目划分成多个子集。
c、PF驱动将这些资源子集抽象成VF设备,映射给虚拟机使用。
——PF (physical function):包含轻量级的PCle 功能,负责管理SR-IOV设备的特殊驱动,其主要功能是为Guest 提供设备访问功能和全局贡献资源配置的功能。
——VF(virtual function):包含轻量级的PCle 功能。其功能包含三个方面:向虚拟机操作系统提供的接口;数据的发送、接收功能;与PF进行通信,完成全局相关操作。

5、aSV虚拟化性能优化
(1)aSV-虚拟化性能的优化
大页内存支持:虚拟机支持hugepages技术,可以有效提高30%的数据库性能。
NUMA:vCPU访问远地内存需要经过QPI总线才能访问,通过NUMA优化尽可能访问本地内存。
气泡内存:在虚拟机运行时动态地调整它所占用的宿主机内存资源,而不需要关闭虚拟机。
内核同页合并KSM:就将多个相同的内存合并,并将其标记为“写时复制”,优化内存使用,让虚拟机享用到更多内存。

(2)NUMA
当虚拟机使用少量vCPU资源时,尽量将其分配到同一块物理CPU上。
当使用大量vCPU资源时,将其拆分到不同物理CPU上,同时为其分配“Local内存”。

(3)内存气泡
通过内存气泡将较为空闲的虚拟机内存释放给内存使用率较高的虚拟机,从而提升内存利用率。

(4)同页内存合并
KSM(kernel SamePage Merging,内核同页合并),即共享内存或相同页内存合并技术,把相同的内存也合并,减少内存浪费,让屋里主机跑更多的虚拟机。

(5)大页内存
a、“大内存页”有助于Linux系统进行虚拟内存管理。顾名思义,除了标准的4KB大小的页面外,它们还能帮助管理内存中的巨大的页面。使用“大内存页”,最大可以定义1GB的页面大小。
b、在系统启动期间,“大内存页”可以为应用程序预留一部分内存。这部分内存,即被“大内存页”占用的这些存储器永远不会被交换出内存。它会一直保留其中,除非修改了配置。这会极大地提高像Oracle 数据库这样的需要海量内存的应用程序的性能。
c、在虚拟内存管理中,内核维护一个将虚拟内存地址映射到物理地址的表,对于每个页面操作,内核都需要加载相关的映射。如果内存页很小,那么需要加载的页就会很多,导致内核会加载更多的映射表。而这会降低性能。
d、使用“大内存页”,意味着所需要的页变少了。从而大大减少由内核加载的映射表的数量。这提高了内核级别的性能最终有利于应用程序的性能。

(6)故障自动重启
主机根据虚拟机发出的心跳、磁盘IO、网络流量状态,判断虚拟机的Guest系统是否无响应了,持续数分钟后,可认为该虚拟机发生了黑屏或者蓝屏,将该虚拟机执行HA操作,关机并重启。

(7)虚拟化HA
a、实现整体数据中心业务高可用,无需使用昂贵、复杂的传统集群解决方案。
b、最大限度地减少硬件、软件故障造成的业务中断时间。
c、提高整个基础架构范围内的保护力度。

(8)虚拟机热迁移
a、通过热迁移可以实现虚拟机的在线动态迁移,保证业务连续性。
b、零宕机时间:进行计划内硬件维护和升级迁移工作负载。业务不中断。
c、支持带存储的热迁移和跨集群的热迁移。

(9)动态资源调度DRS
设置阈值,在一定的时间内,当(cpu和内存)利用率超出范围后,触发虚机位置调度,实现集群业务负载自动均衡,降低集群内高负载的主机资源利用率。

(10)动态资源扩展DRX
可自动热添加vCPU、vRAM,业务不中断,DRX功能对软件架构无要求,适用于所有应用对应的虚拟机,为某公司独创。

(11)内置WAF
aSV服务器虚拟化内核内置WAF功能:
风险扫描——漏洞检测——Web安全防护——入侵防御

(12)快速备份
a、通过快速的无代理磁盘备份保护您的数据,使用增量备份减少备份所需空间,降低备份成本。
b、无需备份软件和备份服务器,实现增量的备份。
c、快速备份比普通基于快照备份 性能提升60%,且备份完成后,性能无损失。
d、提供手工备份和定时备份功能,保证虚拟机文件的数据安全。
备份及恢复
    提供按周、按天、按小时的自动备份周期,根据实际业务需求灵活配置。
    提供自动清理备份功能,最大限度节省备份存储空间。

(13)CDP持续数据保护
对指定虚拟机开启实时CDP保护,通过IO镜像方式跟踪记录虚拟机IO变更情况,当虚拟机数据丢失或故障时,可使用备份的任意历史时间点进行恢复(RPO≈0,RTO<5min)。数据备份的目标端可以为超融合存储、SAN和NAS存储。

6、aSAN基本概念
(1)aSAN概述
某公司分布式存储(又称为某公司虚拟存储,以下简称Sangfor aSAN)是一款自主开发的分布式存储系统,利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘,实现服务器存储资源的统一整合、管理及调度,最终向上层提供NFS/iSCSI存储接口,供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。

(2)基本概念
IOPS:
每秒钟的IO数,该指标主要用于评价小块IO性能,体现存储系统的IO演示能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值越大说明性能越好。
吞计:
每秒钟的IO吞吐,单位MB/s,该指标主要用于评价大块IO性能,体现存储系统的IO带宽能力,该值越大说明性能越好。
镜像格式:
某公司超融合平台使用qcow2镜像格式作为虚拟机的虚拟磁盘文件。简单而言,虚拟机中看到的一块磁盘,实际在aSAN中是以一个qcow2文件的形式存在的。

7、aSAN存储特性
(1)数据分片
虚拟磁盘的大小是不固定的,可以小到几个G,大到几十T。为了能够更灵活地存放和处理这些数据,aSAN通过数据分片技术对单个qcow2文件按照固定单位大小(如aSAN3.0版本默认大小为4G)进行切分成若干个颗粒度更小的分片。aSAN的诸多存储策略都是基于颗粒度更小的分片进行的,让数据在存储卷中分布更加地均衡,数据管理更加灵活。
分片的优点:
a、单个qcow2文件(即单个虚拟磁盘)的大小可达到整个存储卷的可用容量大小;
b、颗粒度小,策略灵活。例如分布均匀,断点续修;
c、多盘性能(结合条带化)

(2)条带化
条带化技术的普遍定义是将一块连续的数据切分成很多个小的数据块,然后并发地存储到不同物理硬盘上,实现对数
据进行写入或读取时可以获得最大程度上的I/O并发能力,从而获得优异的性能。

(3)多副本
多副本是指将数据保存多份的一种冗余技术,aSAN支持两副本三副本,副本所存放的位置必须满足主机互斥原则。存储池可用空间=(集群数据盘总空间-数据盘预留总空间)/副本数,通常情况下,每块数据盘预留的空间为16G.

8、aSAN高可靠特性
(1)数据平衡
平衡触发的条件
a、计划内平衡:是在用户所计划的时间范围发起的数据平衡,当存储卷内不同硬盘的容量使用率差异较大时,将对使用率较高的硬盘执行数据平衡,迁移部分数据到容量使用率较低的硬盘上。
    卷内最高和最低的磁盘容量使用率之差超过一定阀值时(默认是30%),即触发平衡,直至卷内任意两块硬盘的使用率不超过一定阀值(默认是20%)。
b、自动平衡:是无需用户进行干预,由系统自动发起的数据平衡。是为了避免存储卷内某块磁盘的空间已用满,
而其他磁盘仍有可用空间。
    当存储卷内存在某块磁值空间使用率已超过风险阀值时(默认是90%)即触发自动平衡,直至卷内最高和最低的磁盘容量使用率小于一定阀值(默认是3%)。

(2)链接克隆设置
由于链接克隆生成的虚拟机会引用同一份数据,为了保证业务的性能和连续性。当检测到引用同一份数据的虚拟机数超过设定的阈值时,系统会自动将这份数据通过源数据拷贝生成另一份数据,以实现读写的负载均衡。

(3)分层优势
——传统缓存机制的局限性:传统的缓存机制中也是将高性能的SSD作为缓存层,低性能容量大的HDD作为容量展。但在SSD中一般只分为固定两个缓存区:写缓存区(wcache)和读缓存区(rcache),两个区分工明确。(实际上在aSAN早期的版本中也是采取这种机制)
a、数握写入的开销大:数据写入到写缓存区时,要保证写入一份到读缓存区。
b、SSD的效能低下:读写同时进行时,写入缓存的速度大于回写至容量展的速度,当缓存区占满时需要等待写缓存空间释放才能写入,即写入速率下降为缓存回写至容量的速率;而且有70%的读缓存区被浪费,无法用于写缓存。
c、无法抵抗扫描读。传统的LRU (Less Recently Used)缓存淘汰算法,遇到扫描性的读操作时,将导致缓存区内有价值的数据被这些仅有一次读取的无效的数据完全挤占掉,失去缓存价值。

——分层的先进性:通过前面章节的介绍,分层既可以提供写缓冲能力,也可以提供读缓冲的能力,因此可以很好地解决传统缓存机制的问题。
a、数据一次写入,开销更小。数据写入到分层后,可以直接用于数据的下次读取,即使数据回写到容量层HDD后,仍然驻留在SSD的分层中。
b、SSD的效能高。首先整个分层空间都是可以用于读写缓存,并且当数据写入量较大时,整个分层都可以申请空间用于写缓存,可以更好地满足业务读写的弹性需求。
c、可以抵抗扫描读。由于aSAN的缓存系统是根据数据被访问的次数以及最近被访问的时间来区分数据热冷,从而定
义数据在分层中被淘汰的优先级。对于扫描性的读操作,虽然其被访问的时间上是最近的,但其被访问的次数仅有一次,因此数据热度并不是最高的,不会挤占由于访问次数较多而热度更高的数据。

存储分卷
    aSAN支持在同一个超融合集群内选择不同的主机组成不同的卷,即划分为不同的存储资源池。不同的存储卷之间,数据的存储策略是完全隔离,互不干扰的,虚拟机的数据存储位置选择了存储卷A,那么该虚拟机所产生的数据都只会存在于卷A中,在卷A中执行分片、条带化、副本等策略。但注意,虚拟机的运行位置是可以在任意一个卷的,但一般优先在本卷上运行。

虚拟共享盘
    虚拟共享盘是aSAN在虚拟iSCSI磁盘的基础上进行优化的,专用于Oracle RAC场素。利用共享盘方式的部署可以大幅简化Oracle RAC传统部署模式下的复杂度和成本。
    传统的Oracle RAC环境部署需要至少两台物理主机,并且同时也需要外置的共享存储设备,如外量iSCSI存储和外置FC存储,那么在超融合平台上,通过虚拟机类比于物理服务器,而虚拟共享盘则类比如置iSCSI存储。

虚拟iSCSI
    aSAN可以提供标准的iSCSI协议,将aSAN存储资源开放给其它物理服务器或者虚拟化平台作为纯粹的外置iSCSI存储使用。
    aSAN的iSCSI服务器则通过接入IP重定向为虚拟IP池的方式,实现iSCSI服务器的高可用和负载均衡特性。





第2章:某公司超融合介绍
课时2:某公司超融合介绍
    未来,80%以上的企业将迈入云端,某公司超融合构建的企业级云,在业内率先将计算、存储、网络、安全和管理融合到一台x86服务器中,将复杂的传统数据中心向极简的超融合云数据中心演进,保障业务平台的高可靠、靠性能、高安全是某公司企业级云的三大核心能力。
    核心能力一:高可靠。某公司企业级云采用分布式存储架构,运用多副本机制,确保硬件故障时,数据不丢失、业务不中断。
(1)平台搭载智能调度技术,当遭遇突发流量时,在不停机的情况下,虚拟机弹性伸缩,保障业务稳定运行;
(2)平台内嵌的CDP持续数据保护功能,当数据库误删或系统遭遇勒索病毒时,可将虚拟机数据一键恢复到过去3天内的任意1秒;
(3)当用户建设容灾数据中心时,某公司企业级云融合私有云容灾与混合云容灾,实现一键容灾切换,保障业务连续性,多机制保障,带来平台99.999%的可靠性;
    核心能力二:高性能。
(1)某公司企业级云采用条带化技术,单虚拟机吞吐可达2GB/S,读写IOPS超过200000,数据重建速度1TB/30min,满足互联网业务、实时交易系统、BI分析等高性能场景需求;
(2)通过NUMA优化和大页内存技术,显著提升Oracle RAC、SQL Server、MySQL等数据库集群性能;
(3)存储分层技术,将数据优先存储到SSD中,大幅提升平台IO性能。
(4)采用某公司企业级云,最少3台超融合一体机构建的Oracle RAC集群,即可提供100万TPM的并发访问性能,支持超过3万人的并发访问,同时性能可随着节点数横向扩展,只需再加入几台超融合一体机即可达到300万TPM,
    核心能力三:高安全。安全是某公司的基因。某公司企业级云为用户提供平台安全、数据安全、应用安全、边界安全+云端安全的立体安全防护体系,构建业内更高安全的云平台,并通过安全中心提供的规划建议与模板,帮助用户快速构建可视的云安全体系,满足合规需求。

    某公司企业级云管理平台aCMP实现对整个数据中心的全套运营。在云管平台上,可实现多租户的资源分配管理与计费计量,帮助集团化、运营型用户提升IT治理水平。“所画即所得”功能,通过鼠标拖拽和连线,实现业务系统的分钟级发布,监控中心对业务运行状态进行深度监控,通过动态展示实现快速故障定位;通过云管平台,还可实现对用户已有VMware平台统一纳管,根据业务需求完成资源编排,并提供南北向OpenStack API和混合云解决方案,帮助用户实现多云管理;
    某公司企业级云,已经为数千家用户交付了完整的云数据中心,用户整体IT投资成本节省30%,应用上线时间缩短50%,运维复杂程度降低60%。某公司超融合构建的企业级云。

------------------------------------------------------------------------------------
第3章:某公司超融合部署
课时3:HCI超融合部署
1、HCI超融合组合网设计
网络类型
    HCI超融合部署方案中,需要两台及以上的主机才能够组建标准的HCI超融合集群。
    HCI超融合部署需要连接4类网络:
(1)管理网络:集群间心跳、管理、虚拟机克隆、迁移、备份都是通过集群管理网络来传输数据,需要和管理网络可以通信。
(2)存储通信网络:这里特指aSAN的数据通信,全部的写磁盘数据及部分读磁盘数据要通过此网络传输。存储通信网络不稳定,可能会导致存储脑裂。
(3)数据通信(vxlan)网络:用于东西向的流量传输。如果每台主机都直接连接了物理出口,就没有东西向流量,vxlan网络实际用不上。如果用了aNET或aSEC,就只有部分主机连接物理出口,那么未连接物理出口的主机上面的虚拟机要跟外部通信,就要通过vxlan网络。
(4)业务通信网络:南北向流量传输。作为物理出口,连接虚拟路由器或者虚拟机,承载和物理网络互访的业务流量。

组网最佳实践
    HCI超融合四类网络按照最佳实践的部署,每类网络采用双链路聚合/交换机堆叠的方式进行组网。避免单交换机/单链路的故障。存储网络采用万兆链路。

2、HCI超融合系统安装
系统安装
    某公司超融合一体机默认出厂已经安装好了HCI超融合系统,直接可以使用默认登录IP地址10.250.0.7登录到HCI web控制台进行操作。如果是第三方服务器则需要进行HCI系统安装。
    某公司超融合平台是新一代的云IT架构,基于创新的超融合技术构建,具备完整的IT基础设施服务能力,并能承载核心数据库、ERP、财务系统、生产系统等企业关键业务应用。

第三方服务器硬件配置
    第三方服务器安装超融合HCI最低硬件配置
    第三方服务器安装超融合HCI推荐硬件配置

安装步骤一:刻录镜像
(1)超融合HCI系统以ISO光盘镜像文件的形式提供,在作为HCI系统安装的物理主机上,可以通过刻录USB启动盘或者使用服务器带外的web管理界面加载虚拟光驱进行系统安装。
(2)刻录USB启动盘。在Windows PC上安装UItraISO刻录软件,用其打开HCI的ISO文件,将其写入U盘,写入完成后进行刻录校验。具体操作是打开软件——“启动”——“写入硬盘映像”,需要勾选刻录校验。

安装步骤二:服务器BIOS设置
(1)启用Intel VT-x:启用CPU的硬件辅助虚拟化技术。
(2)关闭节能模式:节能模式会通过动态降低CPU主频以达到节能目的,会导致无法充分发挥CPU性能、虚拟机运行会非常卡.
(3)同步BIOS时间:BIOS时间对后续的维护有很大帮助。
(4)启动加电自动开机:遭遇供电故障后,可以再电源恢复时自动开启主机。
(5)切换启动方式UEFI/Legacy:一般使用Legacy方式启动,兼容性较好,当系统盘超过2TB时才使用UEFI。

安装步骤三:服务器raid卡配置要求
(1)如果有RAID卡,建议选配支持JBOD/Non-RAID直通的RAID卡,支持TRIM指令透传。
(2)如果RAID卡不支持JBOD/Non-RAID,则直接禁用RAID卡启用普通磁盘模式(AHCI/IDE)。

安装步骤四:系统安装
(1)服务器BIOS设置U盘启动之后重启进入超融合安装界面。
(2)选择磁盘安装HCI系统盘,选择【确定】开始格式化安装,安装将格式化系统盘,输入“format”确认格式化,选择【确定】继续格式化安装;选择【取消】重新进入选择磁盘界面。
(3)进入磁盘测速页面。选择【是】进行测速,【否】跳过测速继续安装。
(4)选择【是】继续安装.格式化磁盘成功,进入网口IP配置界面.上下键选择一个网口"eth0",选择【确定】进行网口配置。
(5)输入规划的IP地址,选择【确定】,其它网口可先不配置,等待系统安装完成,点击【确定】。
(6)安装完成后,点击<Reboot>,重启设备,拨出U盘,安装完毕。
(7)服务器重启完成之后,通过网络登录管理平台浏览器以https方式打开安装时配置的IP地址,默认(一体机或安装时未修改)https://10.250.0.7/,要求支持HTML5的浏览器如Chrome、Fiefox、IE11等一体机首次登录控制台,需要修改默认IP地址,登录控制台后,先检查并同步系统时间。

3、HCI超融合集群部署
(1)授权激活:把授权KEY插入到将要做为集群主控的主机上,然后点击进入序列号页面。
(2)HCI集群配置:将各主机的管理网络接线连通之后,在主控主机上添加其它主机,配置集群IP地址,组建HCI集群。
(3)数据通信口配置:配置好集群之后,设置数据通信口(xvlan)网络。
(4)存储网络配置:根据实际存储网络拓扑配置存储网络类型(以双交换机链路聚合为例),配置存储网口以及IP地址。
(5)虚拟存储配置:存储网络配置完成之后,创建虚拟存储卷。创建普通卷,选择需要添加进入该虚拟存储卷的物理主机。配置硬盘和硬盘组,然后确认最终配置。
(6)虚拟网络配置:使用“所画即所得”的网络拓扑,直观呈现虚拟网络中的虚拟机、网络设备之间的连接关系。使用鼠标简单拖拽,即可快速完成虚拟网络的组建。添加物理出口,配置端口组,将物理口连接到规划的业务网口接口。
(6)检测集群状态:平台部署完成后,检测集群状态。
(7)注意事项:在平台部署完成后,需要检查当前版本是否有可用的补丁需要升级以及进行安全合规性检查,请使用aDeploy工具进行检查,并按照检测结果升级对应的补丁包及进行安全配置。

------------------------------------------------------------------------------------
第4章:某公司云计算平台SCP产品介绍
课时4:某公司云计算平台SCP产品介绍01
1、SCP整体架构介绍
Sangfor Cloud Platform:整体架构
标准OpenStack API+完善的服务目录+统一运维/运营管理
Sangfor Cloud Platform:产品与服务目录

2、平台安装与部署
平台安装与部署
(1)安装说明:SCP平台目录只支持虚拟化部署在HCI平台上,以导入VMA格式虚拟机方式部署。
  注意:SCP云计算平台当前不支持部署在VMware平台和物理机上。
(2)部署拓扑
(3)安装流程
(4)推荐配置
a、SCP平台默认不开启OpenStack API和物理机纳管服务,此时SCP配置要求如下表。
b、若手动开启OpenStack API和物理机纳管服务,此时SCP配置要求如下表。


多授权方式:独立授权与云管授权
SCP平台对超融合资源池纳管时有两种授权方式,分别为云管授权与独立授权。
云管授权:通过SCP平台给关联到资源池中的集群进行授权,集群占用云平台授权。(该授权方式需要一个授权key与授权文件)
独立授权:超融合集群利用集群自身的key授权后,再被纳管至云平台,集群不占用云平台授权。此时SCP平台对独立授权的集群只进行管理,不下发授权。(该授权方式需要1+n个授权key,n为独立授权的集群数量)

多版本资源池纳管
SCP6.1.0云管平台支持纳管不同版本的超融合资源池,支持版本如下:HCI6.1.0、6.0.1、6.0.1R1、6.0.0R4、6.0.0R3、6.0.0、5.9.0、5.8.8、5.8.8R1、5.8.8R6、5.8.7R1、5.8.6共12个主线版本。
注意事项:
(1)当纳管的多个资源池之间版本不一致时,暂不支持不同版本资源池之间的云主机迁移。
(2)当纳管的多个资源池之间版本不一致时,暂不支持不同版本资源池之间使用某公司异地容灾解决方案。
(3)当纳管的多个资源池之间版本不一致时,暂不支持不同版本资源池之间的内置镜像分发。

3、产品与服务
计算服务
云主机:是由CPU、内存、镜像和云硬盘组成的一种可随时获取、弹性可扩展的计算服务器,结合VPC、vAF和备份等云服务,为用户打造一个高效、可靠和安全的计算环境,确保业务持久稳定运行。
主要关键特性:
a、支持对云主机(超融合、VMware、公有云)进行全生命周期管理。
b、支持对云主机进行快照、备份、CDP操作。

镜像服务
镜像:是一个包含了软件及必要配置的云主机模板,在基本操作系统基础上,可以包含常用应用软件(例如:数据库软件、OA软件)。
镜像分类:镜像来源 和 镜像权限;
镜像来源:ISO镜像  和 内置镜像;
镜像权限:公有镜像 和 私有镜像;
ISO镜像:由管理员或租户直接上传ISO文件的镜像。
内置镜像:云主机安装好必要的软件后,可以由管理员或租户制作成内置镜像。
公有镜像:由管理员上传或制作,可供管理员、租户、租户子账号使用。
私有镜像:由管理员或租户自行上传或制作,可供指定的租户、租户子账号使用。

镜像上传与分发:
a、ISO镜像分发:不同版本资源池之间没有限制
b、内置镜像:暂不支持不同版本资源池之间的内置镜像分发。
管理员上传镜像——SCP分发到资源池——资源池之间通过Linux SCP传输镜像。

------------------------------------------------------------------------------------
课时5:某公司云计算平台SCP产品介绍02

(1)网络服务—VPC网络
VPC(Virtual Private Cloud)即虚拟私有云,可以为租户提供一个逻辑上完全隔离的专有网络,租户可以在VPC中添加子网、访问控制、端口映射、部署NFV设备等网络运维操作,方便地管理、配置内部网络,进行安全、快捷的网络变更。
使用场景:不同部门或不同子公司之间有隔离的需求,租户只需关注自己VPC内部的网络,无需担心网络冲突等问题。

(2)网络服务—弹性IP
弹性IP(EIP):是相对于VPC子网IP的“公网IP”资源,可以绑定到VPC网络的云主机、路由器、应用交付、SSL VPN等设备上,实现VPC内部设备与VPC外部进行互通。支持设备与EIP动态解绑,满足灵活管理、动态分配的要求。
使用场景:VPC内部设备与VPC外部有双向互通需求时,可以给设备绑定EIP实现互通。

(3)网络服务—共享带宽
共享带宽:实现多个弹性IP共同使用同一带宽,同一资源池下已绑定弹性IP的云主机、路由器、NFV等实例共用同一带宽资源。可提高带宽的利用率,方便管理员管理。

(4)网络服务—经典网络
经典网络:SCP6.1.0版本租户支持使用经典网络。所有使用经典网络类型的实例都部署在一个共用的基础网络上,可以直接与数据中心本地进行互通.新建经典网络时将默认创建一台出口交换机,该交换机可以与上行物理出口、路由器、NFV等设备相连.
使用场景:
a、适用于租户与其他租户或物理环境等直接通信场景。例如:现有数据中心上云改造场景,客户想在不改变现有业务网络的前提下,实现多租户的管理。
b、将经典网络出口与物理出口不同端口组连接,可以实现租户之间的VLAN隔离或租户内应用之间的VLAN隔离。例如:开发部租户有一个经典网络出口与端口组100连接,测试部租户有一个经典网络出口与端口组200连接此时开发部与测试部之间的经典网络之间VLAN隔离。
注意事项:当多个租户使用经典网络时,推荐**管理员对每个租户可以使用的IP等资源进行规划,避免出现IP冲突等情况。

(5)网络服务—企业专线
企业专线:租户VPC网络,可以通过企业专线,与VPC外部的环境进行二层或三层互通。如需使用企业专线功能,需要为每个资源池指定固定的专线出口。
使用场景:
a、VPC与本地数据中心进行互通。例如:部分业务无法部署在VPC内部,但有互通的需求,此时可以通过企业专线进行互通。
b、VPC与VPC之间进行互通。VPC之间逻辑隔离,如果有互通需求,除了使用弹性IP外,还可以通过企业专线实现互通。
注意事项:为了避免IP地址冲突,每个子网的企业专线建议配置为不同的VLAN ID。

4、运营中心
用户分级分权管理:支持多租户模式,实现用户分级分权管理;
自助工单系统:为平台管理员、租户提供自服务门户,实现服务在线申请;
计费计量:将IT资源转换为可进行计费计量的资产,帮助用户更了解资源使用情况;
第三方对接:支持与LDAP、CAS进行对接;

运营中心—用户分级分权
分级:SCP平台支持三级租户模型,匹配用户多分支或多部门的组织架构。
分权:每级租户具有不同的权限,有效防止越权操作。
统一管理:平台管理员**作为平台超级管理员,对云平台进行统一管理。可以通过配额管理、费用中心,对下级组织架构进行资源分配、统计等操作。
配额申请:租户一般为分支部门/二级部门的管理员,通过工单向平台管理员申请IT配额(计算/存储/网络/安全等),满足部门业务需求。
服务使用:租户子账户为资源的最终使用者,通过工单向上级管理员申请服务(如云主机资源)、进行服务变更、服务释放。

运营中心—自助服务门户
SCP云平台为平台管理员及租户提供不同的服务门户。
平台管理员、租户、租户子账户可通过各自的自助服务门户实现对云平台的管理运维与云服务申请、使用。
统一管理运维:通过管理员门户,运维人员可进行日常运维管理工作,包括资源池的监控、工单流程审批、组织架构管理、企业门户LOGO定制等。
统一服务申请:通过租户门户,公司各部门或分公司可实现自助的服务申请;同时对租户自有资源进行监控管理,如对云主机CPU、内存、存储利用率等进行监控。

运营中心—自助工单系统
自助工单系统:以一种流程化、自助化的模式,为用户提供云服务。用户通过工单申请IT资源,经过预定义的审批流程,即可获取相应的IT资源。
申请周期短、业务上线速度快:相对用户传统的物理采购流程,流程化工单方式,从申请资源到资源下发,从月缩短至几分钟内完成,极大提高运营效率,加快业务的开发上线。
流程可控可视:工单申请、审批的流程支持自定义,更为灵活、透明,也更可控。

运营中心—计费计量
个性化计费策略:通过运营中心对平台资源进行定价,满足不同层次的计费标准。
平台定价可分为基础定价与租户定价。
基础定价可分为公共资源定价与资源池资源定价。

公共资源:指弹性IP、容灾授权、容器云等与资源池无关的资源。
资源池资源:指计算、存储、NFV设备等资源。支持对不同性能的资源池单独定价。例如:利旧服务器资源池的单价可以设置低一些,高性能服务器资源池的单价可以设置高一些。
租户定价:支持对某个租户设置单价。例如:某些部门(租户)使用资源量大,可以适当降低单价进行优惠。

运营中心—第三方认证系统对接
对接LDAP认证:SCP平台支持对接客户现有LDAP认证服务器,打通SCP与客户现有账号体系。
对接CAS:SCP支持对接客户现有的CAS系统,在登录SCP时使用客户现有账户信息进行登录,分配角色后可以实现单点登录,减轻客户运维负担。

5、运维与管理
多资源池纳管
SCP平台可以对分散在全国各地的多资源池进行纳管,实现跨地域、多资源池的统一运维与管理。
资源池支持的类型包含:某公司超融合、VMware vSphere、物理机、公有云等。

纳管公有云
某公司云计算平台SCP支持纳管某公司,可以将某公司上的区域以云环境的方式添加到SCP;
添加云环境后,可以在SCP上直接使用某公司上的云服务器(ECS),并支持将其分配给租户使用。

云环境管理:
(1)创建,将某公司上的区域以云环境的方式添加到SCP。
(2)分配,将云环境分配给租户使用,是租户的专属资源池。
(3)回收,将分配给租户的云环境回收至平台。
(4)删除,将添加至平台的云环境删除。
云主机管理:全生命周期管理
(1)创建,在SCP平台上,创建某公司云主机。
(2)分配,将云主机分配给指定租户使用。
(3)回收,将已分配给租户的云主机回收至平台。
(4)远程连接,调用某公司控制台接口,打开虚拟机控制台。
(5)释放,将云主机在平台上删除。

监控管理
    SCP平台拥有完善的监控功能与告警机制:监控概览可以对虚拟机、实体机、弹性IP、共享带宽四个对象进行全面的监控;aMC监控中心可以对虚拟机、业务、数据库等进行全方位的监控。在监控的同时,可以通过告警日志查看平台告警信息,并可以进行自定义告警设置。
运维报告
    支持统计云平台资源的实时状态和监控图表,汇总资源配置信息,支持导出运维报告。

------------------------------------------------------------------------------------
第5章: 某公司超融合核心功能演示
课时6:某公司超融合核心功能演示-高可靠功能
某公司aCloud高可靠产品功能演示
    aCloud高可靠方案包括数据可靠性、平台可靠性、业务可靠性,并且,平台内置可靠中心,整合数十种可靠性技术,用户可根据自身情况轻松完成高可靠性方案,为业务提供全方位多层级的可靠保障。
    aCloud平台11个重点高可靠功能特点,包含数据多副本、数据自动重建、定时备份、vm容灾、CDP、HA、虚拟机异常重启、DRS、DRX、一键检测、硬件检测。

1、数据多副本
aCloud平台数据存储采用多副本技术,每个数据库都会在不同主机存储两到三份,无论是服务器故障还是磁盘故障都不会丢失数据,确保数据的物理可靠性。

2、数据自动重建
通过数据重建功能,在组件发生故障后,将以故障组件上数据的另一副本作为修复源,以分片为单位在目的组件上重建出新的副本。恢复副本的完整性,实现系统自愈。

3、定时备份
通过快速的无代理磁盘备份保护您的数据,使用增量备份减少备份所需空间,降低备份成本。首次全量备份+非首次增量备份+bitmap技术。

4、虚拟机容灾
某公司超融合平台采用“本地备份-异地容灾”方案,提供不同RPO(范围1秒到1周)的虚拟机级别的容灾功能,。某公司容灾流程分为数据实时备份和业务故障恢复两个主操作。备份操作有本地备份和异地同步(同步数据到备站点)。恢复操作有:本地恢复(恢复到主站点)和异地恢复(恢复到备站点),并将业务回迁到主站点。

5、CDP功能
CDP功能为对指定虚拟机开启实时CDP保护,通过IO镜像方式跟踪记录虚拟机IO变更情况。当虚拟机数据丢失或故障时,可使用备份的任意历史时间点进行恢复,并且不会中断业务访问。

6、HA功能
对于外部环境故障(比如主机网线断了,所有存储不能访问等)和虚拟机Guest系统故障两种情况导致的业务中断问题,某公司的超融合平台都提供了成熟可靠的HA机制保障业务部中断或短暂中断。HA(High Availability高可靠性集群),通常需要两个或两个以上的主机节点组成集群。当启用了HA功能的虚拟机所在节点发生意外(主机掉电、断网等)时,集群心跳机制侦测到后,将选择一台资源充足的节点自动重启该虚拟机,从而实现业务的不中断或短暂中断。

7、虚拟机异常重启
虚拟机系统出现应用层不调度(蓝屏、黑屏)也是常见的业务中断问题,超融合平台提供了虚拟机异常重启功能来解决此问题。

8、DRS动态热迁移
某公司超融合平台提供的动态资源调度技术通过引入一个自动化机制,持续地动态平衡资源,将虚拟机迁移到有更多可用资源的主机上,确保每个虚拟机能及时地调用相应的资源,保障业务系统的性能,客户可根据需求自定义动态资源调度策略+调度方式+衡量因素+敏感度组成。

9、DRX动态热添加
系统实时监控业务虚拟机的内存、CPU资源的消耗。当资源消耗达到自定义阀值的时候对业务所在主机剩余资源进行校验。如果发现主机资源剩余量比较充足的时候,会对业务虚拟机进行不中断业务地添加资源;如果主机剩余资源不足的时候,不会进行任何资源调整操作,这样可以避免影响该主机上的其他业务。

10、一键检测
为了简化运维复杂度,某公司企业级云平台除了提供完整的平台风险预警机制,还提供了【一键检测】功能,方便快速对集群环境完成各项基本检查,包含集群状态与服务、主机硬件、虚拟机、虚拟存储、序列号等以期及时发现问题并提供相应异常检测项的恢复指导建议。

11、硬件检测
硬件检测当前平台的硬件状态,包含CPU、内存、硬盘、网卡、raid卡、外置存储监控检查,同时包含解决方案。

------------------------------------------------------------------------------------
课时7:超融合核心功能演示-运营中心
    某公司企业级云运营中心,能够提供丰富的多租户模型,包含三种不同职能的角色,云管理员、组织管理员、组织成员,以满足不同企业对于资源灵活分配的需求。基于IAAS的自助服务流程,只需通过简单的工单审批,即可实现云资源的自动分配,简化了复杂的线下手动资源申请流程,提高了业务的敏捷性和创新能力。
演示步骤:
1、创建新组织
2、配置运营策略
3、审批流程自定义
4、组织成员通过流程申请云主机
5、查看并导出运营数据
6、分配异构资源

------------------------------------------------------------------------------------
课时8:某公司超融合核心功能演示-异构管理功能
    由于历史原因,很多企业的数据中心已存在VMware虚拟机平台,企业级云支持对VMware进行统一纳管,最大程度保护客户现有资产,并可根据客户业务需求对资源进行灵活编排,并且云主机可在不同虚拟化平台之间实现双向迁移,无需安装代理,迁移过程不影响业务正常使用,数据零丢失。
演示步骤:
1、VMware集群纳管
2、全生命周期管理VMware云主机
3、VMware 云主机(Windows OS)迁移到超融合平台
4、VMware 云主机(Linux OS)迁移到超融合平台

------------------------------------------------------------------------------------
第6章:云计算相关技术-容器技术概述与入门
课时9:容器技术概述与入门
  容器技术概述
1、传统IT应用云化面临的挑战
挑战:IT应用的云化过程中,本地环境与云端环境不一致,用户需要为各种语言、框架、不同版本的应用进行打包。打包时,需要进行大量的适配、修改、配置才能满足本地应用运行环境与云端环境匹配。

2、容器技术如何解决该痛点?
容器镜像技术:
a、容器镜像打包了应用,以及应用运行所需要的所有依赖。
b、容器镜像的核心价值点在于实现应用及其运行环境整体打包以及打包格式的统一,实现本地环境有云端环境的高度一致性;从而将运维人员从枯燥的重复性工作中释放出来。

3、容器是什么?
容器是容器镜像运行时的实例,我们可以将其解释为软件界的某公司(隔离、封装)。
容器技术主要有:Docker(当前使用最多、最流行的容器引擎)、RKT、Imctfy.

4、Container VS VM?
(1)、虚拟机(VM)运行一个完整的:来宾操作系统,通过虚拟机管理程序对主机资源进行虚拟访问。一般来说,VM除了应用程序逻辑多消耗的开销外,自身还会产生很多开销。
(2)、容器运行在宿主机上,并与其他容器共享主机的内核。每个容器可以是一个独立离散的进程,不需要比任何其他科执行文件占用更多的内存,因此它是轻量级的。


------------------------------------------------------------------------------------
课时10:Docker基础知识-入门篇
  Docker基本介绍
1、为什么会出现Docker技术?
(1)研发与运维协调:
  a、一个产品的开发到上线,作为开发和运维人员之间需要关心很多东西,包括操作系统、运行环境及应用配置。
  b、当产品不断的迭代、更新时,不同版本环境的兼容对于运维人员来说都是不小的考验,从1.0到2.0,随着软件系统越来越复杂需要加支付接口、软件证书、密钥。
(2)Build Once,Run Anywhere:开发人员需为用用创建一次运行环境,如何打包成容器便可在其他机器上运行。另外,容器环境与所在的HOST环境是隔离的,就像虚拟机一样,但更快更简单。容器使软件具备了超强的可移植能力。

2、Docker的“三要素”
镜像(Images)
软件仓库(Registry)
容器(Container)

3、容器与虚机的架构对比
容器的架构
a、独立的文件系统
b、资源视图隔离
c、控制资源使用率
虚机的架构
a、APP下是进程,相互可见
b、进程共享文件系统

------------------------------------------------------------------------------------
课时11:Docker 架构介绍及安装部署
1、Docker Engine
Docker Engine:是一个Client/Server架构的应用程序,主要组件有3部分:
a、服务器:是一个长期运行的程序,称为daemon进程;Docker daemon 用于创建个管理docker对象,如容器镜像、容器、网络、卷。
b、命令行界面客户端(docker CLI):CLI使用Docker REST API通过脚本或CLI命令与Docker daemon交换。
c、一个REST API:Client可以用它来与daemon进程通信交互。

2、Docker架构
a、Docker Client:Docker客户端是用户与Docker引擎交互的主要方式。当用户使用docker Run之类的命令时,客户端将这些命令发送到dockerd,后者执行这些命令。
b、Docker daemon:接收客户端发来的请求,并实现请求所要求的功能,同时针对请求返回相应的结果。Docker daemon是驱动整个Docker功能的核心引擎,涉及了容器、镜像、存储等多方面的内容。
c、Docker Image:是一个用于创建容器的只读镜像模板,与容器相对应。如果说容器提供了一个完整的、隔离的运行环境,那么镜像则是这个运行环境的静态体现。
d、Registry:是一个存放镜像的仓库。Docker Hub是开放的公共镜像仓库,默认情况下Docker 从Docker Hub上查找镜像仓库,用户可以搭建自己的私有镜像仓库。
e、Containers:容器以镜像为基础,运行的一个实例。容器就是“软件界某公司”,可以安装任意的软件和库文件,做任意的运行环境配置。开发及运维人员在迁移和部署应用的时候,不需关心容器里装了什么软件,也不需了解它们是如何配置的。

3、Docker安装与部署
安装说明:
a、虚拟机配置:CPU≥2核、内存≥4GB、磁盘≥20GB;
b、操作系统:Centos7
安装步骤:
#step 1:安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2:添加软件源信息
# Step3:更新并安装Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4:开启Docker服务
sudo service docker start
#Step 5:设置镜像仓库地址
安装结果:查看docker服务状态
systemctl status docker

------------------------------------------------------------------------------------
课时12:容器基本操作
运行容器:使用docker run命令运行一个容器。
--“-d”参数可在后台运行容器
--“-p”参数将宿主机20000端口映射到容器的80端口
验证容器可用性:宿主机IP+端口号

查看镜像:使用docker images查看本地已有镜像
查看容器运行状态:使用docker ps查看容器运行的详细状态

常见容器生命周期管理命令:
docker create:创建一个容器
docker starti:启动一个容器
docker run:创建并运行一个容器
docker pause:暂停一个容器
docker unpause:恢复一个容器
docker restart:重启一个容器
docker stop:停止一个运行的容器
docker rm:删除一个处于终止状态的容器
docker kill:杀死容器进程

进入容器的一种方法:
可以使用 docker exec命今进入容器,进行调试:
  docker exec可以在一个运行中的容器中执行新的命令
  语法:docker exec[OPTIONS]CONTAINER COMMAND [ARG...】
    --OPTIONS说明:
      -d:分离模式,在后台运行
      -i:即使没有附加也保持STDIN 打开
      -t:分配一个伪终端

打赏鼓励作者,期待更多好文!

打赏
3人已打赏

一个无趣的人 发表于 2022-3-5 14:11
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
花开荼靡_ 发表于 2022-3-7 14:33
  

好帖子!感谢分享,学习了!!!!
新手210358 发表于 2022-3-19 09:09
  
感谢大佬的精彩分享。。。
薛龙龙 发表于 2022-3-19 14:26
  
干活满满,必须学习收藏
平凡的小网工 发表于 2022-3-21 22:45
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
新手620211 发表于 2023-4-29 21:26
  
好帖子!感谢分享,学习了!!!!
牛风喜 发表于 2024-3-27 09:25
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
发表新帖
热门标签
全部标签>
每日一问
技术盲盒
技术笔记
干货满满
技术咨询
新版本体验
GIF动图学习
产品连连看
功能体验
标准化排查
自助服务平台操作指引
2023技术争霸赛专题
运维工具
通用技术
秒懂零信任
技术晨报
信服课堂视频
用户认证
深信服技术支持平台
安装部署配置
SDP百科
设备维护
社区帮助指南
答题自测
每日一记
玩转零信任
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
云计算知识
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选

本版版主

217
274
151

发帖

粉丝

关注

本版达人

皮皮虾·真

本周建议达人

郑州网络

本周分享达人

二进制网络

本周提问达人