当前位置:首页 > CN2资讯 > 正文内容

服务器配置hadoop classpath 服务器配置raid

2天前CN2资讯


目录

前言

一、服务器硬件详解

二、RAID磁盘阵列介绍

2.1   RAID 0 磁盘阵列介绍

2.2   RAID 1 磁盘阵列介绍

2.3  RAID 5 磁盘阵列介绍

2.4  RAID 6 磁盘阵列介绍

2.5  RAID 1+0  磁盘阵列介绍

总结:

三、阵列卡介绍

3.1  概述

3.2  IDE接口

3.3  SCSI接口

3.4   SATA接口

3.5   SAS接口

3.6  阵列卡缓存

四、创建软 RAID 磁盘阵列步骤

4.1   步骤

4.2   案例:创建一个RAID 5 的磁盘阵列

五、总结


前言

学习这章内容是我们能够了解在生产中,因为各个公司对于数据存储的环境要求不同,所使用地服务器以及磁盘阵列地配置情况

一、服务器硬件详解

服务器规格:2P 2C 8G

2P:2个物理核心

2C:一个cpu上有2个核心

8G:内容条(RAM)有8 GB

服务器常见品牌:浪潮(最大的服务器厂商)、华为、中兴IBM、DELL、HP、爱立信

二、RAID磁盘阵列介绍

是Redundant Array of Independent Disks的缩写,中文称为独立冗余磁盘阵列

把多块独立的物理硬盘不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高

的存储性能和提供数据备份技术

组成磁盘阵列的不同方式成为RAID级别(RAID Levels)

常用的RAID级别

RAID0、RAID1、RAID5、RAID6、RAID1+0等

2.1   RAID 0 磁盘阵列介绍

RAID0连续以位或字节位单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,

但它没有数据冗余

RAID0只是单纯地提高性能,并没有为数据的可靠性提供保证,而且其中的一个洗盘失效将影响到

所有数据

RAID0不能应用于数据要求高的场合

注:N快硬盘并行组合成一个新的逻辑盘

特点:

1.最少需要两块磁盘

2.数据条带分布式

3.没有冗余,性能最差(不存储镜像,校验信息)

4.不能应用于对数据安全性要求高的场合

2.2   RAID 1 磁盘阵列介绍

通过洗盘数据镜像实现数据冗余,在成对的独立磁盘上产生互卫备份的数据

当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID1可以提高读取性能

RAID1是磁盘阵列是种的单位成本呢最高的,但提供了很高的数据安全性和可用性。当一个磁盘失

效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据

注:N(偶数)块硬盘组合成一组镜像,N/2容量

特点:

1.最少需要两块磁盘

2.提供数据冗余

3.性能好

2.3  RAID 5 磁盘阵列介绍

N(N>=3)块盘组成阵列,一份数据产生N-1个条带,同时还有一份校验数据,共N份数据在N块盘上

循环均衡存储

N块盘同时读写,读性能很高,但由于有校验制的问题,写性能相对不高

(N-1)/N磁盘利用率

可靠性高,允许坏1块盘,不影响所有数据

注:校验数据起到当一块硬盘挂掉后,其他硬盘可以通过校验数据计算出缺失的数据,起到

备份的功能 ;校验数据循环的在每块硬盘上均衡写入

特点:

1.最少三块磁盘

2.数据条带形式分布

3.以奇偶校验作冗余

4.适合多读少写的情景,是性能与数据冗余最佳的这种方案

2.4  RAID 6 磁盘阵列介绍

N(N>=4)快盘组成阵列,(N-2)/N磁盘利用率

与RAID5相比,RAID6增加了第二个独立的奇偶校验信息块

两个独立的奇偶系统使用不同的算法,即使两块磁盘同时事项也不会影响数据的使用

相对于RAID5有更大的"写损失",因此写性能较差

2.5  RAID 1+0  磁盘阵列介绍

N(偶数,N>=4)块盘两两镜像之后,在组合成一个RAID0

N/2磁盘利用率

N/2块盘同时写入,N块盘同时读取

性能搞,可靠性高

RAID 0+1(先做条带,才能做镜像)

读写性能与RAID 10相同

安全性低于RAID 10

特点:

1.最少四块磁盘

2.先按RAID 0 分成两种,再分别对两组按RAID 1  方式镜像兼顾冗余(提供镜像存储)和性能(数据条带形分布)

3.在实际应用中较为常用

总结:

RADI级别

硬盘数量

磁盘利用率

是否有校验

保护能力

写的能力

RAID0

N

N

单个硬盘的N倍

RAID1

N(偶数)

N/2

允许一个设备故障

需要两对存储设备,互为主备

RAID5

N>=3

(N-1)/N

允许一个设备故障

需要写计算校验

RAID6

N>=4

(N-2)/N

允许两个设备故障

需双重写计算校验


RAID1+0

N>=4(偶数)

N/2

允许两个基组中各坏一个

N/2块硬盘同时写入


三、阵列卡介绍

3.1  概述

阵列卡是用来实现RAID功能的板卡

通常是由I/O处理器、硬盘控制器、硬盘连接器和缓存等一系列组件构成的

不同的RAID卡支持的RAID功能不同

例如支持RAID0、RAID1、RAID5、RAID1+0等

RAID卡的接口类型:

IDE接口、SCSI接口、STAT接口和SAS接口

3.2  IDE接口

IDE 的英文全称为“Integrated Drive Electronics”,即“电子集成驱动器”,它的本意是指把“硬盘控制

器”与“盘体”集成在一起的硬盘驱动器。

IDE 代表着硬盘的一种类型,但在实际的应用中,人们也习惯用 IDE 来称呼最早出现IDE 类型硬盘

ATA-1,这种类型的接口随着接口技术的发展已经被淘汰了,而其后发展分支出更多类型的硬盘接

口,比如 ATA、Ultra ATA、DMA、Ultra DMA 等接口都属于 IDE 硬盘。此外,由于 IDE 口属于并

行接口,因此为了和 SATA 口硬盘相区别,IDE 口硬盘也叫 PATA 口硬盘。

3.3  SCSI接口

SCSI 的英文全称为“Small Computer System Interface”(小型计算机系统接口),是同 IDE 完全

不同的接口,IDE 接口是普通 PC 的标准接口,而 SCSI 并不是专门为硬盘设计的接口,是一种广

泛应用于小型机上的高速数据传输技术。SCSI 接口具有应用范围广、多任务、带宽大、CPU 占用

率低,以及支持热插拔等优点,但较高的价格使得它很难如 IDE 硬盘般普及,因此 SCSI 硬盘主要

应用于中、高端和高档工作站中。SCSI 硬盘和普通 IDE 硬盘相比有很多优点:接口速度快,并且

由于主要用于服务器,因此硬盘本身的性能也比较高,硬盘转速快,缓存容量大,CPU 占用率

低,扩展性远优于 IDE 硬盘,并且支持热插拔。

3.4   SATA接口

使用 SATA(Serial ATA)口的硬盘又叫串口硬盘,是目前 PC 硬盘的主流。

Serial ATA 采用串行连接方式,串行 ATA 总线使用嵌入式时钟信号,具备了更强的纠错能力,与

以往相比其最大的区别在于能对传输指令(不仅仅是数据)进行检查,如果发现错误会自动矫正,

这在很大程度上提高了数据传输的可靠性。串行接口还具有结构简单、支持热插拔的优点。

3.5   SAS接口

SAS 是新一代的 SCSI 技术,和现在流行的 Serial ATA(SATA)硬盘相同,都是采用串行技术以获

得更高的传输速度,并通过缩短连结线改善内部空间等。SAS 是并行 SCSI 接口之后开发出的全

新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,提供与串行 ATA (Serial

ATA,缩写为 SATA)硬盘的兼容性。

3.6  阵列卡缓存

缓存(Cache)是RAID卡与外部总线交换数据的场所。RAID卡先将数据传送到缓存,再由缓存和

外边数据线交换数据

缓存的大小与速度是直接关系到RAID卡的实际传输速度的重要因素

不同的RAID卡出厂时配备的内存容量不同,一般为几兆到数百兆容量不等

四、创建软 RAID 磁盘阵列步骤

4.1   步骤

1、检查是否安装了mdadm软件包

rpm -q mdadm ;确认是否安装mdadm

yum install -y mdadm

2、使用fdisk工具将新的磁盘设备/dev/sdb、/dev/sdc 划分出主分区sdb1、sdc1,并在分区交互中按“t”,标记号改成fd

fdisk /dev/sdb ;对sdb设备进行操作

fdisk /dev/sdc ;对sdc设备进行操作

3、创建RAID设备

创建RAID5:

mdadm -C -v /dev/md5 -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1

备注:

-C :表示新建

-v :显示创作过程中的详细信息

/dev/md5 :创建RAID 5的名称

-l : 用于指定创建的RAID级别,上面 -l5 表示创建RAID 5

-n :指定适用这3块磁盘分区去创建RAID

/dev/sd[bcd]1 :指定这三块硬盘的分区区创建RAID

-x :指定使用几块硬盘做RAID的热备份盘, -x1表示保留一块空闲的硬盘做备用

/dev/sde1 :指定用作备份盘的sdbe1

4、创建RAID10 (即RAID 1+0,先做镜像,再做条带)

mdadm -Cv /dev/md0 -l1 -n2 /dev/sd[bc]1

mdadm -Cv /dev/md1 -l1 -n2 /dev/sd[de]1

mdadm -Cv /dev/md10 -l0 -n2 /dev/md0 /dev/md1

5、查看RAID磁盘的详细信息:

cp /etc/fstab /etc/fstab.bak

vim /etc/fstab

/dev/md0 /myraid xfs defaults 0 0

6、实现故障的恢复

mdadm /dev/md0 -f /dev/sdb1 ;模拟/dev/sdb1的故障

mdadm -D /dev/md0 ;查看发现sde1已经顶替sdb1

7、创建 /etc/mdadm.conf配置文件,方便管理软件RAID的皮脂,如启动与停止

echo ‘DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 /dev/sde1’ > /etc/mdadm.conf

mdadm --detail --scan >> /etc/mdadm.conf

mdadm命令的常用选项

-r :移除设备

-a :添加设备

-S:停止 RAID

-A,启动RAID

补充:

1.每10秒动态监听磁盘阵列的状态信息

watch -n 10 ‘cat /proc/mdstat’

2.检查磁盘是否EL做RAID

mdadm -E /dev/sd[b-e] 1

4.2   案例:创建一个RAID 5 的磁盘阵列

第一步:fdisk dev/sd[b-e],进行磁盘分区并在分区交互中按“t”,标记号改成fd

第二步:检查是否安装了mdadm软件包

 

第三步:新创建RAID5设备,使用3块盘,额外的一块sdf1做备份盘 

第四步:对RAID 5阵列格式化成xfs系统,此外创建/home/opt/目录,将RAID 5挂载到这个目录下

第五步:模拟/dev/sdc1的故障,发现cdf1 顶替了cdc1

五、总结

1.RAID 提供比单个硬盘据有更高的存储性能和提供数据备份技术

2.常用的RAID 级别:RAID0、RAID1、RAID5、RAID6、RAID1+0

3.阵列卡及缓存

4.软RAID 磁盘阵列构建方法

    你可能想看:

    扫描二维码推送至手机访问。

    版权声明:本文由皇冠云发布,如需转载请注明出处。

    本文链接:https://www.idchg.com/info/23804.html

    分享给朋友:

    “服务器配置hadoop classpath 服务器配置raid” 的相关文章

    永久循环优惠:如何通过长期折扣提升客户忠诚度与购买频率

    定义与特点 永久循环优惠是一种长期有效的营销策略,旨在通过持续的优惠措施吸引和保留客户。这种优惠方式的核心在于“永久”和“循环”,意味着优惠不会在短期内结束,而是会持续存在,甚至可能随着时间推移不断更新或调整。它的特点在于为消费者提供长期的实惠,同时帮助商家建立稳定的客户关系。 从消费者的角度来看,...

    HudsonValleyHost主机服务测评:性价比与稳定性的完美结合

    HudsonValleyHost是一家成立于2014年的国外老牌主机商,已经在行业内稳扎稳打,逐渐树立了自己的品牌形象。这家公司最初的目标是为用户提供高性价比的主机服务,其中以其纽约的KVM VPS服务备受青睐。在我接触的众多主机服务商中,HudsonValleyHost的存在让我感受到了一种稳定与...

    波测评分析及其在医疗与教育领域的重要性

    波测评的定义与重要性 波测评是一种重要的技术手段,专注于评估波动的特性和行为。我发现,这种测评方法在多个行业中都扮演了至关重要的角色,比如医疗、工业和电力等领域。以脑波测评为例,它不仅可以帮助医生了解病人的大脑状态,还能在教育领域评估学习能力。这些应用展示了波测评技术在科学与技术进步中的不可或缺性。...

    提升跨境业务体验:CN2GIA全球互联网接入服务解析

    在当今数字化时代,网络服务的质量直接影响着企业的发展。CN2GIA,即“Global Internet Access”,是中国电信为了提升国际网络服务而推出的一项高端业务。为了满足不断增长的国际市场需求,CN2GIA 的出现标志着中国电信在建设下一代网络上的重要一步。它的目标是为用户提供更优质的国际...

    菲律宾用户如何通过VPS提升TikTok访问速度

    在菲律宾使用VPS访问TikTok,这个话题对很多喜欢在TikTok上进行电商活动或内容创作的人来说非常重要。首先,我想谈谈VPS的概念以及它的优势。VPS,全称是虚拟专用服务器,它提供了一种比共享主机更为灵活和高效的解决方案。对于菲律宾的用户来说,通过使用VPS,可以在一定程度上绕过地区限制,更流...

    搬瓦工查看流量使用的最佳方法与管理策略

    在使用搬瓦工(BandwagonHost)这家VPS提供商时,了解流量的相关信息是非常重要的。搬瓦工的流量套餐设计十分灵活,满足了不同用户的需求。每个VPS方案都设有流量限制,比如每月500GB或1TB,这些限制会直接影响到我们如何使用这些资源。用户在选择方案时,应该充分考虑自己的日常使用习惯,以便...