主题：究竟要不要搞RAID5，实在是拿不了主意
正序浏览
主题图片汇总
主题内检索
8块2T只有10T空间，明天做了它，换linux
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
187 帖
这个是软raid5，玩植物大战僵尸用的
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
186 帖
2g
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
185 帖
应该买M1015
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
184 帖
raidz-2
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
183 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
182 帖
speeding 发表于 2013-2-13 11:26
听他扯淡。RAID有个巨大的问题称为Write Hole，即写文件的时候如果突然掉电，文件没有写完而校验码是基于整个文件的。各级RAID都有这种问题。对于RAID 5来说这个问题尤其严重，因为出问题的时候系统并不知道出了问题，直到某个盘全坏了，你换上新盘，RAID系统重新Build的时候，才会发现校验码和文件内容不同。
较好的硬件RAID卡，使用各种方法来避免突然掉电，什么小电池啊，nvram啊等等。
软件RAID完全没有这个功能。而家用NAS或者服务器，很少有UPS，再加上有些人有随手关机的习惯，带来Write Hole的可能性更大。平时不觉得什么，出了问题哭都来不及。这也是现在使用软件RAID的越来越少。正式应用中，基本没有用软件RAID的。
如果真要用软的，就得用ZFS什么得。ZFS使用“RAID-Z”的软件办法来解决Write Hole。这个办法就是所谓Copy On Write。RAID-Z类似于RAID-5，但它本身不是RAID，更谈不上软件RAID。由于采用Copy on Write，ZFS随时检验校验码并更正。代价是ZFS需要的内存巨大，计算量也较大。
ZFS的RAID-Z 其实对硬件要求并不高，我已经用FREENAS 测试过 3盘组的RAID-Z了，8G内存 G550 CPU，千兆网读写可以达到70M，这个还是跑在ESXi的虚拟机上的数据。
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
181 帖
D2XFANS 发表于 2013-3-11 17:55
多少的百分率可以接受这是个个人的事情，我也不好评论。你自己觉得可以就行了。关键是可以有个量化的方法讨论RAID 5.
无非就是RAID0、RAID1、RAID5这三者在容量、速度、价格、可靠性上的权衡，看你看重哪个了。
如果是追求速度的在线存储，数据寿命不长，另外有在线或者近线备份，那可以不计代价地可以上条带RAID0。
如果对容量要求不高（目前单块硬盘的容量为限），成本也受限，也没啥在线备份，只有近线或者离线备份，那就两块盘做RAID1。
如果容量需求很大，远超过目前单盘容量，钱又不是特别的多，数据还想有点儿安全性，那就只能RAID5了。稍微有点儿钱可以在RAID5里面加一个热备盘，或者再对性能还能放松一点就RAID6
至于啥RAID0+1, 1+0, 50等等就很是剑走偏锋了，看自己狂热程度而定。
至于人工操作的一些可靠性，不在考虑之列，看个人造化吧。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
180 帖
PowerPCG5 发表于 2013-3-11 16:55
30%的失效率比起那个60%也不错了。毕竟你一块硬盘的容量是受限的，我们还是需要大的容量。
对于常用的四块盘阵列，按照你的10%失效率估计，
一年死一块 40%，一年死两块12%，蛮好，可以用。
多少的百分率可以接受这是个个人的事情，我也不好评论。你自己觉得可以就行了。关键是可以有个量化的方法讨论RAID 5.
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
179 帖
D2XFANS 发表于 2013-3-11 16:38
在后面某贴我把RAID可靠性算法更新了，详情请看153帖。
您这个计算方法第一步是对的，就是把死亡率概率平方，因为必须是两块盘同时退出阵列的可能。
但是忘了计算硬盘数目，第一块盘退出时有N块，第二块盘退出时有N-1块
因此
N x (N-1) x R^2
为RAID 5 死亡率简易公式
好比，单只鸭子的死亡率为每年10%，那么如果有6只鸭子，每年死一只鸭子的概率是多大？
6 x 10% = 60%
而同时死第二只鸭子的可能性有多大？
(6 x 10%) x (5 x 10%) = 30%
30%的失效率比起那个60%也不错了。毕竟你一块硬盘的容量是受限的，我们还是需要大的容量。
对于常用的四块盘阵列，按照你的10%失效率估计，
一年死一块 40%，一年死两块12%，蛮好，可以用。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
178 帖
发烧鸭 发表于 2013-3-11 13:36
计算的确有误，应该是这样算：
你的第一部分算得是对的，59.05%是这个RAID出现故障的概率，但这个概率不等于数据丢失，因为这是一块盘出错的情况，这种情况下数据还在。
真正出问题的情况是两块盘同时出现问题，那么这种情况的概率是10%×10%=1%，也就是说5块盘组成RAID5之后数据的可靠性从90提高到99%，所以说RAID5对数据是有保护作用的。
在后面某贴我把RAID可靠性算法更新了，详情请看153帖。
您这个计算方法第一步是对的，就是把死亡率概率平方，因为必须是两块盘同时退出阵列的可能。
但是忘了计算硬盘数目，第一块盘退出时有N块，第二块盘退出时有N-1块
因此
N x (N-1) x R^2
为RAID 5 死亡率简易公式
好比，单只鸭子的死亡率为每年10%，那么如果有6只鸭子，每年死一只鸭子的概率是多大？
6 x 10% = 60%
而同时死第二只鸭子的可能性有多大？
(6 x 10%) x (5 x 10%) = 30%
本帖最后由 D2XFANS 于 2013-3-11 16:44 编辑
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
177 帖
speeding 发表于 2013-3-10 23:30
可靠啥。比ZFS差远了。
第一，除了Mac OS X，俺不用任何其他*BSD
第二，在Linux上，所谓的ZFS还没有可靠的实现
第三，Linux下的软RAID我从上个世纪末开始用了十几年，熟悉且放心
第四，公家用途，当然挑最贵的设备买，电池后备的RAID卡肯定不要省掉。
最后，楼主这样的情况，还是先保留好一份离线备份数据然后自己折腾一番吧，不实践永远也不会知道里面的深浅。
再可靠的在线存储也离不开合理的离线备份，这个原则没问题。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
176 帖
D2XFANS 发表于 2013-3-9 00:22
可靠性计算请指教。
计算的确有误，应该是这样算：
你的第一部分算得是对的，59.05%是这个RAID出现故障的概率，但这个概率不等于数据丢失，因为这是一块盘出错的情况，这种情况下数据还在。
真正出问题的情况是两块盘同时出现问题，那么这种情况的概率是10%×10%=1%，也就是说5块盘组成RAID5之后数据的可靠性从90提高到99%，所以说RAID5对数据是有保护作用的。
我在前楼的回复中说过，出问题比较隐蔽的是一种较“silent error”的错误，磁盘某扇区静悄悄的就坏了，当RAID发现其他盘故障并将故障盘踢掉后再发现这种错误后这块盘也被踢掉了，于是数据就丢失了。
现在有几种来避免类似的问题：
1. 闲时扫描。也就是在RAID系统不忙的时候做全盘扫描，发现silent error；
2. 快速重建。一般的RAID系统会在RAID创建是保留一块硬盘作为“空闲盘”（hotspare），发现某硬盘有坏块后并不将该硬盘直接踢出去，而是先将可读出的数据拷贝到hotspare上，而读不出来的数据再进行重建，尽可能的减少踢盘的几率；
3. 小盘技术。把一块容量很大的盘切分成数GB的小块，然后用小块创建RAID，这样会把出错的概率降低；
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
175 帖
speeding 发表于 2013-3-10 23:30
可靠啥。比ZFS差远了。
我已经懒得和他理论了。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
174 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
173 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
172 帖
Luxul 发表于 2013-3-10 23:54
。。。晕。。。 我刚才在想着KVM了。不好意思
哦，KVM上建文件服务器也没啥不好吧。当然实际应用里建应用服务器更多一些。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
171 帖
原文由 PowerPCG5 在 2013-03-10 23:06 发表
不懂你的意思，文件系统建在lv上，lv在vg里，vg在pv上，pv建在/dev/md0上，如此而已。方便必要时改变文件系统大小而已……
难...
。。。晕。。。 我刚才在想着KVM了。不好意思
本帖由移动终端发布
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
170 帖
damixifan 发表于 2013-3-10 22:22
您这个更加可靠一些，学习了
可靠啥。比ZFS差远了。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
169 帖
damixifan 发表于 2013-3-10 21:15
你帮我找个不半吊子的系统，能用ZFS，或比ZFS更可靠的。
小姚同学不就这德性么，不懂的，不用的，不会的，不明白的，不是半吊子就是垃圾。只有他用的才是好的。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
168 帖
Luxul 发表于 2013-3-10 22:31
是在LVM里面跑file server? I/O性能差别大吗？
不懂你的意思，文件系统建在lv上，lv在vg里，vg在pv上，pv建在/dev/md0上，如此而已。方便必要时改变文件系统大小而已……
难道有啥不对吗？ATOM D525这破玩意儿似乎喂不饱四块SATA硬盘……
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
167 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
166 帖
PowerPCG5 发表于 2013-3-10 21:20
我从来都是Linux 软RAID5上跑ext3/4，最近几年加一层LVM。
您这个更加可靠一些，学习了
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
165 帖
damixifan 发表于 2013-3-10 21:15
你帮我找个不半吊子的系统，能用ZFS，或比ZFS更可靠的。
我从来都是Linux 软RAID5上跑ext3/4，最近几年加一层LVM。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
164 帖
PowerPCG5 发表于 2013-3-10 21:03
FreeNAS那种基于FreeBSD的半吊子系统算了吧。
你帮我找个不半吊子的系统，能用ZFS，或比ZFS更可靠的。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
163 帖
PowerPCG5 发表于 2013-3-10 21:02
80万小时MTBF的普通SATA硬盘工作一年的可靠性差不多98.9%，哪里有你说的那么可怕。
那只是个例子，假设的10%！
不过我认为厂商给的MTBF也不可信。还是那句话--只是个理论值。某篇博客介绍消费级的硬盘是按照每天通电8小时的强度模型去评估的。如果这块硬盘在每天24小时的强度下工作，MTBF应该是大幅度减少的。
我在西数和东芝的网站上看到企业级硬盘除了Firmware多了些软件功能，对消费级硬盘最大的改善是用了加强的主轴承。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
162 帖
damixifan 发表于 2013-3-10 21:00
买2块带PCI-E的E350主板，2块M1015，8G内存，装FREENAS起ZFS。
做RAID5是找死。
FreeNAS那种基于FreeBSD的半吊子系统算了吧。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
161 帖
D2XFANS 发表于 2013-3-10 20:45
第一，在网络上不回复这样的请求（如果是面对面保不住会抽你）
第二，这个公式说是两块硬盘同时挂掉的概率。已经假设了一块硬盘掉出阵列的情况是100%的修复。这在实际情况中是不可能的，原因见上个帖子UBRE的解释。
第三，http://en.※※※※※※※※※.org/wiki/RAID
另，我认为任何需要人介入的操作都有人为错误。RAID5的部署需要人为操作，就会受到人为错误的影响。
80万小时MTBF的普通SATA硬盘工作一年的可靠性差不多98.9%，哪里有你说的那么可怕。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
160 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
159 帖
PowerPCG5 发表于 2013-3-10 20:21
第一，请先学好汉语普通话，不要这种台湾方言。
第二，莫非磁盘阵列就是为了等硬盘一个一个死掉无所作为？实际上一旦发现了一块硬盘有问题，只要停机，换一个新盘上去重建阵列即可。核心在于最大限度地用不太可靠的廉价硬件保证数据安全性。
第三，那个所谓的模型公式哪里来的？
至于什么人为错误，那跟RAID5可有半毛钱的关系？
维护一个磁盘整列不是轻松的事情，但是半瓶子醋就更歇着吧。
第一，在网络上不回复这样的请求（如果是面对面保不住会抽你）
第二，这个公式说是两块硬盘同时挂掉的概率。已经假设了一块硬盘掉出阵列的情况是100%的修复。这在实际情况中是不可能的，原因见上个帖子UBRE的解释。
第三，http://en.※※※※※※※※※.org/wiki/RAID
另，我认为任何需要人介入的操作都有人为错误。RAID5的部署需要人为操作，就会受到人为错误的影响。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
158 帖
回复主题： 究竟要不要搞RAID5，实在是拿不了主意
功能受限
游客无回复权限，请登录后再试