RAID総合スレッド No.5

（続き）
# dmesg | grep sd[c,d]
sd 6:0:0:0: [sdc] 976771055 512-byte logical blocks: (500 GB/465 GiB)
sd 6:0:0:0: [sdc] Write Protect is off
sd 6:0:0:0: [sdc] Mode Sense: 00 3a 00 00
sd 6:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn’t support DPO or FUA
sdc:
sd 6:1:0:0: [sdd] 976773168 512-byte logical blocks: (500 GB/465 GiB)
sd 6:1:0:0: [sdd] Write Protect is off
sd 6:1:0:0: [sdd] Mode Sense: 00 3a 00 00
sd 6:1:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn’t support DPO or FUA
sdd: sdc1
sd 6:0:0:0: [sdc] Attached SCSI disk
sdd1
sd 6:1:0:0: [sdd] Attached SCSI disk

>その「XX」が合ってるかどうか気になるな
# ll /dev/sdc
brw-rw—- 1 root disk 8, 32 2010-02-13 15:31 /dev/sdc
となっていましたのでマイナー番号は33を指定してました

>>873,875
なるほど。情報ありがとうございます。
検討段階だったので頂いた内容でちょっとやってみます！

/lib/udev/rules.d/

355です。結果報告です。
アレイ同じ構成に戻してもウィンドウズ上からは認識されませんでした。
そこでtestdiskを使い、ＨＤＤは復旧しました。

mdでraid1組んでて、縮退状態でgrowすることってできないんですかね？
500GB x 2でそれぞれ運用していたんだけど片方のディスクをOS以外で使ってない
状態だったので、データが入ってるディスクとRAID1を組みたかったのですが
データ側のディスクは退避場所がないのでインストール時に8GBのUSBメモリと
500GBのHDDでRAID1を組んで、その後片肺にしてgrowで広げてデータをコピー、
そのあと元データ用ディスクとRAIDを組もうと思ったのですが。。。

片肺で領域を拡張しようと
# mdadm –grow /dev/md1 -z max
mdadm: component size of /dev/md1 unchanged at 7564288K

とか言われて拡張してくれません。

どなたかヒントをいただければとおもいます。

俺の名はサンチェス。
人力RAID0の運用を試みたが、無意味だった。
わはははは。

デグレード3T7400回転x3に3T5600回転足したところ、
リビルドに8時間ほどかかったな。

>>766-770
ビットマップでどの範囲まで書き換えたかの状態を持ってるはず。

ハードウェア保守マニュアルも無いサーバーなんかごめんだぜ

>>759
>まあアライメントがずれててもバッファリングありの書き込みだとたいして影響しない。

えーと、大量のシーケンシャル書き込みでも、両端の1セクタはパーシャルライトになります。
で、その部分では、普通であれば1/2回転である「平均回転待ち時間」が3倍になるわけです。
単純に計算して、5400rpmのHDDだと平均5.5msの回転待ちが
平均16.5msになり、一箇所の書き込み毎に平均11ms余分に待たされるわけですね。
(ただし、RAID環境だと元々が平均1/2周待ちではないので、確かに影響は少な目と言えるかも)
まあ11msで読み書きできる量なんて、せいぜい1MBとか1.5MBとかその程度なので
毎回その程度の量を余分に書き込みしている程度の差でしかありませんが。

ちなみにRAID5だと、「パーシャル」になるサイズが
(構成台数やチャンクサイズにもよりますが)かなり大きくなりますね。
OSがこのサイズを意識してバッファリングしてるかは知りませんが。

で、パーシャルでの書き込み時は、パリティ構成セットの全台の同期待ちがあるので
そもそもの「回転待ち時間」が平均1/2周よりも平均1周に近くなり
その上でもう1周かけて全台に書き込みを行うので
書き込みの回転待ちは単純に4倍近いと考えてよいかと思います。
RAID6はさらに倍ですね。(パリティセットの構成セクタが両パリティで大きく異なると思われるので)

これが「RAID5の書き込みの遅さ」の正体なので
以前から時々みかける「昔はCPUパワーが云々」というのは的外れかと思います。

詳細4
# mdadm –examine /dev/sdg1
/dev/sdg1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Name : ubuntu:0 (local to host ubuntu)
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
Array Size : 11721071616 (5589.04 GiB 6001.19 GB)
Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 256bfd77:421f8083:95a02e33:19164d06

Update Time : Sun Sep 4 23:14:18 2011
Checksum : 4b7ac530 – correct
Events : 1234

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 2
Array State : .AAA (‘A’ == active, ‘.’ == missing)

すごく初歩的な質問かもしれませんが教えてください。
インテルマザーボードオンボードのICHのRaidに2台のSATAのHDDで組んだRaid0と、
コレガのCG-HDC2EU3100なんかの外付けRaidケースにe-sataで2台入れて組んだRaid0では
速度はどのくらい違いが出てしまうものなのでしょうか？
使用するHDDは同じ7200rpmのHDDです。

RAIDとバックアップの違いが分かってないやつが
長期休暇になるたびに沸いて出て来るな

機種は異なるが、おいらは、これで解決。
http://blog.livedoor.jp/otonax/archives/7406476.html

　ｶｸｶｸ　 ,ｨﾍ⌒ヽﾌ　　ﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋﾌﾞﾋ!!
　　　　／ ( 　・ω・）) -=3
　ε//　　 し ﾍ⌒ヽﾌ　　　ﾄﾞｯﾋﾟｭｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰ!!
　　( ( 　_,.ノ( 　・ω・）) -=3
　　　し しー し─Ｊ ﾌﾞｯﾋｨｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰｰ!!

>>950のバグはmdadm 3.3.2で起きてたけど、githubのリポジトリ見てたら2014/10/31ぐらいに修正されてるっぽいので、
mdadm 3.3.3以降を使えば大丈夫みたい。
ループバックデバイスでテストしただけだけどgithubの最新のものではとりあえず-z 4294967297Kが1Kに扱われることはなかった

>>170です

>>182
いや、そうならそうで早く出て欲しいですね。。。

>>183
ビルドしたってことはrpm -ivh ではないんですよね？
カーネルの構築はLinuxを弄り始めた頃に挫折して、
それ以来一度もやってなくて苦手意識ありありです。
もしよければさわりだけでも教えていただけますか？
ググったところ、ここが参考になりそうとは思ったのですが。
ttp://www.atmarkit.co.jp/flinux/rensai/linuxtips/a113rebuild.html

>>184>>185
うーん、もしかしたら僕の作業に間違いがあったかも知れません。
もう一度やってみます。

SUSEインストール→Raid５に変更→CentOSインストールしなおし
で出来たにはできたけど、これはちょっと非現実的ですよね。
目標は現在のOSのままやりたいので。
その点では>>183さんのように
Raid変更のためだけにカーネルだけ変えて起動するっていうのが
いいような気がしました。

>>256
関係ないよ。

>>255でも書いたけど、RAID6ならRAID構築するときにサイズ指定しておくと良いよ。
(サイズは HDD の容量から 100MB程度引いておく)

% mdadm –create –size=サイズ(ディスク1台当たりに使用するサイズ[kb]，64の倍数)

そうじゃないとHDDこけて交換しようと思ったときに、
同一モデルHDDでも容量が少なかった場合に困る。

ハードウェアRAIDの最低ラインはMegaSASにしようぜ(w

WindowsXPモデルしか無いみたいだけどここはLinux板だよ。

つか
RAIDのレベルで二つに割ってる意味がサッパリ分からん。
ボリューム分けたいなら普通はLVMでやるもんだと思うが。
パフォーマンスが落ちるだけじゃねーの?

>>460
-A sd[bcd]1が無理なら–createする時に縮退で組めば
resyncが発生せずにメタデータ上書きだけでデータ本体はそのまま残る。
–createするときはチャンクサイズとかレイアウトとかも要設定。
まずは仮想マシンで手順とか確認。

>>461
まぁ、それを言われちゃうと申し訳ないとしか言えないが…
計画停電もあったし、アキバで中古のUPS買おうとは思ってたんだけどなぁ。

>>462
createは最後にやってみようと思う。
おそらく、そこは失敗すると二度と戻れない手順ですよね。
もう少し、Faultyフラグを書き換える方法をいろいろ調べてみます。
ちなみにcreateする場合、自分の場合だと構成デバイスはsddだけにして、missing にsd[abc]入れる感じ？

>>807
引数ドライブに対して -f して -r して -a だからな。
悩みようがない

>>809-811
ほぼ全台ホットスワップベイに入れたので、
「とりあえず引き抜いてシリアルを見る」が
可能になった。

>>40
> 同時でやれば速く終わるはずなんだけど

むしろ遅くなりそうな気がするが。
同一のCPU、同一のコントローラで
二つの処理を同時に行わせるんだよな?

別の質問です。

sdaとsdbでraid1を組んだとき、
sdaがあるビットは1だと言い、sdbはそのビットは0だと言ったら
何が起こるのでしょうか？

mdraidでミラーリングしているんですが、
いずれか1台が故障しても読み書きは継続できますよね？
ファイルシステムのエラーでハングアップになったもんで。

>>187
本当に丁寧に教えていただいてありがとうございます。
本当に面倒な作業なんですね。
今夜にでも試してみようと思います。

fedora13のLiveCDを使って/sys/block/md0/md/level
の書き換えが出来ました。
正確には/sys/block/md127/md/levelです。
LiveCDで起動したらmd127にされてしまいました。
そのままecho raid5やって、
CentOSで再起動。
再起動後にもlevelファイルの中身はraid5だったので、
growしてみたところうまくいきました。
で、md127のままなのが気に入らなかったので
#mdadm /dev/md127 -f /dev/sdb1 /dev/sdc1 /dev/sdd1
#mdadm /dev/md127 -f /dev/sdb1 /dev/sdc1 /dev/sdd1
#mdadm –misc –stop /dev/md127
#mdadm -C /dev/md0 -l 5 -n 3 /dev/sdb1 /dev/sdc1 /dev/sdd1

と、これでmd0になりました、データも失っていません。
これ以外の方法が思いつかなかったんですが、
もっとスマートな方法があったら教授願いたいです。
mdadmまだ使いこなせてません。

カーネルが古くてもmdadmのバージョンが条件を満たしていれば
できるみたいですね。

みなさん、親身になって答えてくださりありがとうございました。

デデュープの方が普通

金が無いなら知恵を死ぬ気で付けるしかない。
(最低このスレ全部読むくらいはやるんだろ？)

ってことはさておき、md使ったソフトウェアraidで良い。
カードもRAIDなんちゃらなんて付いてなくてATAカードで十分。
玄人志向だと以下から適当にどうぞ。
http://www.kuroutoshikou.com/products/select/interfacefset.html

どれがなにかさっぱりわからん。

せっかく持っていったディスクが
壊れてて読めなかった経験が無い人は幸せだと思うよ。やれやれ。

>>206
「最近のマザーボード」とやらに載ってるようなのは
「ハードウェアRAID」ですらない。

>>206の書きようだとハードウェアRAIDには
何のメリットもないように見えるなw
たぶんハードウェアRAIDを使ったことがないんだろうが。

低熱高熱状態でのHDDに書き込んだデータの化けはありうるわけだし
だからRead After Writeを実装してるHDDもあるし
こんとき物理エラーは検出されん
つか出来ん

タイラー！！！

DELL SAS6/iR RAIDカード
で、
WD20EARS-00MVWB0
で、
ソフトRAID6いけるかな？

向こうのほうが何から何まで合理的だと思うけどな。
ある程度以上複雑なものを、完成まで持っていく力は、
欧米人にはスゴイもんがあると思う。エンジンしかり、
オーケストラしかり、OSしかり。

日本だと、個人レベルの巧の技、小さいチームの巧の技は尋常じゃないけど、
ある程度以上母体が大きくなると柔軟さや躍動感を失って豆腐みたいなチームになっちゃう。

こんなどうしようもない対策がなるほど効いてしまうだろうなぁと思える
SATAコネクタ仕様を考えた奴はケーブルで首吊って詩ねばいいのに

FedoraだったらインストーラでRAID10できるんだけどなー

何故、RAID6は同時に壊れるのに、RAID1や10は同時に壊れないと考えるかね。
何故、業務で重要なデータを扱うのに、別ロット品を用意しないかね。

HDD1台でRAID組まないほうが部品点数少ないし、やっぱRAIDはやめとくわ。

初心者なのでこのスレには不似合かもしれないんですけど
緊急事態なので教えてください

REID０を組んでるのですがマザーが逝ってしまったらしく
BIOSまで行き着かず電源が落ちてしまいます

なんとかHDのデータだけでも救出したいのですが
ほかのマザーでもREIDのHDは認識しますか？

可能でしたらその手順も教えていただけたら．．．

お願いいたします

>>531
sde1のsuperblock飛んでる？
だとするとmdadm –examineで表示されるのが変なんだけど

同様に↓は？
# dd if=/dev/sdg1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc
# dd if=/dev/sdh1 count=10 2>/dev/null | od -tx -Ax -v | grep -A17 a92b4efc

>>464
まじですごい！！！
createで復活したよ！！！
いくら、礼を言っても足りないくらいだ。
最初、lvmがinactiveになっていてactivateする必要はあったけど、見事に復活しました。
mount直後にext4の自動修正が走ったので、多少はデータに欠損があったのかもしれないが、いまのところ壊れたファイルは無さそうです。

>>126
終了動作でファイルシステムのメタデータ吐く、
そのあとmdのスーパーブロック書き出して同期を停めるでしょ。

うちにある3T x 2 のRAID1はresyncに10時間かかるなぁ。

HDDの大容量化にHDDの速度がついてきてないね。

ZFSで運用した場合、トランザクション管理されるため、
RAID 5書き込みホールの問題は起こらないという認識で間違いないですか？

RAID1の一方が壊れたと思った。
ら、M/B側のSATAケーブル脱落だった。

PCに8本あるSATAケーブルのうち
1本だけ、まにあわせのロックなしケーブルだったんだけど
てきめんに、それが抜けた。

ロックなしSATAケーブルと
ケーブルをロックできないHDD(2.5インチとかにある)は
議論されるまでもない油断だった。

2.5インチHDDのほうが、抜けないようになんとか固定しているけどね。

気になるログその2　ATA14のHDDでエラー。こいつが今件の初発の原因？？

[ 5.680895] /build/buildd/linux-2.6.38/drivers/scsi/mvsas/mv_sas.c 1388:found dev[6:5] is gone.
[ 5.685621] ata14.00: ATA-8: WDC WD20EARS-00MVWB0, 51.0AB51, max UDMA/133
[ 5.685624] ata14.00: 3907029168 sectors, multi 0: LBA48 NCQ (depth 31/32)
[ 5.689622] ata14.00: configured for UDMA/133
[ 5.689676] scsi 1:0:5:0: Direct-Access ATA WDC WD20EARS-00M 51.0 PQ: 0 ANSI: 5
[ 5.693872] /build/buildd/linux-2.6.38/drivers/scsi/mvsas/mv_sas.c 1388:found dev[7:5] is gone.

[ 39.559395] ata14: translated ATA stat/err 0x01/04 to SCSI SK/ASC/ASCQ 0xb/00/00
[ 39.559400] ata14: status=0x01 { Error }
[ 39.559403] ata14: error=0x04 { DriveStatusError }
[ 39.564298] ata14: translated ATA stat/err 0x51/04 to SCSI SK/ASC/ASCQ 0xb/00/00
[ 39.564303] ata14: status=0x51 { DriveReady SeekComplete Error }
[ 39.564307] ata14: error=0x04 { DriveStatusError }
[ 39.564735] ata14: translated ATA stat/err 0x01/04 to SCSI SK/ASC/ASCQ 0xb/00/00
[ 39.564739] ata14: status=0x01 { Error }
[ 39.564742] ata14: error=0x04 { DriveStatusError }

あと、以前も試して同じ結果でしたが
# mdadm –detail /dev/md126
mdadm: md device /dev/md126 does not appear to be active.
でした。

正常に動作しているmd127は、/dev/md/以下に別名のアレイ名称のシンボリックリンクが作成されていますが
md126については、シンボリックリンクは作成されていませんが、 /dev/md126　自体は生成されている状態になっています。

同ロットのHDDで揃えてたんだろ。良い教訓。

>>933
raidzというかzfsはLinuxでいうとlvm+mdraid
設定自体はzfsの方が使いやすい
あとL2ARCやらZILやら重複排他が使える
それと残容量が少なくなると極端にパフォーマンス落ちる(10％以下くらい？）
100%使い切るとメモリが少ないと最悪どうにもできなくなる

現実環境でやってみましたがダメでした。
メタデータのバージョンが同じでないとうまくいかないような感じです。
CentOSで64kで構築
↓
Scientificで512kで構築
↓
Scientificで64kで再構築
↓
ダメ　←いまここ

です。
これからCentOSで64kで再構築してみます。
まずは仮想環境でやってみようと思います。

RAID組むときどうやってHDD調達してる？
同時に購入した同一型番のHDDを2台で構成してたRAIDでprimary,secondaryがほぼ同時に逝ってしまった。
同一ロット回避とかって大事なのかね？

>>94
自己レス
ちょっと勘違いしてた
状況を整理すると、/dev/sdcと/dev/sddは存在しているわけだな。んで、/dev/sdc1と/dev/sdd1がないと
パーティションテーブルが壊れているのか、非互換なのか…という感じですか
とりあえず
fdisk -l /dev/sdc
fdisk -l /dev/sdd
の結果と、dmesgのsdcとsddの認識部分のログが見たいですな

詳細2
# mdadm –examine /dev/sdb1
/dev/sdb1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 234703b1:5d4cfec5:95fc05bb:78160d2f
Name : ubuntu:0 (local to host ubuntu)
Creation Time : Sun Jul 24 23:50:32 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 3907024896 (1863.01 GiB 2000.40 GB)
Array Size : 11721071616 (5589.04 GiB 6001.19 GB)
Used Dev Size : 3907023872 (1863.01 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 8c8ddf45:f164c9ed:a130b98c:2d811627

Update Time : Sun Sep 4 23:10:41 2011
Checksum : fdf9230e – correct
Events : 83

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 0
Array State : AAAA (‘A’ == active, ‘.’ == missing)

RAID の構成ディスク減らせるようにしてくれないかな。
小さいディスク多数から大きいディスク少数に移行できると便利だと思う。
drobo はそれできるけど、特殊過ぎて使いたくない。

あと md の RAID6 をディスク 3本から構成できるようにしてくれないかな。
もちろん後で本数は増やす前提だけど、とりあえず二重冗長の最小構成で初期化できればいいのに。

>>732
USB接続で使う場合、USB外付けHDD自体が
信頼性に不安をかかえているという説があるから、微妙。

この問題は、USBの電力供給能力,ホットプラグに関する扱い,バスとしての本質的性能
コントローラーチップ,USB-SATA変換基盤などなど、いろんな要素が予想されるが…

実際に、USB外付けHDDで、パーティションテーブルが吹っ飛んだなんて体験をした人が
総じて、技術的知識を持たず、状況を的確に分析しリポートできないため
単なる、誤った運用によるトラブルにすぎない可能性もあると考えられている。

ともかく、USBの一つのコントローラーに2つのHDDを繋いで
RAID1を組んどけば、そのリスクは半減する…のかどうかも定かではない。

USBメモリーとかでRAID1,0,5について、短時間のテストはしたけど
信頼性については、どうかと思うよ。ネタとしては面白いけど。

内蔵HDDのデータ用パーティションと
USB3.0のHDDの同サイズパーティションでRAID1なら
まぁ、わからんでも無いかなぁ…

RAIDなし単体でのベンチマークと見比べたかったな。

mdadmはメール飛ばせることくらい知っとくべき。
あと、どっから白人ども、とかずれた話が出てくるんだか……
夏とは言えちょっと怖いわ。

意味も無くアレイを組んでみる
言葉の響きに憧れてRAID環境を構築してみる
HDDを数枚束ねただけで何やらすごいことをやり遂げた気になって満足する

そんなオナニーのようなRAID環境の構築があってもいいと思うんだ

megaRAIDの9260なのですが、
MSMを使って、ホットスペアの登録はできないのでしょうか。

対象ディスクはオンラインにはなるのですが、
ホットスペアにするための選択肢が右クリックメニューが表示されません。

どうすればMSMで可能になるかお願いします。

HDD3台で構成されてるRAID5の/devmd0に
ディスクを–addで追加してスペアディスクとして組み込んだ状態から
RAID60レベル変更にしたいのですが、

# mdadm –grow –level=6 –raid-disks=4 /dev/md0
mdadm: /dev/md0: Cannot reshape array without increasing size (yet).

# mdadm –grow –level=6 –raid-disks=4 –size=max /dev/md0
mdadm: can change at most one of size, raiddisks, bitmap, and layout

という感じでエラーになります。引数に何が足りないんでしょうか？
もしくはmdadm.confに予め何か設定しておく必要があったりしますか？

>>385 を見ると
最初の段階では hda1/2/5 の3台でボリューム作ってて
hdd6がスペアだよね?
で、>>386では hda1/2 を抜いたように見えるんだが…
3台構成中の2台抜いちゃったらボリュームの再構成はできないのでは。

書いてないけど、1台抜く→リビルド終了→もう1台抜く
てな段取りでやったのかな?

追

OSはWindows7
M/BはG31M7-TE、G31MX-Kを考えています。

ところで、ubuntu 道場で NAS の話が出ていて、
ttp://ascii.jp/elem/000/000/619/619406/index-4.html
RAID 組んだら定期的に dd of=/dev/null if=/dev/sda とかでデータなめておいた方が
いいとかあるんだけど、結構常識だったりする?
はじめて聞いたんだけど。

HDDは全てオンボードのICH9Rに繋がってるんだが…。

得意先のためにDellからサーバを注文したんだけど、
Linuxでソフトraidを試そうとraid controllerを注文から外したのに
Dellから電話掛かってきて、raid controllerを薦められた
もちろん使うOSはLinuxだと聞いたうえで・・・

それでraid controller追加注文して、Centosを入れようとしてもHDDが認識されない！
ググったらこの PERC S300 は Linux 非対応だって・・・なんてこと!
しかもケーブルを繋ぎ直さないとLinuxでは決して使えないみたいで・・

サーバのフタって簡単に開けられるものなのか？PowerEdge R210II だけど

あるからなぁ

と言われても

>>356様
ありがとうございます。
本日試してみます。

>>812
おれは、ホットスワップに対応してても「とりあえず引きぬく」は無理だ。
挿し直したらいきなりリビルドが始まったりしたことがあるので、
正常なものは極力触りたくない。

あとは、 2台で RAID1 してるとか、RAID5とかの場合に1台壊れて交換する場合は、
その方法取れないしね。
1Uサーバとかの場合は、1スロット毎にLED があるので、dd して生きてるディスクを
確認してから引き抜けるけどタワーとかだと厳しいから、ラベリングするしかないか。

mdasm のコマンドに関しては、大いに賛成。
これ以上まとめる必要性を感じない。

・HDDを後から追加して1つのボリュームに見せかけたい
・ディスクの冗長性は確保したい
って場合は
Linux+mdadmのほかに何があるでしょうか？

戻らねぇよカスｗ