ファイルシステム総合スレ その16

dedup はアカン

FreeBSD8.0で運用してたZFS RAID-Z2って
LinuxのZFSで普通に読み込めるんだな
いや他のファイルシステムなら別に当然だけど
ZFSのしかもRAID-Zだから複雑なことやってそうだし無理かと思ってた

>>846
>zpool importするとき

ZPOOL自体を操作して、移動するなんて高度な技はまだまだ使ったことありません。
とりあえず、プールを用意して、ZFSファイルシステムを構築する程度の初心者です。

参考になりました。ありがとうございます。

CRCと言えばKURE 5-56

おう。md5deepって超使い辛いから気を付けなよ。

>>49
最近の FreeBSD ではだいぶ安定しているみたいだけど
ttp://lists.allbsd.org/pipermail/freebsd-ja/2012-December/000010.html
ttp://people.allbsd.org/‾hrs/FreeBSD/sato-FBSD20121207.pdf
まとめ
・9系の ZFS は、デフォルト設定でもそこそこ動きます
・開発者が使っているマシンも ZFS に移行しているので、
安定性の心配は（昨年に比べると）だいぶなくなりました

そもそも、こいつのお大事なバッチとやらを書き換えれば、何の問題も無いんだろ？
あと、mhddfsとやらが実際の所どの程度信用できるかは知らんが、少なくとも、
・性能が低下する
・元のディスクが一杯になるまで追加したディスクには書き込まない
んだろ？
もしかしてこいつの中では「片方のディスクが壊れても、半分のファイルは生き残る」
事になってるのかも知れんが、それは両方が一杯になった時だけで、元のディスク
の方が古い＝壊れるのも先なんだから、今の所殆ど全てのファイルを失う可能性の方が
高いだろ。その時にはバックアップがある！ってのなら、そもそもzfsでもいい話で

貧乏性でどうしても古いディクも使いたいってなら、
　4TBと2TBか3TBと1TBのディスクとJBOD出来るカードを買うなりなんなりで入手
→ 新しいディスクの大きい方で zpool create して autoexpand=true
→ zpool attach → 古いディスクを detach → 新しいディスクの小さい方と古い
ディスクで JBOD組む → attach とかするかな？

つか、自分なら2TBx4とかでraid-z2するだろうけど

ていうかそのやり方でどうやって冗長性確保するんだよ

>>532
馬鹿にしてもらって結構。 ソースを探したがうまく探すことが出来なかったのでしょうがない。
ようやく先ほど http://engawa.2ch.net/test/read.cgi/linux/1002445806/
(必ずしもよい情報源かどうかは不明だが)を見つけて、ECCbytes の変遷を確認して納得しました。

>>534
なんでってのに回答すると、HDDの「CRC Error」ってのみて、
「ECC 付いてないのかよ」って思ったんだわ。

無い反証を探すことで思い知らされたくない>>530ｗ

皆様の温かいご意見に感謝申し上げます。
なくなくシングルユーザーモードで再起動して、e2fsck -D /dev/sda5 を実行して見ました。
⇒　縮退せず
ファイルシステムの再作成となりました。UUIDなどみのがしたので、デバイスエントリをマウントするように
変更して再起動したところ万事うまく行ったようです。

ご協力に感謝致します。

石板云々の話に戻ったのかと

銅線中の電子の移動速度を知ってて言ってるギャグなんだろうか

ZILは高速な書き込みが出来れば良く、信頼性は
さほど重視されていないはずなので、いっそRAMディスクに
しても良いのでは？と思っている。

L2ARCは読み込みが高速で、信頼性も必要なので、
こちらのほうをMirrorのSSDにした方が良いかも。

もっともZILもL2ARCも再起動で初期化されちゃうので、
あまり気にしない方が正解かもしれない。

>>706
jessieでこんな感じになった
pkgのlibssl0.9.8をlibssl1.0.0に変えたら行けるんじゃないかね?
しかし署名とか見当たらなかったんだけど無いのかな?怖いから仮想環境で試したよ
% sha1sum cav-linux_1.1.268025-1_amd64.deb
533dd3b4adc57a43937e6795399a7df4bf88fd5a cav-linux_1.1.268025-1_amd64.deb
% sudo dpkg -i cav-linux_1.1.268025-1_amd64.deb
以前に未選択のパッケージ cav-linux を選択しています。
(データベースを読み込んでいます … 現在 64485 個のファイルとディレクトリがインストールされています。)
Preparing to unpack cav-linux_1.1.268025-1_amd64.deb …
Unpacking cav-linux (1.1.268025-1) …
dpkg: 依存関係の問題により cav-linux の設定ができません:
cav-linux は以下に依存 (depends) します: libssl0.9.8 (>= 0.9.8m-1) …しかし:
パッケージ libssl0.9.8 はまだインストールされていません。

dpkg: error processing package cav-linux (–install):
依存関係の問題 – 設定を見送ります
処理中にエラーが発生しました:
cav-linux

OpenZFSのサイトに互換性表があるよ
ttp://open-zfs.org/wiki/Features

>>652
Hans Reiserが作ったReiserFSの事ですか？

mhddfsのことかも

>>696
umountできなくてshutdownまでいけなかっただけじゃない。

透過圧縮無効化する方法がないのを今知って絶望＼(^o^)／
ttps://btrfs.wiki.kernel.org/index.php/Compression

重複排除は意味無いと何度言ったら

珍しい現象に遭遇しました。
バックアップ先に使っているbtrfsに対して書き込めないとcron様からお怒りのメールが届いた。
アンマウントしようとしたが出来なかったので、再起動しようとしたがこれも出来ず、仕方なしに電源ボタン長押しした。
パーティションを割りまくり、色々なファイルシステムを導入しているマシンなので何が原因で事象が発生したのか謎な状態です

ちなみに割っている/var(SSD ext4)や/home(HDD jfs)は問題なく書き込めたので、再起動も出来なかったしカーネルを巻き込んだbtrfsの問題？

そんな１日に何回もレスするようなスレじゃないんで
結果的に単発IDになる。

ZFSの資料のこのページをざっと読んでみた。

http://pthree.org/2012/12/13/zfs-administration-part-viii-zpool-best-practices-and-caveats/

気になったのは,’Do not mix disk sizes or speeds in a single VDEV.’というところ、
500GBの3.5インチのHDDでRAIDを組んだら、交換に2.5インチの500GBのHDDは使っては
ダメなのかな。ディスクサイズは同じだが、性能が異なるとなにか問題が出るのだろうか？

つまりZFS使うのはやめておけと

http://itpro.nikkeibp.co.jp/atcl/column/14/071500011/072800002/
http://www.xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf

昔（Debian Lenny‾Squeeze時代）デスクトップでXFS使ってたけど糞遅かったっけ。
RedHatが関わってから速くなったのかな。
今度HDD入れ替える時はext4から乗り換えてみようかな。

>>374
> ファイル一式あるのに、そのブロックだけ持って来ても大抵の場合はあんまり嬉しくないからだろうね
1GB のファイルの 4KB の１ブロックだけ壊れた場合にファイル全体(1GB)書き戻すのと、
4KBブロック１つ書き戻すのだと、俺は4KBブロック１つ書き戻すほうがうれしいけどなぁ。

> どう見えるもこう見えるも、コピー先のファイルは、コピー先のディスクもファイルシステム
> も壊れてなければ普通に見えるだろう
質問しなおすけど、壊れたコピー元ではスナップショットのファイルはどう見えるの？

もう全部XFSにしちゃおっかなー
大丈夫だよね？

不勉強なら勉強しろ

圧縮は普通にファイルの圧縮と一緒
重複排除はブロック単位で重複してる部分をまとめる

人殺しが作ったファイシステムってなんだけ（名前忘れた）

3台のpcでやって同じ結果だからusbインターフェースの故障はないんじゃないかと
個人的には思ってる。ただ、hddの寿命は普通にありそう。10年近く前のやつだから。
一応、jfs,xfs,fat32,ext2ではエラーが出つつもフォーマット可能で、フォーマット後
マウントしてデータが書き込めるのは確認した。
reiserfs,f2fs,btrfsはフォーマットは可能だけどマウントできない。
nilfsはフォーマット自体が失敗する。
新しいhddも探しておくか…。うーん。

ライセンスでどうせマージされないんでしょ？

いつごろから実装されてた？
→Fireball AT の頃にはあっただろ
→一つじゃわからない

余程の馬鹿か、さもなきゃキチガイだろ

>>507
raid-checkとか？
ただSMART値を監視するのと大差はないと思う。

>>236
レスありがとうございます。最初は当該フラグを個別に無効指定すればいいかと思ったけどダメでした。
# zpool create -f -o ashift=12 -o feature@async_destroy=disabled -o feature@empty_bpobj=disabled -o feature@lz4_compress=disabled mypool raidz sda sdb sdc sdd
cannot create ‘mypool’: property ‘feature@async_destroy’ can only be set to ‘enabled’

仰るとおり、バージョン指定でいけました、FreeBSD9.1へのインポートもバッチリです
# zpool create -f -o ashift=12 -o version=28 mypool raidz sda sdb sdc sdd
# zpool get all
NAME PROPERTY VALUE SOURCE
mypool feature@async_destroy disabled local
mypool feature@empty_bpobj disabled local
mypool feature@lz4_compress disabled local

ZFS on Linux 0.6.1もFreeBSD9.1も、version 28と表示されているので、てっきり
feature flagsもversion 28に内包されるオプションだとばかり思ってたのですが、拡張機能のようなものなのですね。

しかしZFSパーテションの後ろの8MBの領域の用途が未だにわからん。
パーテションタイプを表すGUIDを調べてみると”6a945a3b-1dd2-11b2-99a6-080020736631″で
Solaris用の予約済みパーテションのようだけど。

>>325
構想中みたいな話はどっかで聞いてたが絵空事じゃなかったんだな。
元々（ライセンス的に）カーネルにZFSを組み込めないZFS on Linuxの開発が進んだ結果
カーネル絡みのコードとZFS絡みのコードがうまいこと分離できてきて副次的にMacへの移植に流用できたりしてたので、
だったらカーネル非依存な共通のコードベースがあればみんな幸せよね、みたいな話だった気がする（適当）

凄く楽観的に考えるとほとんどillumosだけでやってたZFS本体のメンテナンスにBSDやZoL界隈の人たちも加われれば
ZFSそのものの開発も加速しそうな気はする。

>>326
デフォルトで組み込むのはOracleの気が変わらない限り（≒永久に）無理だし、後付けのZoLならもう出てる。

>>327
プラットフォーム間の互換性問題はfeature flagsである程度見通しは立ってたけど
OpenZFSでそれもちゃんと保証されるようになると安心だわな。

>>749
>>736の運用方法が穴だらけなのは十分承知していますし、
費用度外視で理想の方法をあげればきりがないのもわかります。

ですが、今回はあくまで「余っているHDDの再利用」+「非常時のための
コールドスタンバイでのバックアップ」が目的でそれ以上は求めていません。

週末ディスクを修復して、ZFS+KVMの構築を再開しました。

やはり、ZFSのファイルシステム上ではエラーが出るので、
Zvolで100Gのデバイスを作り、ext4で初期化してから、
/var/lib/libvirdにマウントして使う事にしました。

KVMからファイルシステムext4内のディスクイメージを
参照しますので、別システムからのデータの移行が容易で、
利用したかったZFSの圧縮や重複排除の恩恵も受けているように
見えます。

>>326
いや、さすがにライセンス変更はまず無理。Oracleが変えない限り。
全コードを書き換えられりゃ可能だろうけど、不可能に近いんじゃ。

現状、Illumosのコードベースに各OSがポートして使ってるけど、
ZFSそのもののバグ修正や機能追加とか、纏める所が無かったってのと、
このまま放置すると、OS間でのZFS互換性も問題なりそうだから、
その辺とりまとめるプロジェクトつくったぞーって事かと。

よもやID:av8klvMNよりヤバイのが来るとはな。

UNIX板で聞いた方がいいんじゃね

てか、単発多すぎだろ。
>>403以降アスペのアンチRAIDと過剰反応RAID信者の二人が自演合戦してるんじゃないかとすら思えてくる

後付けの条件をどんどん出してくる馬鹿には氏ねじゃなくて死ねとしか言いようがない。

Native Linux Kernel Module Is Out For Microsoft exFAT
http://www.phoronix.com/scan.php?page=news_item&px=MTM5NTQ

btrfsはまだまだ常用できるレベルじゃないし、似たようなことしたければZFS on Linuxでいいんじゃ？

24時間動かすなら、ECCメモリといい電源も必須だけど、SATAケーブルとかもいいのおごったほうがいい。
一時期fsあたりのエラーがパラパラ出てたときは、SATAケーブルが腐ってた。

掘り返して申し訳ないんだけど
.zfs/snapshotから差分ファイルに直接アクセスするのは
zfs-fuseだろうがzfs on Linuxだろうがまだ実装されてない？
それともsnapdir=visible以外に何か設定が必要？

cpのあとでcmpで確認するとか

>>309
自己レスだが@SP2、@SP3の存在を忘れてた。含めるとこんな感じ。
http://pastebin.com/sXx5ueix

reiser4はまだ使い物にならないの?

btrfsの場合はSSDモードみたいなのが動いてるけど
この場合deiscardオプションは付けなくてもいいの？