ti-enxame.com

Sistema de arquivos estável para arquivos grandes (backups) para Linux

Qual sistema de arquivos seria melhor para backups? Estou interessado principalmente na estabilidade (especialmente na não corrupção de arquivos durante reinicializações forçadas, etc.), mas a eficiência com que ele lida com arquivos grandes (> 5 GB) também é importante.

Além disso, quais parâmetros de montagem devo usar?

Kernel é Linux> = 2.6.34.

EDITAR: Eu não quero métodos de backup. Eu preciso do sistema de arquivos para armazená-los.

18
Maciej Piechotka

Você pode usar ext4 mas eu recomendaria montar com journal_data modo que desligará a desalocação (alocação atrasada) que causou alguns problemas anteriores. A desativação do dealloc tornará as novas gravações de dados mais lentas, mas tornará as gravações em caso de falta de energia menos propensas a perdas. Devo também mencionar que você pode desativar desalocar sem usar journal_data que tem alguns outros benefícios (ou pelo menos tinha no ext3), como leituras ligeiramente melhoradas e eu acredito que melhor recuperação.

As extensões ainda ajudarão na fragmentação. As extensões tornam a exclusão de arquivos grandes muito mais rápida que o ext3, uma exclusão de dados de qualquer tamanho (arquivo único) deve ser quase instantânea no ext4, mas pode demorar muito tempo no ext3. (baseado em qualquer medida FS tem esta vantagem)

ext4 também fsck é mais rápido que ext3.

Uma última nota, houve correções de bugs no ext4 até como 2.6.31? Eu basicamente me certificaria de que você não está executando um kernel anterior ao 2.6.32, que é um kernel LTS.

13
xenoterracide

O XFS é sólido como uma rocha e está no kernel há anos. Examine ferramentas como xfs_freeze e veja se é o que você está procurando. Eu sei que isso é altamente subjetivo, mas usei o XFS para armazenamento de dados por anos sem incidentes.

5
dsp

Basta usar uma ferramenta de backup que suporte somas de verificação. Por exemplo Dar faz, e suporta backups incrementais. Então você pode fazer backup em um sistema de arquivos sólido como o ext3.

Para backups, você quer algo sólido/muito estável. E o btrfs ou o ZFS simplesmente não estão prontos hoje.

3
maxschlepzig

Um aspecto imho muito importante que não vi discutido nas outras respostas são os recursos de estabilidade do layout do disco do sistema de arquivos (por exemplo, considere consultar a documentação de possíveis candidatos ext4 , btrfs )

Embora a base de código e a quantidade de testes dos drivers do sistema de arquivos da base de código sejam realmente importantes, como outras respostas já mostraram, uma vez que é a proteção dos dados durante sua leitura e gravação , o layout/formato do disco é a proteção contra riscos aos seus dados em repouso, que são formas de defeitos de hardware, como setores ilegíveis, ou silencioso bit rot .

Em relação a ext4, que se diz ter boas características em relação a sua base de código testada há muito tempo ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault % 202016_0.pdf mostra que demorou mais para encontrar bugs nele do que, por exemplo, no mais moderno e mais complexo btrfs), eu tenho olhei para a resistência ext4 em repouso e encontrou algumas deficiências de imho, do sistema de arquivos mais elogiado.

Eu consideraria prudente (se escolhido ext4 como o " backup sólido como uma rocha fs") para melhorar a capacidade de recuperação (embora "endurecendo-o") usando o e2image ferramenta os desenvolvedores de ext4 providenciar

O programa e2image salvará metadados críticos do sistema de arquivos ext2, ext3 ou ext4 localizados no dispositivo em um arquivo especificado por arquivo de imagem. O arquivo de imagem pode ser examinado por dumpe2fs e debugfs, usando a opção -i para esses programas. Isso pode ajudar um especialista na recuperação de sistemas de arquivos catastroficamente corrompidos. No futuro, o e2fsck será aprimorado para poder usar o arquivo de imagem para ajudar a recuperar um sistema de arquivos muito danificado.

e recomendar .

É uma idéia muito boa criar arquivos de imagem para todos os sistemas de arquivos em um sistema e salvar o layout da partição (que pode ser gerado usando o comando fdisk -l) em intervalos regulares --- no momento da inicialização e/ou todas as semanas ou tão. O arquivo de imagem deve ser armazenado em algum sistema de arquivos diferente do sistema de arquivos cujos dados ele contém, para garantir que esses dados estejam acessíveis no caso de o sistema de arquivos ter sido muito danificado.

Considerando que nem todos os meta-dados de ext4 no layout do disco são fornecidos com redundância (ou seja, o superbloco é armazenado commenly várias vezes como uma cópia, indoes são armazenados em exatamente 1 lugar apenas), o ext4 é certamente inferior com btrfs que forneceria pelo menos somas de verificação para todos metadados + os dados de conteúdo do arquivo.

Para neutralizar essa "deficiência" de ext4 e torná-lo mais rock-solid coisa no aspecto de no layout do disco , pode ser razoável complementar esta redundância e recuperação do conteúdo do arquivo via par2/ parchive

Apesar da questão exigir o foco nas soluções do sistema de arquivos, gostaria de chamar a atenção para que muito do que um sistema de arquivos fornece (cache, diários, recuperação de espaço alocado, alocação de blocos, etc.) não é necessariamente algo de que os dados de backup irão se beneficiar muito quando apenas escrito e lido em massa e rarley. Para isso, consideraria usar um backup de parchive suplemento tar como a solução de backup mais ideal, pois a base de código usada no processo é reduzida e, portanto, há menos bugs se houver menos "recursos".

0
humanityANDpeace

o btrfs tem soma de verificação transparente de dados gravados no disco e um modo rápido de gravação ordenada que está sempre ativado (e muitos outros recursos amigáveis ​​para backup), o que o torna atraente para backups. Veja https://btrfs.wiki.kernel.org/index.php/Main_Page para mais detalhes.

0
durin42