Linux日志式文件系统面面观_unix linux

    文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件,其实现了数据完整性的保 证,也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的数据以外,一个文件系统同样存储和管理关于文件和文件系统自身的一些重要信息(例如:日期时间、属主、访问权限、文件大小和存储位置等等)。这些信息通常被称为元数据(metadata)。

  由于为了避免磁盘访问瓶颈效应,一般文件系统大都以异步方式工作,因此如果磁盘操作被突然中断可能导致数据被丢失。例如如果出现这种情况:如果当你处理一个在linux的ext2文件系统上的文档,突然机器崩溃会出现什么情况?

  有这几种可能:

  *当你保存文件以后,系统崩溃。这是最好的情况,你不会丢失任何信息。只需要重新启动计算机然后继续工作。

  *在你保存文件之前系统崩溃。你会丢失你所有的工作内容,但是老版本的文档还会存在。

  *当正在将保存的文档写入磁盘时系统崩溃。这是最糟的情况:新版文件覆盖了旧版本的文件。这样磁盘上只剩下一个部分新部分旧的文件。如果文件是二进制文件那么就会出现不能打开文件的情况,因为其文件格式和应用所期待的不同。

  在最后这种情况下,如果系统崩溃是发生在驱动器正在写入元数据时,那么情况可能更糟。这时候就是文件系统发生了损坏,你可能会丢失整个目录或者整个磁盘分区的数据。

  linux标准文件系统(ext2fs)在重新启动时会通过调用文件扫描工具fsck试图恢复损坏的元数据信息。由于ext2文件系统保存有冗余的关键元数据信息的备份,因此一般来说不大可能出现数据完全丢失。系统会计算出被损坏的数据的位置,然后或者是通过恢复冗余的元数据信息,或者是直接删除被损坏或是元数据信息损毁的文件。

  很明显,要检测的文件系统越大,检测过程费时就越长。对于有几十个G大小的分区,可能会花费很长时间来进行检测。由于Linux开始用于大型服务器中越来越重要的应用,因此就越来越不能容忍长时间的当机时间。这就需要更复杂和精巧的文件系统来替代ext2。

  因此就出现了日志式文件系统(journalling filesystems)来满足这样的需求。
什么是日志式文件系统

  这里仅仅对日志式文件系统进行简单的说明。如果需要更深入的信息请参考文章日志式文件系统,或者是日志式文件系统介绍。

  大多数现代文件系统都使用了来自于数据库系统中为了提高崩溃恢复能力而开发的日志技术。磁盘事务在被真正写入到磁盘的最终位置以前首先按照顺序方式写入磁盘中日志区(或是log区)的特定位置。

  根据日志文件系统实现技术的不同,写入日志区的信息是不完全一样的。某些实现技术仅仅写文件系统元数据,而其他则会记录所有的写操作到日志中。

  现在,如果崩溃发生在日志内容被写入之前发生,那么原始数据仍然在磁盘上,丢失的仅仅是最新的更新内容。如果当崩溃发生在真正的写操作时(也就是日志内容已经更新),日志文件系统的日志内容则会显示进行了哪些操作。因此当系统重启时,它能轻易根据日志内容,很快地恢复被破坏的更新。

  在任何一种情况下,都会得到完整的数据,不会出现损坏的分区的情况。由于恢复过程根据日志进行,因此整个过程会非常快只需要几秒钟时间。

  应该注意的是使用日志文件系统并不意味着完全不需要使用文件扫描工具fsck了。随机发生的文件系统的硬件和软件错误是根据日志是无法恢复的,必须借助于fsck工具。

  目前Linux环境下的日志文件系统

  在下面的内容里将讨论三种日志文件系统:第一种是ext3,由Linux内核Stephen Tweedie开发。ext3是通过向ext2文件系统上添加日志功能来实现的,目前是redhat7.2的默认文件系统;Namesys开发的ReiserFs日志式文件系统,可以下载,目前Mandrake8.1采用该日志式文件系统。SGI在2001年三月发布了XFS日志式文件系统。可以在 oss.sgi.com/projects/xfs/下载。下面将对这三种日志文件系统采用不同的工具进行检测和性能测试。

安装ext3

  关于ext3文件系统技术方面的问题请参考Dr. Stephen Tweedie的论文和访谈。ext3日志式文件系统直接来自于其祖先ext2文件系统。其具有完全向后兼容的关键特性,实际上其仅仅是在ext2日志式文件系统上添加了日志功能。其最大的缺点是没有现代文件系统所具有的能提高文件数据处理速度和解压的高性能。

  ext3从 2.2.19开始是作为一个补丁方式存在的。如果希望对内核添加对ext3文件系统的支持,就需要使用补丁,可以得到补丁程序,一共需要如下文件:

  * ext3-0.0.7a.tar.bz2:内核补丁

  * e2fsprogs-1.21-WIP-0601.tar.bz2 支持ext3的e2fsprogs程序套件

  拷贝linux-2.2.19.tar.bz2和ext3-0.0.7a.tar.bz2到/usr/src目录下,进行解压:

  mv linux linux-old
  tar -Ixvf linux-2.2.19.tar.bz2
  tar -Ixvf ext3-0.0.7a.tar.bz2
  cd linux
  cat ../ext3-0.0.7a/linux-2.2.19.kdb.diff | patch -sp1
  cat ../ext3-0.0.7a/linux-2.2.19.ext3.diff | patch -sp1

  首先对内核添加SGI的kdb内核调试器补丁,第二个是ext3文件系统补丁。下来就需要配置内核,对文件系统部分的"Enable Second extended fs development code"回答Yes。然后编译。

  内核编译安装以后,需要安装e2fsprogs软件套件:

  tar -Ixvf e2fsprogs-1.21-WIP-0601.tar.bz2
  cd e2fsprogs-1.21
  ./configure
  make
  make check
  make install

  下来要做的工作就是在分区上创建一个ext3文件系统,使用新内核重新启动,这时候你有两种选择创建新的日志文件系统或者对一个已有的ext2文件系统升级到ext3日志文件系统。

  对于需要创建新ext3文件系统的情况下,只需要使用安装的e2fsprogs软件包中的mke2fs命令加-f参数就可以创建新的ext3文件系统:

  mke2fs -j /dev/xxx

  这里/dev/xxx是希望创建ext3文件系统的新分区。-j参数表示创建ext3而不是ext2文件系统。可以使用参数"-Jsize="来指定希望的日志区大小(n单位为M)。

  升级一个已有的ext2,使用tune2fs就可以了:

  tune2fs -j /dev/xxx

  你可以对正在加载的文件系统和没有加载的文件系统进行升级操作。如果当前文件系统正在被加载,则文件.journal会在文件系统加载点的所在目录被创建。如果是升级一个当时没有加载的文件系统,则使用隐含的系统inode来记录日志,这时候文件系统的所有内容都会被保留不被破坏。

  你可以使用下面的命令加载ext3文件系统:

  mount -t ext3 /dev/xxx /mount_dir

  由于ext3实际上是带有日志功能的ext2文件系统 ,因此一个ext3文件系统可以以ext2的方式被加载。

  安装XFS文件系统

  如果需要从技术方面了解XFS文件系统,请参考SGI的XFS文件系统和SGI信息页面。也可以参考FAQ。

  XFS是一个SGI开发的linux环境下的日志文件系统,它是一个成熟的技术,最初是使用在IRIX系统上的文件系统。XFS遵循GPL版权申明。目前xfs文件系统最新版本是1.02。下载得到对内核xfs文件系统支持补丁或者直接下载RPM包方式的内核,下面我们就以补丁方式说明如何对2.4.14内核使用xfs。首先下载如下内容

  patch-2.4.14-xfs-1.0.2.bz2
  patch-2.4.14-xfs-1.0.2-kdb.bz2

  拷贝Linux内核linux-2.4.2.tar.bz2到 /usr/src目录下,修改老的内核目录名,然后解压新内核:

  mv linux linux-old
  tar -Ixf inux-2.4.2.tar.bz2

  拷贝每个每个补丁到内核源码目录下(例如:/usr/src/linux),并打补丁:

  zcat patch-2.4.14-xfs-1.0.2.bz2 | patch -p1
  zcat patch-2.4.14-xfs-1.0.2-kdb.bz2 | patch -p1

  然后配置内核,打开文件系统部分的内核选项:"XFS filesystem support" (CONFIG_XFS_FS)和"Page Buffer support" (CONFIG_PAGE_BUF)。同时需要升级下面这些系统工具到下面或更高的版本:

  modutils-2.4.0
  autoconf-2.13
  e2fsprogs-devel-1.18

  安装新内核并重启服务器。

  然后下载xfs工具。这个软件包包括下面的命令来处理文件系统,使用下面的命令来安装该软件包::

  tar -zxf xfsprogs-1.2.0.src.tar.gz
  cd xfsprogs-1.2.0
  make configure
  make
  make install

  安装这些命令以后,就可以创建新的XFS文件系统:

  mkfs -t xfs /dev/xxx

  如果xxx是一个已经存在的文件系统,那么就需要使用"-f"参数来创建新分区,但是记得这将会破坏该分区的所有数据。

  mkfs -t xfs -f /dev/xxx

  创建以后就可以使用基于下面的命令加载新文件系统:

  mount -t xfs /dev/xxx /mount_dir 

    安装ReiserFS文件系统

  如果希望更多地从技术方面了解reiserFS文件系统,请参考NAMESYS和FAQ。

  ReiserFS文件系统从2.4.1-pre4开始就是Linux内核的正式支持的文件系统了。为了使用reiserFS文件系统那你首先需要在系统上安装文件系统支持工具(如:创建ReiserFS文件系统的mkreiserfs工具)。最新的ReiserFS文件系统版本可以以补丁的方式添加到2.2.x或者2.4.x内核中。这里我们以2.2.19为例:

  第一步,首先下在内核源码,并下在ReiserFS文件系统的2.2.19补丁 ,目前补丁最新版本是linux-2.2.19-reiserfs-3.5.34-patch.bz2。同时应该下载工具软件包:reiserfsprogs-3.x.0j.tar.gz。

  然后解压内核源码和补丁包到/usr/src中:

  tar -Ixf linux-2.2.19.tar.bz2
  bzcat linux-2.2.19-reiserfs-3.5.34-patch.bz2 | patch -p0

  编译内核支持reiserfs,安装内核。然后安装文件系统工具软件:

  cd /usr/src/linux/fs/reiserfs/utils
  make
  make install

  安装新内核并重新启动。现在就可以创建新的reiserfs文件系统,并加载:

  mkreiserfs /dev/xxxx
  mount -t reiserfs /dev/xxx /mount_dir

  文件系统性能测试

  测试环境使用的计算机环境如下:Pentium III - 16 Mb RAM - 2 Gb HD,操作系统为RedHat6.2。所有的文件系统都能正常工作,所以就进行benchmark分析来对它们进行性能比较。首先我直接拔掉系统电源以模拟系统掉电情况,以测试日志文件系统恢复过程。所有的文件系统都成功地经过了文件扫描检测阶段,在数秒以后系统都经过了扫描然后正常启动了系统。

  下一步就采用了bonnie++性能测试程序进行测试,这个程序对一个文件进行数据库类型的访问,进行了创建、读和删除小文件,这些操作对于Squid、INN或者Maildir格式的邮件服务器程序(qmail)是最常见的操作。性能测试命令为:

  bonnie++ -d/work1 -s10 -r4 -u0

  其对加载在/work1目录下的文件系统进行了10Mb(-s10)的测试。因此在执行测试之前必须创建适当类型的文件系统并加载到目录/work1下。其他的参数指定内存大小(-r4)的M数,和以root身份运行测试程序,测试结果如下:

    每种测试都有两组数据:文件系统速度(K/sec)和CPU占用率(%CPU)。速度越高,文件系统越好。而对于CPU率来说,数字越小性能越好。可以看到Reiserfs文件系统在文件操作方面(Sequential Create和Random Create部分的) 的性能最好,超出其他文件系统10倍之多。在其他方面(Sequential Output和Sequential Input)则和其他文件系统性能不相上下。对于其他文件系统则没有特别明显的区别。XFS性能接近ext2文件系统,ext3文件系统则比ext2要稍微慢上一些(因为记录日志需要一些额外的时间)。 最后使用从得到的性能测试程序mongo,并对其进行了修改以对三种日志文件系统进行测试。这里在mongo.pl程序中添加了添加了加载xfs和ext3文件系统的命令,并对其进行格式化处理,然后就开始性能测试分析。 该脚本格式划分区/dev/xxxx,加载其并在每个阶段运行指定数目的进程:创建、拷贝、符号连接处理、读、显示文件状态信息、重命名和删除文件。同时,该程序在创建和拷贝阶段以后会计算分段数(fragmentation)。

  Fragm = number_of_fragments / number_of_files

  可以在结果文件中得到同样的测试比较结果:

  log - 原始结果
  log.tbl - 比较程序的输出结果
  log_table - 表格式的结果

  下面的命令进行测试:

  mongo.pl ext3 /dev/hda3 /work1 logext3 1

  如果要测试其他文件系统,就需要把上面命令的参数中的ext3修改为reiserfs或xfs。其他参数分别为要加载的分区,加载路径,保存测试结果的文件名及启动的进程数。

  下面的表格是测试结果。数据单位为秒。值越低性能越好。第一个表格测试使用的数据块大小为100字节,第二个表格为1000字节,最后一个为10000字节

  从上面的表格可以看到ext3在状态删除和重命名方面要性能更好一些,而ReiserFS文件系统在文件创建和拷贝性能表现更出色。同时也可以看到reiserFS正如其技术文档提到的其在小文件处理方面性能相当出色。

  结论

  目前Linux至少有两个健壮可靠的日志文件系统可供选择(XFS和reiserFS),其都得到了广泛的应用。例如Mandrake8.1就默认支持reiserFS文件系统。

  从性能测试的结果可以看到,reiserFS是最好的选择。

 

 

时间: 2022-12-25

Linux日志式文件系统面面观_unix linux的相关文章

linux目录详解linux目录结构详细分析_unix linux

根文件系统一般应该比较小,因为包括严格的文件和一个小的不经常改变的文件系统不容易损坏.损坏的根文件系统一般意味着除非用特定的方法(例如从软盘)系统无法引导,所以不应该冒这个险.根目录一般不含任何文件,除了可能的标准的系统引导映象,通常叫/vmlinuz .所有其他文件在根文件系统的子目录中. /bin 引导启动所需的命令或普通用户可能用的命令(可能在引导启动后). /sbin 类似/bin ,但不给普通用户使用,虽然如果必要且允许时可以使用. /etc 特定机器的配置文件. /root root

Linux管理员手册(1)--系统概述_unix linux

本章概述Linux系统.首先描述操作系统提供的主要服务.然后说明实现这些服务的程序 with a considerable lack of detail.本章的目的是理解系统整体,以后再详细说明每个部分. 一个操作系统的不同部分 一个UNIX操作系统包括一个核心程序kernel和一些系统程序system programs.还有一些做某件事情的应用程序application programs.核心是操作系统的心脏 .它跟踪磁盘上的文件,启动程序并运行它们,给不同的进程分配内存和其他资源,从网络接收

LINUX安全管理的基本技巧_unix linux

LINUX安全管理的基本技巧 中华信息阵地 http://www.cnxxz.net 作者:greeniceLinux作为是一个开放源代码的免费操作系统,以其高效隐定的优秀品质,越来越受到用户们的欢迎,并在全世界不断普及开来.相信在不久的将来Linux还会得到更大更快的发展.虽然,Linux和Unix很相似,但是它们之间还是有不少重要的差别.对于很多习惯了UNIX和Windows的系统管理员来讲,如何保证Linux操作系统的安全可靠将面临许多新的挑战.本文在此将给大家介绍一些Linux管理安全的

Linux系统管理技巧大荟萃_unix linux

作为桌面操作系统,Linux的人机界面可真是不敢恭维,但是,作为网络操作系统,其易用性(对于NOS而言)和高性能恐怕是很难有能出其右的.当然,这并不是说它的操作很简单,而是说若能掌握一些技巧,无论是系统设置还是网络管理都能变得轻松自如.随心所欲. ●禁止终端模式下的显示器自动节能 大部分PC上安装Linux后,在终端模式下也能实现自动关闭显示器的功能,但是假如我们要在显示器上即时显示一些信息,如:网络流量.包分析等,这个功能就变得非常讨厌了.采用修改CMOS和系统属性都无法解决,解决的办法是用s

Linux不完全手册(三)_unix linux

linux系统目录结构介绍篇 linux系统有其特定的文件系统的目录组织结构,了解这些目录结构是学习基本知识的基本.下面我以redhatlinux为蓝本介绍一下这些目录结构.目录名 简介 /bin 这个目录是系统中最主要的可执行文件的存放地,这些可执行文件大都是linux系统里最常用的命令了,一般用户和超级用户都会经常使用其下的命令,如:ls.su.mount等. /etc 是系统内部存放配置文件的最主要场所,一般和系统关系十分密切的配置文件都放在该目录下,也就是说对系统的配置主要就是对该目录下

Linux环境下的备份_unix linux

Linux系统管理员常常问的一个问题是:如何备份我的系统?对于windows系统来说,进行备份是很简单的工作(仅仅需要在菜单模式下点击鼠标就可以完成). Linux备份工作则要麻烦的多,若你不熟悉Linux系统文件和设备,情况则会变得更糟.该篇文章讨论了在Linux环境下保护数据的方法和相关的设备信息. 1.什么是备份? 最简单的讲,备份数据的过程就是拷贝重要的数据到其他的介质之上(通常是可移动的),以保证在原始数据丢失的情况下可以恢复数据.一次备份可能是简单的cp命令,将一个文件复制到其他目录

Linux网络服务器配置入门(一)_unix linux

要建立一个安全Linux服务器就首先要了解Linux环境下和网络服务相关的配置文件的含义及如何进行安全的配置.在Linux系统中,TCP/IP网络是通过若干个文本文件进行配置的,也许你需要编辑这些文件来完成联网工作,但是这些配置文件大都可以通过配置命令linuxconf(其中网络部分的配置可以通过netconf命令来实现)命令来实现.下面介绍基本的 TCP/IP网络配置文件. * /etc/conf.modules 文件 该配置文件定义了各种需要在启动时加载的模块的参数信息.这里主要着重讨论关于

修改Linux主机名的方法_unix linux

执行命令 hostname,修改当前系统的主机名 # hostname newhost 修改 /etc/sysconfig/network,使得下次启动时使用新的主机名 hostname=newhost 修改 /etc/hosts.不修改的话,apache等需要解析主机名的服务将不能启动 127.0.0.1 newhost localhost 最后就是命令行提示符中的主机名还没有改变,如果很在意的话,重新登录一下就行了 以上是小编为您精心准备的的内容,在的博客.问答.公众号.人物.课程等栏目也有

Linux下的软件开发_unix linux

    1.如何升级.编译内核? 如果你不想改变内核的版本,直接转到以下第四步. 1)在任何一个子目录下(但通常是在/usr/src/下)untar解开新的内核源程序: tar xvfz linux-x.x.xx.tar.gz (例如linux-2.0.35.tar.gz) 或者是打补丁(patch):  gzip -cd patch-2.0.35.gz | patch -p0 打完补丁直接跳到第四步 2)rm /usr/src/linux   这通常是一个符号连接. 3)在 /usr/src/