跳转至

8.3 Lustre 文件存储

8.3.1 概述

Lustre 是一个开源、可扩展的高性能面向对象的并行文件系统,被广泛应用于超级计算平台。在全球的超级计算机中有超过 70% 使用了 Lustre 文件系统。Lustre 由元数据服务器(MDS)、对象存储服务器(OSS)以及客户端组成。通过元数据服务器,Lustre 将所有对象存储服务器上存储设备组成统一的存储空间,提供给客户端挂载,完全兼容 POSIX 语义。Lustre 具有很强的可扩展性,能够轻松管理数十 PB 的存储空间,且具有极高的性能,聚合带宽能够达到每秒几十甚至上百 GB,因此其在高性能计算领域获得广泛应用。但是,由于 Lustre 元数据服务器的限制,在管理海量小文件时不具有优势,且不支持纠删码、副本等功能,因此 Lustre 文件系统被主要用于海量的实验数据存储。Lustre 是目前计算中心最主要的磁盘文件系统。

Lustre 是高性能计算平台中使用规模最大的文件系统,提供 BES、DYB、JUNO 等多个实验海量存储服务。当前 Lustre 文件系统的信息如表 8.3-1 所示:

总空间(TB) 用途 用户限额 备份情况
/bes3fs 2500 BESIII 生产数据 原始数据有磁带备份,其它无备份
/besfs4 2500 BESIII 生产数据 原始数据有磁带备份,其它无备份
/besfs5 2400 BESIII 生产数据,BESIII group数据,用户数据 users目录每人50GB使用空间,group目录各组不同 原始数据有磁带备份,其它无备份
/besfs7 3600 BESIII 生产数据 原始数据有磁带备份,其它无备份
/besfs8 3300 BESIII 生产数据 原始数据有磁带备份,其它无备份
/besfs9 4000 BESIII 生产数据 原始数据有磁带备份,其它无备份
/besfs10 4100 BESIII 生产数据 原始数据有磁带备份,其它无备份
/publicfs 3000 ATLAS,CMS,LHCB,UCAS分池共享数据盘 每人5TB使用空间,30万文件数 各组资源完全隔离使用,无备份
/sharefs 1500 Alicpt,BES,HBKG,HEPS,MBH分池共享数据盘 各组资源完全隔离使用,无备份
/scratchfs 572 用户临时文件 每人500GB使用空间,20万文件数 无备份
/scratchfs2 1300 用户临时文件(逐步替换/scratchfs) 每人500GB使用空间,20万文件数 无备份
/workfs2 22 用户个人文件(推荐保存重要文件或结果) 每人5GB使用空间,5万文件数 全盘备份
/cefs 2500 CEPC 实验数据,用户数据 无备份
/junofs 3100 JUNO 实验数据 每人500GB使用空间,30万文件数 无备份
/lustre/juno26 2600 JUNO 实验数据 每人500GB使用空间,30万文件数 无备份
/lustre/junoflash 88 JUNO 实验数据 无备份
/dybfs2 1400 DYB 实验数据,用户数据 每人1TB使用空间,30万文件数 原始数据有磁带备份,其它无备份
/gecamfs 2200 GECAM 实验数据 无备份
/hxmtfs 1300 HXMT 实验数据 每人home目录500G使用空间,5万文件数;data目录5T使用空间,100万文件数 无备份
/hxmtfs2 2200 HXMT 实验数据 无备份
/hpcfs 1800 Slurm集群GPU应用数据 无备份
/lhaasofs 610 LHAASO 用户数据 每人200GB使用空间,50万文件数 无备份
/epfs 610 EP 实验数据,用户数据 无备份
/extpfs 610 EXTP 实验数据,用户数据 无备份
/herdfs 1700 HERD 实验数据,用户数据 每人200GB使用空间,30万文件数 无备份
/hepsfs 645 BSRF 实验数据,用户数据 无备份
/hepsdatafs 29000 HEPSBL 中心存储实验数据 无备份
/lustrefs/atlas 635 ATLAS 实验数据,用户数据 无备份
/lustrefs/alicpt 1300 ALICPT 实验数据,用户数据 无备份
/aifs 194 IHEPAI 人工智能相关应用数据,用户数据 每人home目录500G使用空间,50万文件数 无备份
/sdcfs 1700 SDC 汇交数据,用户数据 汇交数据有备份,其他无备份
表 8.3-1 Lustre 文件系统信息说明
  • Lustre 文件系统完全支持 Linux POSIX 语义,用户可以使用 Linux 文件系统访问命令及 API 访问 Lustre。

  • 如果需要使用用户 ACL 和扩展属性功能,请提交请求至:ics@ihep.ac.cn

  • /workfs 专用于用户交互使用,即在登录节点上可以读写,但是计算节点上用户无法在 /workfs 下新建和修改文件,即用户作业在运行时无法向 /workfs 目录下写入或修改文件。

8.3.2 常用命令

查看用户的资源配额

lfsquota-uusernamedirname

例如:

lfsquota-uzhangsan/publicfs

输出示例:

quotas for user zhangsan (uid XXXX):Filesystem kbytes quota limit grace files quota limit grace/publicfs 338626804 524288000 524288000 - 232010 300000 300100(已用空间) (软空间配额) (硬空间配额) (已存文件数) (软文件数配额)

查看 /besfs5/user、/besfs5/group 下各目录的配额使用情况

  1. 在特定目录下,对任意一个普通文件(非目录)执行命令lsattr -p,查看该目录的 project id:

    lsattr-pnohup.out

    输出示例:

    1097 -----------------P nohup.out

    发现这个目录的 project id 是1097。

  2. 执行命令lfs quota -p 1097 /besfs5,查看该目录的配额使用情况:

    lfsquota-p1097-h/besfs5

    输出示例:

    Disk quotas for prj 1097 (pid 1097):Filesystem used quota limit grace files quota limit grace/besfs5 1.362T* 50G 50G - 293249 0 0 -

查看 Lustre 文件系统中每个磁盘池的空间使用情况

lfsdf-h-ppoolnamedirname

-p参数带磁盘池的名字,例如 ATLAS 组有acfs.atlaspool,CMS 组有acfs.cmspool,LHCb 组有acfs.lhcbpool。

示例如下:

lfsdf-h-pacfs.lhcbpool/publicfslfsdf-pacfs.atlaspool/publicfs|tail-n3

输出示例:

filesystem summary: 934854246652 267931989532 619787497356 30% /publicfs

设置文件分条存储,提高并发访问单个文件的性能

命令格式:

lfssetstripe-cndirname

n为分条数量。

示例如下:

lfssetstripe-c6yourdirname# 分 6 条存储

目录下面的文件会继承目录的分条属性,如果想单独指定文件的分条格式,可以先touch一个空文件,并设置其分条属性。

设置目录的 ACL

例如:目录/besfs4/wanglutest的属主是root:root,属性是750,作为用户wanglu(60007:600)是没有权限访问的:

ll/besfs4|grepwanglutest

输出示例:

drwxr-x---+ 2 root root 4096 May 11 15:24 wanglutest
cd/besfs4/wanglutest

输出示例:

-bash: cd: /besfs4/wanglutest: Permission denied

为用户 wanglu 在这个目录下设置权限:

setfacl-muser:wanglu:rwx/besfs4/wanglutest

查看 wanglu 的权限:

getfacl/besfs4/wanglutest

输出示例:

getfacl: Removing leading '/' from absolute path names# file: besfs4/wanglutest# owner: root# group: rootuser::rwxuser:wanglu:rwxgroup::r-xmask::rwxother::---

现在就可以读写了:

cd/besfs4/wanglutestcp/etc/hosts.ls-lh

输出示例:

total 3.1M-rw-r--r-- 1 wanglu u07 3.0M May 11 15:22 f1-rw-r--r-- 1 wanglu u07 292 May 11 15:38 hosts

删除用户的 ACL 权限:

setfacl-xuser:wanglu/besfs4/wanglutest

注意

  1. 只有目录的属主可以操作目录的 ACL 权限。
  2. 设置过 ACL 权限后,ls -l目录会多一个+,此时 Linux 原来的 permission 规则会失效。
  3. 可以对一个组添加 ACL:setfacl -m group:xxx /xxx/xxx。

如果要恢复 Linux 原来的权限设置,即清除ls -l后面的+,可以用setfacl -b命令:

setfacl-b/besfs4/wanglutest

完整的 ACL 语法规则可查看PosixAccessControlInLinux.pdf,或者查阅 Linux manpage:

mangetfaclmansetfacl

常见问题(FAQ)

见常见问题。

AI 助手
快速提问 ×

有问题?输入后跳转到对话页继续交流

Baidu
map