8.6 磁带库存储服务¶
8.6.1 磁带库存储概况¶
高能所计算中心采用 LTO 磁带作为长期存储的主要介质,采用 EOSCTA 作为磁带存储软件。EOSCTA 由两部分组成,包括前端 EOS 文件系统和后端 CTA 磁带库管理软件,实现了分级存储的功能。当前高性能计算平台中计算节点和登录节点均已安装部署了 EOSCTA 环境。目前提供 BES、DYB、JUNO、LHAASO、HEPS 等实验磁带存储服务。
8.6.2 磁带库使用权限¶
申请使用权限¶
拥有了计算平台账号的用户如果希望使用磁带存储,首先要向相关实验应用负责人提出申请,由负责人联系计算中心为用户开放使用权限。届时用户将收到电子邮件通知。
- BES 实验计算负责人:文硕频wensp@ihep.ac.cn电话:88236067
- DYB 实验计算负责人:何苗hem@ihep.ac.cn电话:88233823
- JUNO 实验计算负责人:邓子艳dengzy@ihep.ac.cn电话:88236067
- LHAASO 应用负责人:吴超勇wucy@ihep.ac.cn电话:88236106
- HEPS 应用负责人:赵海峰zhaohf@ihep.ac.cn电话:88236437
客户端安装¶
如果需要从本地机器上访问磁带库数据,可安装相关的磁带库客户端 RPM 包,包括 eos-client 和 xrootd-client。
使用环境配置¶
编辑.bashrc,添加环境变量:
8.6.3 磁带库常用命令¶
下文简要介绍了一些 EOSCTA 常用命令。由于 EOSCTA 使用的是 EOS 文件系统,命令格式类似,可参考8.4 EOS 文件存储。
查看 EOSCTA 目录¶
命令格式:
或者: 向 EOSCTA 读写文件之前,用户要先检查是否有 EOSCTA 目录。普通用户查看
BES 实验组用户查看
BES 在线用户查看
JUNO 用户查看
LHAASO 用户查看
HXMT 用户查看
HEPS 用户查看
DYB 用户查看
YBJ 用户查看
如果没有用户可以操作的磁带库目录,请与计算中心联系。
查看文件状态¶
eos ls -ly命令可以查看文件在 EOSCTA 中的状态。
eosls-ly/eos/juno/juno-raw/global_trigger/00016000/00016600/16692/RUN.16692.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260717230430.051.dateosls-ly/eos/juno/juno-raw/global_trigger/00016000/00016600/16658/RUN.16658.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260715172928.001.dateosls-ly/eos/juno/juno-raw/global_trigger/00016000/00016600/16692/RUN.16692.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260717232121.064.dat
输出示例:
d1::t1 -rw-r--r-- 2 junospad juno 5028937795 Jul 17 23:08 RUN.16692.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260717230430.051.datd0::t1 -rw-r--r-- 1 junospad juno 5094192704 Jul 16 01:56 RUN.16658.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260715172928.001.datd1::t0 -rw-r--r-- 1 junospad juno 5121071095 Jul 17 23:25 RUN.16692.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260717232121.064.dat
其中:
d1::t1表示有磁盘副本和磁带副本d1::t0表示有磁盘副本但尚未写到磁带d0::t1表示已经写到磁带已无磁盘副本
有磁盘副本的文件,可以像正常的 EOS 文件一样进行数据拷贝,没有磁盘副本的则需要参考下文数据取回进行。
数据备份¶
使用eos cp或xrdcp命令将数据备份到 EOSCTA 中。
# XrdCPxrdcp/local/fileroot://eoscta//eos/filexrdcproot://remote//fileroot://eoscta//eos/file# EOS CPeoscp/local/file/eos/fileeoscproot://remote/file/eos/file
数据取回¶
从 EOSCTA 中取回数据是一个复合过程。
eos ls -ly查询是否有磁盘副本eosls-ly/eos/juno/juno-raw/global_trigger/00016000/00016600/16658/RUN.16658.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260715172928.001.dat输出示例:
xrdfs prepare召回文件xrdfsroot://junocta01.ihep.ac.cnprepare-sRUN.16692.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260717232121.064.dat输出示例:
查询召回状态
eosls-ly/eos/juno/juno-raw/global_trigger/00016000/00016600/16658/RUN.16658.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260715172928.001.dat或者:
xrdfsroot://junocta01.ihep.ac.cnqueryprepare04462401de00000203320000000000000150:6e957524.6a0a672f:2:1784302337/eos/juno/juno-raw/global_trigger/00016000/00016600/16658/RUN.16658.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260715172928.001.dat输出示例:
{"request_id" : "04462401de00000203320000000000000150:6e957524.6a0a672f:2:1784302337","responses" :[{"error_text" : "","has_reqid" : true,"on_tape" : true,"online" : false,"path" : "/eos/juno/juno-raw/global_trigger/00016000/00016600/16658/RUN.16658.JUNODAQ.Physics.ds-daqs5-0.global_trigger.20260715172928.001.dat","path_exists" : true,"req_time" : "1784302338","requested" : true}]}d0::t1或"online": false表示还未从磁带中取回,d1::t1或"online": true表示已经从磁带中取回。拷贝到外部存储
重命名文件或目录¶
用eos mv或eos file rename进行。
创建新目录¶
使用eos mkdir,类似于 Linux 操作系统命令的mkdir。命令格式:
新的用户目录由管理员或用户创建。
删除文件或目录¶
eos rm命令用于删除 EOS 文件或目录,其也支持目录的递归删除(-r选项)。命令格式:
注意
删除的文件无法恢复,请谨慎使用删除命令!
修改文件权限¶
eos chmod命令用于修改文件权限。 命令格式:
8.6.4 磁带库使用注意事项¶
只能保存大文件(>100MB)¶
小文件会导致磁带空间的浪费。如果有小文件需要保存,建议先打包成为一个大文件后,再写入磁带。打包命令举例:
tar-cvftxt.tar*.txt# 将目录中的所有 txt 文件打包成 txt.tartar-cvfhome.tar/myhome# 将 myhome 目录打包成 home.tartar-czvfdata.tar.gz/data01# 将 /data01 目录压缩并打包成 data.tar
EOSCTA 不是文件备份系统¶
EOSCTA 是磁带库存储和管理系统,不具有自动备份文件的能力,某个文件的重复删除和写入会导致空间的浪费。
8.6.5 CASTOR 迁移的目录¶
由于之前使用过 CASTOR 作为磁带库管理软件,已将 CASTOR 存储的数据都迁移到 EOSCTA,下表为对应目录,方便用户查找。 | CASTOR目录 | EOSCTA目录 | | ------ | ------ | | /castor/ihep.ac.cn/bes/bes2 | /eos/bes3/castor/bes2 | | /castor/ihep.ac.cn/bes/epcback | /eos/bes3/castor/epcback | | /castor/ihep.ac.cn/bes/offline | /eos/bes3/offline | | /castor/ihep.ac.cn/bes/run | /eos/bes3/run | | /castor/ihep.ac.cn/dyb/dybfs | /eos/dyb/dybfs |
常见问题(FAQ)¶
见常见问题。
有问题?输入后跳转到对话页继续交流