跳转至

12.12 HERD

12.12.1 概况

服务类型 资源量 说明
登录节点 lxlogin.ihep.ac.cn
计算资源 804 核(可共享使用空闲或远程资源) HTCondor: HepJob
VNC等服务 herdtb01 使用容器
home目录 /afs/ihep.ac.cn/users/ 500MB
工作目录 /herdfs/data, /herdfs/user 详见12.12.3 存储目录

12.12.2 账号申请

  • 申请计算集群账号

请参考4.1 账号申请,得到 HERD 实验计算负责人同意后,用户可获得 AFS 账号。

12.12.3 存储目录

用户可用的存储目录分为两种,一种为计算集群提供的公共存储空间,另一种为 HERD 项目自有的存储空间。可用的公共存储空间包括 AFS 目录下的个人用户目录(限额 500M)等。

HERD 项目自有的存储空间有两部分:

存储路径 配额 特点 使用说明
/herdfs/data 不同项目需求动态控制 工作目录,大容量 用户目录在 USER 下建立,data 下不允许擅自建目录
/herdfs/user — 用户目录 存放个人文件

12.12.4 作业管理

HERD 使用HepJob工具集进行作业管理。HepJob 是对 HTCondor 原生命令的封装,针对高能所集群做了优化,用户应当使用 HepJob 而非 HTCondor 原生命令。

环境设置

将 HepJob 命令目录加入 PATH:

exportPATH=/cvmfs/common.ihep.ac.cn/software/hepjob/bin:$PATH

作业提交:hep_sub

hep_sub-gherdjob.sh

常用参数:

参数 说明
-g herd 指定使用 HERD 组的计算资源
-o 标准输出文件(默认作业名.out)
-e 标准错误文件(默认作业名.err)
-n 批量提交 N 个作业
-mem 申请内存大小(MB)
-np 申请核数(MPI 作业用)
-os 指定操作系统版本(如 SL7)

注意

作业脚本(如job.sh)必须具有可执行权限。使用chmod +x job.sh赋予权限。

作业查询:hep_q

# 查看当前用户所有作业hep_q# 查看指定用户的作业hep_q-u# 查看指定作业号hep_q-i3745232.1# 查看正在运行的作业hep_q-run

输出字段说明:JOBID作业号,OWNER所属用户,SUBMITTED提交时间,RUN_TIME运行时长,ST状态(I=idle, R=running),PRI优先级,SIZE虚拟内存占用,CMD作业程序名。

作业删除:hep_rm

# 删除指定作业hep_rm3745232.1# 删除整个作业簇hep_rm3745232# 同时删除多个作业hep_rm37452323745233.0# 删除当前用户所有作业hep_rm-a# 强制删除 X 状态作业hep_rm-a-forcex

提示

所有 HepJob 命令均支持-h查看帮助,例如hep_sub -h。

使用本地资源

提交作业到高能所本地集群(默认方式):

hep_sub-gherdjob.sh

不指定-rmt参数时,作业默认调度到高能所本地的 HTCondor 计算节点(herdws001-012,共 804 核)。

使用东莞资源

提交作业到东莞站点,使用-rmt参数指定远程站点:

hep_sub-gherd-rmtjob.sh

查询命令和删除命令,同样在默认命令基础上,添加-rmt参数。

东莞站点提供额外的计算资源,适用于本地集群繁忙或需要更大规模计算的任务。

12.12.5 网格认证

HERD 使用INDIGO IAM进行网格认证管理,地址:https://herd-iam.ihep.ac.cn。

IAM 支持 OIDC/WLCG Token、SAML/eduGain、IHEP-SSO 以及 X.509 证书 + VOMS 代理多种认证方式。

注册 IAM 账号

  1. 访问https://herd-iam.ihep.ac.cn
  2. 选择登录方式(推荐 IHEP-SSO 或 eduGain)
  3. 填写注册表单,提交后等待管理员审批
  4. 审批通过后即可登录 IAM 获取 Token 或 VOMS 代理

获取 Token / VOMS 代理

  • WLCG Token:IAM 默认支持 WLCG JWT Profile,可在 Web 界面直接生成
  • VOMS 代理:VOMS AA 服务地址herd-iam.ihep.ac.cn:8443,VO 名herd

12.12.6 网格数据管理

HERD 网格数据管理基于Rucio系统:https://herd-rucio.ihep.ac.cn。

Rucio 用于 HERD 实验数据集的注册、分发、复制和生命周期管理。目前面向生产用户开放。

环境初始化

source/cvmfs/herd.ihep.ac.cn/grid/env.sh

常用操作

# 列出可用 RSE(存储端点)ruciolist-rses# 列出数据集ruciolist-dids--filtertype=DATASET# 下载数据ruciodownload

存储端点

HERD 网格存储端点由各合作站点提供,管理员联系zhangxuantong@ihep.ac.cn注册 SE 到 Rucio。

12.12.7 软件与环境

HERD 离线软件HERDOS已部署在 CVMFS 上,包含探测器模拟(Geant4)、数字化、重建、分析等完整工具链。

通过 CVMFS 使用

# CentOS 7 / AlmaLinux 9source/cvmfs/herd.ihep.ac.cn/HERDOS/centos7_amd64_gcc850/Release/v00-10/ExternalLibs/bashrc.sh
版本 环境命令
v00-10 source /cvmfs/herd.ihep.ac.cn/HERDOS/centos7_amd64_gcc850/Release/v00-10/setup.sh
v00-06 source /cvmfs/herd.ihep.ac.cn/HERDOS/SLC7/Pre-release/v00-06/setup.sh
v00-05 source /cvmfs/herd.ihep.ac.cn/HERDOS/SLC7/Pre-release/v00-05/setup.sh

详细发布说明参见/cvmfs/herd.ihep.ac.cn/HERDOS/README。

自行编译

gitclonegit@code.ihep.ac.cn:herdos/offline.gitcdofflinegitcheckoutv00-10./build_RelWithDebInfo.shsourceinstall/setup.sh

12.12.8 其他管理服务

HERD 提供以下辅助管理服务,运行在herdtb01节点上,均以容器方式部署:

服务 说明
VNC 远程图形桌面,用于 ROOT/Geant4 可视化等

注意

如想新增更多服务,请联系 HERD 计算管理员。

12.12.9 服务支持

HERD 计算管理员:

管理员 邮箱
姜晓巍 jiangxw@ihep.ac.cn
张玄同 zhangxuantong@ihep.ac.cn

常见问题(FAQ)

见常见问题。

AI 助手
快速提问 ×

有问题?输入后跳转到对话页继续交流

Baidu
map