12.12 HERD¶
12.12.1 概况¶
| 服务类型 | 资源量 | 说明 |
|---|---|---|
| 登录节点 | lxlogin.ihep.ac.cn | |
| 计算资源 | 804 核(可共享使用空闲或远程资源) | HTCondor: HepJob |
| VNC等服务 | herdtb01 | 使用容器 |
| home目录 | /afs/ihep.ac.cn/users/ | 500MB |
| 工作目录 | /herdfs/data, /herdfs/user | 详见12.12.3 存储目录 |
12.12.2 账号申请¶
- 申请计算集群账号
请参考4.1 账号申请,得到 HERD 实验计算负责人同意后,用户可获得 AFS 账号。
12.12.3 存储目录¶
用户可用的存储目录分为两种,一种为计算集群提供的公共存储空间,另一种为 HERD 项目自有的存储空间。可用的公共存储空间包括 AFS 目录下的个人用户目录(限额 500M)等。
HERD 项目自有的存储空间有两部分:
| 存储路径 | 配额 | 特点 | 使用说明 |
|---|---|---|---|
| /herdfs/data | 不同项目需求动态控制 | 工作目录,大容量 | 用户目录在 USER 下建立,data 下不允许擅自建目录 |
| /herdfs/user | — | 用户目录 | 存放个人文件 |
12.12.4 作业管理¶
HERD 使用HepJob工具集进行作业管理。HepJob 是对 HTCondor 原生命令的封装,针对高能所集群做了优化,用户应当使用 HepJob 而非 HTCondor 原生命令。
环境设置¶
将 HepJob 命令目录加入 PATH:
作业提交:hep_sub¶
常用参数:
| 参数 | 说明 |
|---|---|
-g herd |
指定使用 HERD 组的计算资源 |
-o |
标准输出文件(默认作业名.out) |
-e |
标准错误文件(默认作业名.err) |
-n |
批量提交 N 个作业 |
-mem |
申请内存大小(MB) |
-np |
申请核数(MPI 作业用) |
-os |
指定操作系统版本(如 SL7) |
注意
作业脚本(如job.sh)必须具有可执行权限。使用chmod +x job.sh赋予权限。
作业查询:hep_q¶
输出字段说明:JOBID作业号,OWNER所属用户,SUBMITTED提交时间,RUN_TIME运行时长,ST状态(I=idle, R=running),PRI优先级,SIZE虚拟内存占用,CMD作业程序名。
作业删除:hep_rm¶
# 删除指定作业hep_rm3745232.1# 删除整个作业簇hep_rm3745232# 同时删除多个作业hep_rm37452323745233.0# 删除当前用户所有作业hep_rm-a# 强制删除 X 状态作业hep_rm-a-forcex
提示
所有 HepJob 命令均支持-h查看帮助,例如hep_sub -h。
使用本地资源¶
提交作业到高能所本地集群(默认方式):
不指定-rmt参数时,作业默认调度到高能所本地的 HTCondor 计算节点(herdws001-012,共 804 核)。
使用东莞资源¶
提交作业到东莞站点,使用-rmt参数指定远程站点:
查询命令和删除命令,同样在默认命令基础上,添加-rmt参数。
东莞站点提供额外的计算资源,适用于本地集群繁忙或需要更大规模计算的任务。
12.12.5 网格认证¶
HERD 使用INDIGO IAM进行网格认证管理,地址:https://herd-iam.ihep.ac.cn。
IAM 支持 OIDC/WLCG Token、SAML/eduGain、IHEP-SSO 以及 X.509 证书 + VOMS 代理多种认证方式。
注册 IAM 账号¶
- 访问https://herd-iam.ihep.ac.cn
- 选择登录方式(推荐 IHEP-SSO 或 eduGain)
- 填写注册表单,提交后等待管理员审批
- 审批通过后即可登录 IAM 获取 Token 或 VOMS 代理
获取 Token / VOMS 代理¶
- WLCG Token:IAM 默认支持 WLCG JWT Profile,可在 Web 界面直接生成
- VOMS 代理:VOMS AA 服务地址
herd-iam.ihep.ac.cn:8443,VO 名herd
12.12.6 网格数据管理¶
HERD 网格数据管理基于Rucio系统:https://herd-rucio.ihep.ac.cn。
Rucio 用于 HERD 实验数据集的注册、分发、复制和生命周期管理。目前面向生产用户开放。
环境初始化¶
常用操作¶
存储端点¶
HERD 网格存储端点由各合作站点提供,管理员联系zhangxuantong@ihep.ac.cn注册 SE 到 Rucio。
12.12.7 软件与环境¶
HERD 离线软件HERDOS已部署在 CVMFS 上,包含探测器模拟(Geant4)、数字化、重建、分析等完整工具链。
通过 CVMFS 使用¶
# CentOS 7 / AlmaLinux 9source/cvmfs/herd.ihep.ac.cn/HERDOS/centos7_amd64_gcc850/Release/v00-10/ExternalLibs/bashrc.sh
| 版本 | 环境命令 |
|---|---|
| v00-10 | source /cvmfs/herd.ihep.ac.cn/HERDOS/centos7_amd64_gcc850/Release/v00-10/setup.sh |
| v00-06 | source /cvmfs/herd.ihep.ac.cn/HERDOS/SLC7/Pre-release/v00-06/setup.sh |
| v00-05 | source /cvmfs/herd.ihep.ac.cn/HERDOS/SLC7/Pre-release/v00-05/setup.sh |
详细发布说明参见/cvmfs/herd.ihep.ac.cn/HERDOS/README。
自行编译¶
gitclonegit@code.ihep.ac.cn:herdos/offline.gitcdofflinegitcheckoutv00-10./build_RelWithDebInfo.shsourceinstall/setup.sh
12.12.8 其他管理服务¶
HERD 提供以下辅助管理服务,运行在herdtb01节点上,均以容器方式部署:
| 服务 | 说明 |
|---|---|
| VNC | 远程图形桌面,用于 ROOT/Geant4 可视化等 |
注意
如想新增更多服务,请联系 HERD 计算管理员。
12.12.9 服务支持¶
HERD 计算管理员:
| 管理员 | 邮箱 |
|---|---|
| 姜晓巍 | jiangxw@ihep.ac.cn |
| 张玄同 | zhangxuantong@ihep.ac.cn |
常见问题(FAQ)¶
见常见问题。
有问题?输入后跳转到对话页继续交流