跳转至

8.9 gfs 对象存储

8.9.1 快速开始

登录

访问https://gfs.ihep.ac.cn/,使用高能所统一认证账号登录。

在网页上获取 Access Key 和 Secret Key。获取 Access Key 和 Secret Key

Linux 客户端挂载

  1. 安装 jcli 客户端

    选择对应 CPU 架构的 jcli 客户端下载链接:

    • amd64:https://file-ocloud.ihep.ac.cn/jcli/amd64/jcli
    • arm64:https://file-ocloud.ihep.ac.cn/jcli/arm64/jcli

    例如:在 Linux 环境下,使用 wget 或 curl 下载 jcli 客户端工具包。

    wgethttps://file-ocloud.ihep.ac.cn/jcli/amd64/jcli# 赋予执行权限chmod+xjcli

    配置至用户的 HOME 目录的 bin 下,确保可直接在命令行使用 jcli 命令操作。

    mkdir$HOME/bin/cpjcli$HOME/bin/exportPATH=$PATH:$HOME/binecho"export PATH=$PATH:$HOME/bin">>~/.bashrc
  2. 配置认证信息

    jcliauth
    • 输入 Access Key 和 Secret Key
    • 输入网关地址(访问端点)https://fgws3-gfs.ihep.ac.cn
    • 代理可不选
    • 存储桶可上下键选择或手动输入桶名

    交互过程示例:

    jcli auth请输入AccessKey(当前值:[]):WKYxxxxxxxxxxxxxxxb4请输入SecretKey(当前值:[]):ZEDxxxxxxxxxxxxxxxpZ请输入服务端点 多个服务端点用 , 隔开(当前值:[]): https://fgws3-gfs.ihep.ac.cn请输入代理服务信息(可选):请选择默认使用的Bucket:> xxxxxx-testbucket01 [list,read,write]保存配置文件成功:保存路径: .\.jcli\token\auth
  3. 查看存储桶详细信息

    jclils

    若能输出无报错,则配置正确,可进行后续操作。

  4. 挂载

    jclimount-f{挂载点}--daemon

    例如:

    mkdir/scratchfs2/cc/username/gfs_bucket# 创建挂载点jclimount-f/scratchfs2/cc/username/gfs_bucket/--daemon# 执行挂载,提示"调用子进程运行服务..."ls/scratchfs2/cc/username/gfs_bucket/# 验证挂载是否成功,若能看到目录下文件,则表明挂载成功# 输出示例:'Jwanfs 用户手册【简易版】.pdf' mydir tmp 演示目录df-h# 查看挂载状态# 输出示例:20005-ihep-imel-120624 512G 3.0M 512G 1% /scratchfs2/cc/username/gfs_bucket

    随后可像访问本地目录一样访问该存储桶内的文件。

Windows 客户端挂载

  • 下载链接:

  • 配置环境变量,将 jcli.exe 所在的目录添加到环境变量中。

    1. 找到 jcli 文件的位置。
    2. 右键点击电脑屏幕左下角的 Windows 图标,选择"系统"。
    3. 在系统窗口左侧,点击"高级系统设置"。
    4. 在系统属性窗口中,点击"环境变量"按钮。
    5. 在环境变量窗口中,找到"系统变量"下的"Path"变量,然后点击"编辑"。
    6. 在编辑环境变量窗口中,点击"新建",然后输入 jcli 文件所在的目录路径。
    7. 点击"确定"保存更改。
  • 下载软件 WinFSP:点击此处下载。下载好后,双击安装 WinFSP。

  • 配置认证信息:Win+R 输入cmd,调出命令行窗口,输入jcli auth进行配置 AK、SK、服务端点(同 Linux 端)。配置好后,在命令行窗口输入jcli mount -f Z: --daemon进行挂载。

8.9.2 网页端访问

网页地址:https://gfs.ihep.ac.cn/

请使用高能所统一认证账号申请权限并登录系统。账户开通后,将自动为您提供 1TB 的默认存储空间。

gfs 网页界面

桶管理

系统提供包括创建、删除、扩容、回收站等功能。

桶管理界面

文件管理

单击桶名进入文件管理界面。

桶内文件遵循网盘级的用户操作逻辑与数据管理模式,提供如下功能:

  • 发布资源
  • 上传文件
  • 下载文件
  • 创建目录
  • 预览文件:在文件列表页面点击...,在菜单中点击预览可以直接预览文件,预览文件时文件无需下载至本地
  • 删除文件(回收站中文件默认保存30 天)
  • 分享文件(可选分享时长、设置分享密码)

文件管理功能列表

文件上传下载

在文件列表页面点击上传文件会进入上传文件流程。

上传文件弹窗中可以添加更多文件或确认上传。

上传文件

右键选中文件,单击下载即可。

文件分享

点击文件分享生成共享链接与访问密码:文件分享

分享的文件在分享列表可以查看,复制分享信息。分享列表

注意

  • 可自定义分享期限和访问密码
  • 只能分享文件,无法分享目录
  • 所分享的目标被删除后分享链接仍然有效,但无法下载文件

预览文件

在文件列表页面点击...,在菜单中点击预览可以直接预览文件。 是否可以使用预览功能与文件类型有关,支持文件类型:

  • 图片:jpg、png 等

  • 视频:mp4、avi 等

  • 文档:pdf、docx 等

  • 音频:mp3、wav 等

  • 文本:txt、md 等

  • 高能物理数据文件:root、h5

资源发布

用户可将文件/目录发布至资源广场,供平台其他用户下载。

初次发布资源需要先在我的店铺页添加一个店铺,填写名称、概述、分类及标签后完成创建。添加店铺

在文件列表页面点击...,在菜单中点击发布资源会进入发布资源流程。

发布资源输入资源信息即可将对应文件或目录发布至资源广场提供用户下载。

在我的店铺页可查看已发布资源,获取下载链接,也可在资源广场看到该店铺及资源。已发布资源列表

密钥管理(重要)

密钥(AK 和 SK)是系统识别用户的唯一凭证,使用密钥访问网关的操作代表密钥所属人的操作,请妥善保管自己的认证信息。

资源广场

用户发布的资源可以从这里获取详细信息,并下载。

如果您想快速找到特定的资源,可以使用搜索功能。在资源广场页面的搜索框中输入您想要查找的资源的关键字。

资源广场

个人设置

可修改昵称、邮箱等。

8.9.3 官方客户端

JWanFS 提供官方客户端 jcli,推荐直接使用官方客户端访问。此外 JWanFS 还支持通用的 S3 接口,可直接使用 S3 客户端访问平台资源。

软件下载

下载链接:

CPU 架构 / 操作系统 Windows MacOS Linux
Intel/AMD 64bit(amd64/x86) 下载 下载 下载
ARM/Apple-Silicon(arm64/aarch64) 下载 下载 下载

配置环境变量

  • Linux

    • 一键安装
      curlhttps://file-ocloud.ihep.ac.cn/get-jcli.sh|bash
    • 手动安装(推荐) 下载客户端程序

      wget{下载链接}
      把 jcli 拷贝至用户的 HOME 目录的 bin 下(普通用户)
      mkdir$HOME/bin/cpjcli$HOME/bin/exportPATH=$PATH:$HOME/binecho"export PATH=$PATH:$HOME/bin">>~/.bashrc

      或配置至/usr/bin(root 用户)

      sudocpjcli/usr/bin/
      安装完成后执行jcli version以确认是否安装成功。

  • Windows

    在 Windows 系统中,点击下载链接下载客户端可执行文件,将 jcli 添加到环境变量中以便于全局使用,可以按照以下步骤操作:

    1. 找到 jcli 文件的位置。
    2. 右键点击电脑屏幕左下角的 Windows 图标,选择"系统"。
    3. 在系统窗口左侧,点击"高级系统设置"。
    4. 在系统属性窗口中,点击"环境变量"按钮。
    5. 在环境变量窗口中,找到"系统变量"下的"Path"变量,然后点击"编辑"。
    6. 在编辑环境变量窗口中,点击"新建",然后输入 jcli 文件所在的目录路径。
    7. 点击"确定"保存更改。

填写认证信息

手动输入配置

复制网页上获得的 AK、SK 以及文件网关,配置客户端并选择对应的存储桶。

网页获取密钥示意图:网页获取密钥示意图

网页获取网关信息示意图:网页获取网关信息示意图

也可在密钥管理页面点击接入指南查看可使用网关节点。接入指南

jcli 配置认证信息命令:

jcliauth# 或 jcli auth -e 重置配置
其中,

  • AccessKey/SecretKey:输入从网页端获取的密钥。

  • 服务端点:输入你选择的网页上的网关,例如https://fgws3-gfs.ihep.ac.cn

  • Bucket 选择:按提示选择默认存储桶。

注意

通过jcli auth可生成 aksk 对应的认证文件,后续 jcli 将通过该认证文件访问 gfs 存储。 也可以通过jcli auth -e重置配置,重新填写认证信息。

生成 jcli token 配置

在密钥管理页点击生成 JCLI Token。生成 JCLI Token

在展开的选项卡中依次选择桶和网关,复制生成的 token 或命令,在安装好了 jcli 的控制台粘贴,即可快速完成 jcli 认证的配置。

Token 配置命令

配置文件说明

jcli 支持指定配置文件的位置,默认位置为~/.jcli/token/auth。

jcli-auth=/你的路径/认证文件名auth

创建完成后,用这个认证文件操作时,只需要加上-auth=/你的路径/认证文件名就可以了。 例如:

jcli-auth=/你的路径/认证文件名ls/

如果想把它设为默认认证文件,后面再加个-default:

jcli-auth=/你的路径/认证文件名auth-default

挂载作为虚拟磁盘

  • Linux

    • 确保已经安装 FUSE,一般系统已经内置,如果未安装可参考如下命令进行安装:

      CentOS/openEuler 等使用 rpm 包的系统运行如下命令进行安装:

      sudoyuminstallfusefuse3
      Ubuntu/Debian 等使用 deb 包的系统运行如下命令进行安装:
      sudoaptinstallfuse
      - 确保已经配置好jcli auth:执行查看目录命令jcli ls,若正确输出目录下文件无报错,则配置正确。

    • 挂载作为共享目录

      • 挂载后配置权限
        jclimount-f{挂载点}--daemon
        例1:修改 /tmp/host 文件权限为 0644(rw-r--r--)
        # 隐性指定参数jclichmod0644/tmp/host# 显性指定参数jclichmod-r/tmp/host-mode0644
        例2:修改 /tmp/host 文件所有者为 root
        # 隐性指定参数jclichownroot/tmp/host# 显性指定参数jclichown-r/tmp/host-uroot
      • 挂载时指定访问权限

        jclimount/lact\-bucket20001-lact\-mode-mnt"0770"\-mode-mnt-uid0\-mode-mnt-gid1000\-mode-uid0\-mode-gid1000\--daemon
        参数说明:

        • -mode-mnt "0770":仅允许所有者(root)和所属组(lact)读写。

        • -mode-*-gid 1000:强制文件归属为 GID 1000 的组。

  • Windows

    • 下载软件 WinFSP:点击此处下载
    • 确保已经配置好jcli auth
    • 执行挂载命令jcli mount {盘符},Windows 的盘符必须从大写的 A-Z 中选取。

      jclimountZ:
      - 即可像使用本地磁盘一样使用 JWanFS 统一存储空间

  • MacOS

    Mac 挂载需要安装 MacFUSE,点击下载安装。

  • 挂载路径示例

若使用jcli mount Z:挂载到"我的电脑",或使用jcli mount /home/lhaaso/testuser/gfs挂载到 Linux 服务器,则路径映射关系如下表所示。

桶内路径 Windows Linux
Image.jpg Z:\Image.jpg /home/lhaaso/testuser/gfs/Image.jpg

卸载

手动卸载会强制将目录内容写回磁盘,保障数据安全。

# 个人目录umount/home/lhaaso/testuser/gfs# 或共享目录sudoumount/lact

交互模式

直接执行jcli将进入交互界面,支持常见命令如ls、cd、put、get等,使用方式与 Linux Shell 类似。

  • jcli put等子命令可实现一次性文件上传,
  • jcli mount提供持续挂载的方式用于长时间读写。
  • jcli help可查看详细命令说明。
全局参数:--help 参数值类型:bool打印帮助信息-ak 参数值类型:stringAccessKey-auth 参数值类型:string认证文件路径-bucket 参数值类型:string默认存储桶-endpoint 参数值类型:string服务端点地址-sk 参数值类型:stringSecretKey子命令列表:命令 别名 作用auth 认证服务cat 查看文件内容chmod 修改对象权限chown 修改对象权限config 配置认证信息cp copy 复制对象cron crontab,task 定时任务管理rm delete,del 删除文件du size 计算文件或目录大小etag 计算文件ETagexpire 获取AKSK过期时间file-server 启动文件服务器ftp 启动FTP服务端提供局域网用户访问get pull,download 下载文件head 查看文件首部内容list ls,ll 查看文件列表md5sum md5 计算文件MD5mkdir 创建目录mount 挂载存储桶mv move,rename 移动或重命名远端文件put push,upload 上传文件quota 获取文件信息stat stats,info 获取文件信息symlink 修改对象权限sync 同步对象tail 查看文件尾部内容token 创建临时AKSKupdate 更新客户端版本

客户端升级

若需要使用新功能,可通过如下命令更新 jcli 客户端。

jcliupdate-d

8.9.4 第三方兼容客户端

NetMount

NetMount 是一个简单、易用、高效的开源云存储管理工具。它可以将云存储整合为本地文件系统,使用户能无缝访问云端资源,通过虚拟文件系统技术实现高效操作,简化数据管理,提供流畅的云-本地交互体验。

打开 NetMount 点击管理,点击添加进入添加流程,选择对象存储进入下一步。NetMount 添加存储

填写桶信息以添加 JWanFS 存储桶。NetMount 桶信息配置

其中,存储名称为在 NetMount 中的名称,可自定义。

桶为 JWanFS 的存储桶,Endpoint为文件网关 S3 网关地址。

Access Key ID 与 Secret Access Key 填写 OSCA 的认证 AK 与 SK。

注意事项

启用force_path_style,选择List Object Version为V2后保存。

云卷(Cloud Volume)

云卷(Cloud Volume)是一款面向 macOS、Windows、Linux 的 Flutter 桌面客户端,可以一站式管理 S3 兼容对象存储、WebDAV 与百度网盘。它不只是一个"桶列表 + 上传下载"工具,还内置本地缓存、可挂载 WebDAV 视图、应用级回收站、分享链接管理与任务队列,更贴近桌面文件管理器的工作流。

云卷项目仓库与发行包:

项目主页:https://github.com/lfhy/cloud-volume

GitHub Release(macOS / Windows / Linux 桌面版 + CLI):在仓库 Releases 页下载最新版本。

8.9.5 SDK

gfs 对象存储兼容 S3 协议,可使用各语言的 AWS S3 SDK 访问。程序接入时通常只需要配置四项信息:

  • Endpoint:gfs S3 网关地址,例如https://fgws3-gfs.ihep.ac.cn
  • AccessKeyId/AccessKeySecret:访问密钥
  • Region:可使用us-east-1
  • Path-Style:必须开启路径模式,避免 SDK 将桶名解析成子域名

安装 SDK

gogetgithub.com/aws/aws-sdk-go
pip3installboto3

Maven 项目在pom.xml中添加:

software.amazon.awssdks32.24.0
npminstall@aws-sdk/client-s3
composerrequireaws/aws-sdk-php

初始化客户端

以下示例中的AccessKeyId、AccessKeySecret、your-bucket-name请替换为实际信息。

import("github.com/aws/aws-sdk-go/aws""github.com/aws/aws-sdk-go/aws/credentials""github.com/aws/aws-sdk-go/aws/session""github.com/aws/aws-sdk-go/service/s3")funcnewS3Client()*s3.S3{conf:=&aws.Config{Region:aws.String("us-east-1"),Endpoint:aws.String("https://fgws3-gfs.ihep.ac.cn"),Credentials:credentials.NewStaticCredentials("AccessKeyId","AccessKeySecret",""),S3ForcePathStyle:aws.Bool(true),DisableSSL:aws.Bool(false),}sess:=session.Must(session.NewSession(conf))returns3.New(sess)}
importboto3frombotocore.configimportConfigs3_client=boto3.client('s3',endpoint_url='https://fgws3-gfs.ihep.ac.cn',aws_access_key_id='AccessKeyId',aws_secret_access_key='AccessKeySecret',region_name='us-east-1',use_ssl=True,config=Config(s3={'addressing_style':'path'}),# 必须开启路径模式)
importsoftware.amazon.awssdk.auth.credentials.AwsBasicCredentials;importsoftware.amazon.awssdk.auth.credentials.StaticCredentialsProvider;importsoftware.amazon.awssdk.regions.Region;importsoftware.amazon.awssdk.services.s3.S3Client;importsoftware.amazon.awssdk.services.s3.S3Configuration;importjava.net.URI;publicclassS3ClientFactory{publicstaticS3Clientcreate(){returnS3Client.builder().region(Region.US_EAST_1).endpointOverride(URI.create("https://fgws3-gfs.ihep.ac.cn")).credentialsProvider(StaticCredentialsProvider.create(AwsBasicCredentials.create("AccessKeyId","AccessKeySecret"))).serviceConfiguration(S3Configuration.builder().pathStyleAccessEnabled(true).build()).build();}}
const{S3Client}=require('@aws-sdk/client-s3');consts3Client=newS3Client({endpoint:'https://fgws3-gfs.ihep.ac.cn',region:'us-east-1',credentials:{accessKeyId:'AccessKeyId',secretAccessKey:'AccessKeySecret',},forcePathStyle:true,});
require'vendor/autoload.php';useAws\S3\S3Client;$s3=newS3Client(['version'=>'latest','region'=>'us-east-1','endpoint'=>'https://fgws3-gfs.ihep.ac.cn','use_path_style_endpoint'=>true,'credentials'=>['key'=>'AccessKeyId','secret'=>'AccessKeySecret',],]);

基本操作

下面示例演示上传、列举、下载和删除一个对象。对象 Key 建议使用目录/文件名形式,例如demo/hello.txt;拼接路径时不要让文件名以/开头,避免生成//。

import("bytes""fmt""io""github.com/aws/aws-sdk-go/aws""github.com/aws/aws-sdk-go/service/s3")funcdemo(){svc:=newS3Client()bucket:="your-bucket-name"key:="demo/hello.txt"_,err:=svc.PutObject(&s3.PutObjectInput{Bucket:aws.String(bucket),Key:aws.String(key),Body:bytes.NewReader([]byte("hello gfs")),})iferr!=nil{fmt.Println("上传失败:",err)return}list,_:=svc.ListObjects(&s3.ListObjectsInput{Bucket:aws.String(bucket)})for_,obj:=rangelist.Contents{fmt.Printf("%s %d\n",*obj.Key,*obj.Size)}obj,err:=svc.GetObject(&s3.GetObjectInput{Bucket:aws.String(bucket),Key:aws.String(key),})iferr!=nil{fmt.Println("下载失败:",err)return}deferobj.Body.Close()data,_:=io.ReadAll(obj.Body)fmt.Println(string(data))_,_=svc.DeleteObject(&s3.DeleteObjectInput{Bucket:aws.String(bucket),Key:aws.String(key),})}
bucket='your-bucket-name'key='demo/hello.txt's3_client.put_object(Bucket=bucket,Key=key,Body=b'hello gfs')print('上传完成')resp=s3_client.list_objects_v2(Bucket=bucket,Prefix='demo/')forobjinresp.get('Contents',[]):print(obj['Key'],obj['Size'])obj=s3_client.get_object(Bucket=bucket,Key=key)print(obj['Body'].read().decode('utf-8'))s3_client.delete_object(Bucket=bucket,Key=key)print('删除完成')
importsoftware.amazon.awssdk.core.sync.RequestBody;importsoftware.amazon.awssdk.services.s3.S3Client;importsoftware.amazon.awssdk.services.s3.model.DeleteObjectRequest;importsoftware.amazon.awssdk.services.s3.model.GetObjectRequest;importsoftware.amazon.awssdk.services.s3.model.ListObjectsV2Request;importsoftware.amazon.awssdk.services.s3.model.PutObjectRequest;importjava.nio.charset.StandardCharsets;publicclassGfsDemo{publicstaticvoidmain(String[]args){Stringbucket="your-bucket-name";Stringkey="demo/hello.txt";try(S3Clients3=S3ClientFactory.create()){s3.putObject(PutObjectRequest.builder().bucket(bucket).key(key).build(),RequestBody.fromString("hello gfs"));s3.listObjectsV2(ListObjectsV2Request.builder().bucket(bucket).prefix("demo/").build()).contents().forEach(obj->System.out.println(obj.key()+" "+obj.size()));byte[]data=s3.getObjectAsBytes(GetObjectRequest.builder().bucket(bucket).key(key).build()).asByteArray();System.out.println(newString(data,StandardCharsets.UTF_8));s3.deleteObject(DeleteObjectRequest.builder().bucket(bucket).key(key).build());}}}
const{PutObjectCommand,ListObjectsV2Command,GetObjectCommand,DeleteObjectCommand,}=require('@aws-sdk/client-s3');asyncfunctiondemo(){constbucket='your-bucket-name';constkey='demo/hello.txt';awaits3Client.send(newPutObjectCommand({Bucket:bucket,Key:key,Body:'hello gfs',}));constlist=awaits3Client.send(newListObjectsV2Command({Bucket:bucket,Prefix:'demo/',}));for(constobjof(list.Contents||[])){console.log(obj.Key,obj.Size);}constfile=awaits3Client.send(newGetObjectCommand({Bucket:bucket,Key:key,}));console.log(awaitfile.Body.transformToString());awaits3Client.send(newDeleteObjectCommand({Bucket:bucket,Key:key,}));}demo().catch(console.error);
$bucket='your-bucket-name';$key='demo/hello.txt';$s3->putObject(['Bucket'=>$bucket,'Key'=>$key,'Body'=>'hello gfs',]);echo"上传完成\n";$list=$s3->listObjectsV2(['Bucket'=>$bucket,'Prefix'=>'demo/',]);foreach($list['Contents']??[]as$obj){echo$obj['Key'].' '.$obj['Size']."\n";}$file=$s3->getObject(['Bucket'=>$bucket,'Key'=>$key,]);echo$file['Body']."\n";$s3->deleteObject(['Bucket'=>$bucket,'Key'=>$key,]);echo"删除完成\n";

使用提示

  • AccessKeyId 和 AccessKeySecret 是访问凭证,请勿写入公开代码仓库。
  • 单次列举默认只返回一部分对象;对象很多时需要按 SDK 提供的翻页参数继续查询。
  • 大文件上传建议使用 SDK 的分块上传能力。

8.9.6 概念简介

gfs 是基于 JWanFS 构建的统一对象存储实例。系统实施了严格的用户级数据隔离机制,确保每位用户拥有独立、安全的专属存储空间。同时,gfs 打通了操作系统壁垒,支持 Windows、Linux、macOS 等多平台环境下的无缝访问,为用户提供类网盘式的轻量化、便捷化数据管理体验。

桶(Bucket)

功能类似你熟悉的文件系统根目录,是 JWanFS 里存储数据的顶层容器。 桶的名称全局唯一,创建后无法修改。 命名规则:只能包括小写字母、数字和短划线(-),必须以小写字母或者数字开头和结尾。

服务端点(文件网关 Endpoint)

用户访问数据的入口,格式为:IP+端口

gfs 目前提供一个负载均衡网关,可直接使用https://fgws3-gfs.ihep.ac.cn。

访问密钥(AccessKey 与 SecretKey)

访问密钥(由 AccessKey 与 SecretKey 组成)是用户访问 JWanFS 存储服务的核心身份认证凭证,用于对访问请求进行权限校验,保障数据访问的安全性。用户可通过系统网页管理端获取该密钥信息。

附录

其他使用方式见客户端手册:jwanfs 手册。

常见问题(FAQ)

见常见问题。

AI 助手
快速提问 ×

有问题?输入后跳转到对话页继续交流

Baidu
map