第六届先进光源中子源科学数据与软件研讨会

随着人工智能技术的发展，材料科学已迈入“数据+AI”的第四范式。建立面向AI的国家级材料数据基础设施意义重大。同步辐射作为基础研究设施，是重要的数据来源，能够批量产生大量有价值的材料数据，其数据利用价值尤为突出。新范式下，数据使用转向高度定制化的“数据集”。因此，数据基础设施的核心并非静态汇聚，而是打造高维度、动态更新的标准化“全息数据源”，完整涵盖材料合成、表征与性能环节，从而按需源源不断地组合出高质量的 AI-ready...

上海光源作为先进的表征平台，在解析物质微观结构、动态行为及极端条件下物性方面具有不可替代的作用。面对实验数据量激增与用户对智能化实验日益增长的需求，上海光源正在系统推进大科学装置AI4S建设，旨在通过数据服务能力提上与人工智能技术应用革新大科学装置的运行与科学发现模式。本报告将介绍上海光源在智能设施架构与数据治理体系等方面的整体布局与实践进展。
在智能设施架构方面，通过整合数据中心高性能集群与光束线边缘服务节点，上海光源已形成支持在线预处理与动态算力调度的“边云协同”智能算力底座。基于智能算力底座进一步研发自主可控的数据快速处理框架，深度集成于晶体学与成像线站数据处理流水线，大幅加速了数据处理效率。在数据治理体系方面，研制了覆盖上海光源用户实验全流程的大数据管理平台，统一元数据标准，实现从课题申请、实验执行到数据分析与共享的全生命周期管理。
...

同步辐射光源实验产生的海量成像数据，给 I/O 与存储系统带来了巨大压力。现有压缩方案难以兼顾光源场景下对高吞吐、高保真及多算法灵活集成的需求。为此，我们研制了面向光源数据流的压缩工具包 PhotonZip。PhotonZip 从三个维度实现统一支撑：支持 CPU/GPU 异构环境的统一部署；覆盖无损与有损压缩的统一策略；集成传统与 AI 压缩方法的统一软件框架。在无损压缩模式下，PhotonZip 显著提升了压缩与解压缩速度，并大幅提高了数据 I/O 性能。通过提供 Python API 与 HDF5 Filter 等标准化接口，PhotonZip 构建了涵盖在线缩减、存储传输与后分析处理的完整工具链，为同步辐射光源场景下的数据压缩提供高性能、可扩展的软件解决方案。

先进光源类大科学装置（包括第四代同步辐射光源与X射线自由电子激光等）具有高亮度、低发射度、高相干性等优异性能，能够支撑高通量、多模态、超快频率、原位及动态加载等前沿实验方法。随着此类装置的建成与运行，科学数据的总量与产出速率相比传统光源装置提升了3至4个数量级，年数据通量急剧增长，对数据管理提出全新挑战。
为应对先进光源科学数据管理的重大需求，高能所计算中心数据团队自主研发了科学数据管理软件框架DOMAS。该框架核心功能模块包括：元数据访问接口可视化自动生成工具、数据传输模块、元数据提取与处理模块以及数据服务网站。目前，DOMAS已在多个大科学装置成功部署与应用，涵盖高能同步辐射光源（HEPS）、上海硬X射线自由电子激光装置、中国散裂中子源（CSNS）等，并拓展应用于空间粒子天体物理实验领域。
自2025年底，高能同步辐射光源（HEPS）已完成项目验收并投入试运行。DOMAS为H...

硬X射线自由电子激光装置（SHINE）进入密集的线站安装联调阶段，实验数据不仅仅是采集落盘问题，而是贯穿实验提案、在线采集、事件构建、数据迁移、离线索引与长期保存的一整套流程。我们围绕SHINE实验数据管理软件系统（基于DOMAS构建），按装置科学数据管理策略，与线站数据采集（DAQ）、离线事件构建（Event Builder）协同，在SES...

中国高能同步辐射光源（HEPS）已于 2025 年底完成设施建设，截止目前已经完成了多轮调光测试与数据采集。根据测试情况，来自不同领域的上层应用呈现出跨平台分析、数据访问不可中断、短时高速数据产生等特征。这对数据存储系统的兼容性、可用性以及聚合读写性能提出了挑战。我们在“热-温-冷”三层存储架构的基础上，通过拓展各个组件的能力来满足应用需求。例如采用TCP & RoCE并行网络架构、双活共享存储、部署HA软件等

随着中国散裂中子源（CSNS）合作谱仪的开放运行及CSNS-II谱仪的建设，其数据量预计超2PB/年，且作为用户类装置，其数据来源广、涉及学科多、计算复杂度高。为了整合这些数据资源，实现数据从采集->传输->存储->分析->共享->知识发现的全生命周期的管理，CSNS基于Lustre和EOSCTA建设分级存储系统，并为支撑未来光源与中子源数据的融合分析及跨装置共享使用，将数据管理平台由ICAT向DOMAS数据管理与编排框架演进。本文首先介绍CSNS的数据存储现状，在存储体系方面，CSNS采用分级存储架构，满足数据全生命周期的差异化需求。中心存储基于分布式文件系统Lustre，实现实验数据及分析数据的存储；后端归档层基于EOSCTA和CTS，通过策略驱动机制，保障海量数据的长期、低成本与安全保存。然后介绍了数据管理系统DOMAS的设计和在CSNS中的实现，完成从数据产生、重建、规约到用...

本报告围绕以储能材料为主的局域结构数据库（Local Structural Database, LSD）的初步建设工作，介绍近期基于现有超胞结构数据开展的数据整理、结构归档与数据库框架构建进展。针对已有CIF结构文件和能量排序结果，建立材料体系、计算任务、原始CIF、超胞构型及库仑能量排序之间的对应关系，完成低能、随机和高能三类构型数据的统一提取与汇总，形成可用于检索和统计分析的结构-能量索引表。在此基础上，初步搭建以MongoDB为核心的数据库框架，实现材料、任务、构型、能量及文件路径等基础元数据的入库管理，并形成面向后续局域结构描述符扩展的基础数据模型。相关工作为后续开展局域结构编码、结构描述符提取及结构-性能关联分析奠定了数据基础。