第二十届全国科学计算与信息化会议

The rapid development of X-ray free electron laser (EFEL) facilities has opened a new paradigm of X-ray measurement. They can deliver ultra-short and coherent x-ray pulses with extremely high brilliance, thus enabling the observation of the physical and chemical behaviors in condensed matters and biomaterials, at high spatial and temporal resolution simultaneously. Shanghai HIgh repetitioN...

新一代先进光源是满足国家重大战略需求、助力基础科研突破的先进实验平台，如在建的高能同步辐射光源（High Energy Photon Source，HEPS）。这类大科学装置的特点是实验线站众多（HEPS共90多条）、学科领域丰富、实验分析方法复杂，从而导致数据处理面临诸多挑战：高通量多模态的数据、灵活多样的学科方法学和高度差异化的分析流程。长久以来，国内外一直缺少通用的、用户友好的、功能完善的实验数据处理全流程管理系统。高能所计算中心HEPS软件组将实现一套自主可控的可视化通用管理系统，解决如下关键问题：线站科学家、实验用户和方法学开发人员如何将数据处理方法快速共享和应用到实验分析之中；科研人员如何灵活定制和监控复杂多样的数据处理流程；实验分析全过程如何批量化应用到同类实验及结果复现。此次报告将汇报此项目的背景、意义和进展，以及未来的计划安排。

高能同步辐射光源（High Energy Photon Source，HEPS）是国内建设的首个第四代同步辐射光源，为我国材料科学、化学工程、能源环境、生物医学等众多领域提供了先进的实验平台。一期建设的十五条线站在运行期间预计每天总共会产生200TB至500TB的原始数据。HEPS所产生的数据具有数据量大、通量高、结构复杂等特点。因此，为了高效地利用数据，需要对这些海量数据从数据获取、存储、传输、利用到共享的全生命周期过程进行跟踪和管理。本文将着重介绍当前HEPS数据管理的关键技术实现以及相关进展，并讨论后续的发展方向。

1 引言
随着云计算、大数据、移动网络等信息技术的飞速发展和广泛应用，科研和管理信息化程度不断加深，充分借助信息技术，尤其是数字网络技术对档案内容信息以及相关衍生信息资源进行有效的组织、管理、存储和利用，已经成为新时期档案工作突破传统、创新发展的必经之路。2021年起正式实施的《中华人民共和国档案法》，明确要求推动档案信息化建设，开辟档案管理现代化新路径。同时，肯定了电子档案的效力与凭证价值，对电子档案管理信息系统、数字档案馆、档案信息资源共享服务平台建设提出了更高要求。
硬X射线自由电子激光（Shanghai HIgh repetitioN rate XFEL and Extreme light...

新一代同步辐射光源装置在X射线亮度与相干性、光学元件与探测器效率上获得了极大提升，所开展的成像实验向跨尺度、多模态、高通量与原位动态化表征模式转变，实验数据的年底通量将正式步入“Exascale”时代，对实验控制、数据采集、在线重建和特征分割等方面的软件技术与算法需求发生了革命性的变化。在建的北京同步辐射（HEPS）光束线软件团队在高通量多模态成像实验数据采集与分析中结合了大型软件框架、大数据技术、AI工作流等方法的优势，以应对未来光源实验海量数据带来的挑战。

Ptychography是一种相干衍射成像技术，能够提供在X光衍射波长极限内样品的相位分辨率重建图像。在光学实验中，使用小孔或者其它光学仪器将X光探针聚焦到待扫描样品上。样品每个预定位置的衍射图样由放置在样品1m距离（或更远）之后的探测器捕获。相邻两个扫描位置需要一定的重叠比例，以此来保证被记录的实验数据能够多倍冗余，为ePIE算法或者DM算法的重建提供足够多的信息。
针对ePIE算法和DM算法，现有的开源软件并未提供QT界面及提供完备的工作流，无法为用户提供友好的实验元数据参数的快速导入GUI及基于CUDA C++的多GPU并行重建迭代过程。Hepsptycho软件由高能物理研究所计算中心与多学科中心B2线站联合开发，程序核心均由CUDA C++实现，以实现在NVIDIA...

通过机器学习理解X 射线吸收谱：实验结果到理论计算的自动匹配
王可心，卢项尉，王天阳，陈留国，刘功发, 陈凯*
中国科学技术大学国家同步辐射实验室
Email: kaichen2021@ustc.edu.cn

过去十年，材料信息学显著加快了新材料性能的发现和分析。加速相关材料发现的关键因素之一是高通量实验中的动态数据分析，引发了对材料特性快速而准确的自动估计的需求。X 射线吸收光谱 (XAS) 是一种广泛使用的材料表征技术，用于确定氧化态、配位环境和其他局部原子结构信息。XAS 分析依赖于测量光谱与可靠参考光谱的比较。然而，现有的 XAS...

光源学科数据分析需求和传统的高能物理计算存在较大差异，高能物理学科用户多采用命令行模式，登录计算集群UI节点，提交批处理作业进行数据分析，分析结果的时效性受作业排队时长影响较大。光源学科用户通常直接使用科学软件分析工具处理实验数据，快速获取分析结果调整后续分析策略，对软件操作的可交互性和分析结果的时效性要求较高。结合光源数据分析应用特点，HEPS设计了面向光源科学分析场景的交互式计算平台，用户无需了解ssh等终端操作命令，直接通过浏览器随时随地接入计算集群环境，访问集群内部资源。同时，交互式计算平台使用python ui工具包，跳过命令行和代码编辑步骤，直接面向用户提供可交互的UI软件，用户通过点击按钮选取输入数据，即可基于集群计算资源快速完成数据分析，提升了用户对计算资源使用的便利性。

同步辐射光源是最先进的大科学装置和实验技术之一，用于研究物质的结构和性质。光源实验会产生大量实验数据，用于多样化的科学分析，同时需要大量的计算和存储资源来支持实验的进行和数据处理。为了满足同步辐射光源的实验需求，需要使用先进的计算和存储技术提供高性能、高可靠性和高扩展性的服务。云计算以高性能计算能力、灵活性和弹性扩展性、高可靠性和高可用性及高安全性等优势成为光源等大科学装置的最佳选择。云计算平台可以提供虚拟化和容器化技术，帮助大科学装置实现资源的灵活配置和管理。容器技术性能损失小、启动时间短。虚拟机之间是完全隔离的，安全性更高，可以运行多种操作系统。本文重点介绍虚拟化技术在光源实验中的设计和应用，包括虚拟云桌面系统、虚拟计算系统、虚拟PCI设备等，重点介绍虚拟云计算平台的体系结构、服务模式、认证系统、PCI设备的虚拟化和资源混合调度策略的设计。最后，给出了虚拟云桌面系统在光源实验中的...

高能同步辐射光源HEPS是基础科学和工程科学等领域原创性、突破性创新研究的重要支撑平台。HEPS具有低水平的发射度、极高的空间相干性和高亮度等特点，每天产生海量数据且具有高通量、大容量等特点。面对以上特点，传统的数据处理软件和分析方法已经不能满足HEPS数据处理需求，许多科学实验需要在实验过程中提供实时分析和快速反馈，以提供决策指导和修正实验过程。而目前传统学科软件的功能固化、数据处理流程单一；新开发的软件开发周期长，需要学科工作人员和开发人员反复沟通。为了适应HEPS实验的工作强度和改变传统软件开发困境，需要引入一套“持续开发、持续交付、持续部署”（CI/CD）的软件开发实践流程，以实现软件开发过程的自动化和智能化。CI/CD核心是通过引入自动化手段来提高软件交付效率，使得学科工作人员更关注科学算法本身而不是开发流程，软件开发人员更关注软件开发过程而省去大量的重复性编译、交付、部署...

作为我国第四代同步辐射光源装置高能同步辐射光源(High Energy Photon Source HEPS) 开展的实验将向高 数据通量 、 多模态 、 超快频率 、 跨尺度形式转变 所产生的年数据通量预计将迈入 「 Exascale 」 时代 。 另外 复杂多样的数据实验导致不同线站数据产生速率差异较大 。 面对如此高通量 、 容量
多样化的实验数据 数据处理软件需要能够调用可伸缩的分布式异构计算资源 提供不同规模的计算分析服务 。

上海光源是中国大陆第一台中能第三代同步辐射光源，目前共有27条光束线39个实验站投入运行，至2025年将有35条光束线约50个实验站投入运行，已接待学界、产业界用户超过3.5万人。国家“十二五”重大科学基础设施建设项目上海光源线站工程配套建设的用户数据中心可提供超过20PB的统一存储空间，提供超900Tfloops的多节点CPU/GPU混合集群算力支持。上海光源同步辐射科学数据管理分析系统依托上海光源用户数据中心基础设施，从全装置层面布局核心数据库系统设计研发、高通量数据快速分析系统研发、数据自动处理流水线研发，以实现海量实验数据的全生命周期高效组织管理、高通量数据在线处理以及计算资源的高效利用，为上海光源用户提供“一站式”的数据服务，实现科学数据的长期价值与战略价值，加速装置和用户的科学产出。

随着第四代同步辐射光源的出现，以及高分辨探测器的发展，科学数据无论是在容量还是通量上都出现了数量级的增长。先进的数据处理和分析方法需要从底层技术进行革新，跟上数据增长的速度，并提供实时的快反馈和实验指导能力。同时随着新型先进实验方法的不断涌现，方法学算法及软件的发展需要底层软件框架的支持。为满足新一代光源实验的需求，HEPS计算与通信系统开发了面向先进光源实验的数据处理软件框架Daisy。本次报告将介绍Daisy项目的设计理念、开发进展及未来发展计划。

摘...

北京在建的同步辐射光源装置预计每天产生数百TB的数据量，每年的数据量达到PB量级，对IO、存储和科学计算带来极大压力。实验过程中需要在线处理用于快速判断数据采集质量，目前从磁盘读取海量实验数据读取存在严重的IO瓶颈，因此HEPS亟需稳定高效的IO方法克服以上困难，首先分析光源下计算任务的读取模式，结合HDF5分块存储特性，减少数据跳读，结合并行异步策略加速读写，减少IO在计算过程中的占比；其次通过压缩的方式减少数据体积，为保证数据完整性，压缩采用无损的方式，引入压缩会带来额外的时间和资源消耗，而不同的数据压缩效果也有所不同，所以，以加速整个科学计算为目标，综合评价引入压缩的提升，自动触发压缩过程及压缩方法。因此本文拟通过以上方法优化HDF5在HEPS科学计算过程中的IO速度，加速科学结果产出。未来以流处理的方式可以规避海量数据落盘再读取导致的IO瓶颈问题，因此最后本文首先介绍了未来H...

随着计算机技术、卫星导航技术的迅速发展，通过卫星传感器产生的数据已经达到TB级甚至PB级。目前，高能所参与了多颗天文卫星的研制和建设，包括硬X射线调制望远镜(Hard X-ray Modulation Telescope，HXMT)、引力波暴高能电磁对应体全天监测器卫星（Gravitational wave high-energy Electromagnetic Counterpart All-sky Monitor，GECAM）、增强型X射线时变与偏振空间天文台（enhanced X-ray Timing and Polarimetry...