尽管核聚变技术的重大突破使其比以往任何时候都更接近商业化，但磁约束装置中的等离子体控制仍然是实现其商业化的关键挑战。在托卡马克设计中，等离子体的混沌特性（包括粒子轨迹的不规则性、能量分布的复杂性以及对初始条件的敏感性）是实现高效聚变反应和有效利用能量的主要障碍。Next Step Fusion，提出了一种利用人工智能控制等离子体的新方法。
一、关于Next Step Fusion
Next Step Fusion是一家总部位于卢森堡的高科技初创公司，成立于2023年，专注于开发用于托卡马克装置和未来聚变反应堆的模拟软件、基于人工智能和机器学习的等离子体控制系统，以及数字孪生技术。公司致力于通过创新的软件解决方案和人工智能技术，优化全球的托卡马克装置，推动聚变能源的商业化进程。Next Step Fusion的愿景是通过高质量的软件和先进的控制策略，为未来的聚变发电厂提供可靠的技术支持，从而实现安全、经济的聚变能源。
公司首席执行官Aleksei Zolotarev指出，传统等离子体控制策略依赖实时磁数据和确定性算法，虽然可靠，但对意外情况的响应较慢。相比之下，机器学习通过预测性和自适应策略，能够处理系统中的不确定性，使控制过程更灵活，并在条件变化时保持性能，从而提升了控制策略的可持续性。
Zolotarev还阐述了强化学习的概念，以训练等离子体控制机器学习模型，具体步骤如下：
1.构建数字环境
创建一个包含托卡马克装置及其硬件物理特性的数字副本。这个数字环境能够非常精确地模拟托卡马克的行为。
2.将代理程序放入环境
将控制代理程序放入上述数字环境中，而不是基于预设数据进行训练。
3.代理程序的随机探索
代理程序开始随机地研究数字环境，通过尝试不同的操作来探索环境的动态特性。
4.行为结果的评分与反馈
设立一个子系统对代理程序的行为结果进行评分，根据其操作的效果给出反馈。代理程序通过这些反馈了解哪些行为是有效的，哪些需要改进。
5.学习最优控制策略
代理程序通过评分反馈学习如何在环境中获得最佳表现，逐步掌握最优的控制策略，而不是简单地识别模式或依赖预设数据。
6.强化学习的实现
通过上述过程，代理程序最终学会在数字环境中实现高效的等离子体控制。这种通过环境反馈和评分机制来学习最优策略的方法，正是强化学习的核心。
尽管 Zolotarev 承认一些同行此前已经使用过 AI 等离子体控制模型——尤其是 DeepMind 在瑞士的中型托卡马克可变配置（TCV）托卡马克上利用强化学习成功控制等离子体，但 Next Step Fusion 已经在更大规模的装置上使用了这种方法。该公司与加州大学圣地亚哥分校的合作伙伴一起，在圣地亚哥的 DIII-D 国家聚变设施托卡马克上进行了实验。DIII-D 托卡马克的尺寸几乎是 TCV 装置的两倍。
在DIII-D托卡马克装置上，Next Step Fusion采用了一种创新的等离子体控制方法。该方法直接利用传感器检测到的原始磁诊断数据作为输入，通过机器学习模型优化磁场性能，而不是依赖预定义的磁场模式。这种方法的优势在于能够实时响应等离子体状态的变化，同时避免了传统方法中对数据进行额外转换的需求。
Next Step Fusion的科学家们开发了一个数字孪生副本，精确地模拟了DIII-D装置的几何结构、磁系统以及被动和主动导电元件。在这个虚拟环境中，控制代理程序通过数百万次的模拟实验学习最优的控制策略。一旦代理程序在模拟环境中表现出色，它就会被转移到真实的DIII-D托卡马克装置中进行实际操作。
实验结果显示，这种方法在设定等离子体控制方面表现出色，能够有效优化等离子体的性能。通过与真实实验数据和本地模拟器的对比验证，该模型在每一步都保持了高精度和准确性。这种方法避免了因微小偏差积累而导致的不准确结果，显著提升了等离子体控制的可靠性和效率。
Next Step Fusion在DIII-D装置上应用人工智能进行等离子体控制时，采用了NFSsim模拟器进行训练。尽管该模拟器在学习过程中需要进行大量数值计算，速度比托卡马克的真实物理过程稍慢，但它仍能满足强化学习的需求。模拟器能够提供环境随时间的演变，允许在训练中引入不稳定性及初始条件的偏差，从而使控制代理具备更强的鲁棒性（“鲁棒性”（Robustness）是一个在多个领域中广泛使用的术语，主要用来描述一个系统、模型或过程在面对不确定因素、干扰或异常情况时，仍能保持稳定运行和良好性能的能力。）。然而，将控制代理集成到实际托卡马克装置时，必须确保其与DIII-D系统的实时操作速度相匹配，即每秒数千次操作，这是Next Step Fusion面临的重要挑战。
与传统控制方法相比，Next Step Fusion的机器学习模型不依赖预设的磁场模式，而是直接使用原始磁诊断传感器数据来优化磁场性能。传统方法通常采用前馈控制和基于PID控制器的反馈控制，这些方法虽然可靠，但缺乏对系统行为的预测能力和动态适应性。Next Step Fusion的模型通过强化学习，能够更好地适应复杂等离子体条件的变化。该模型已在DIII-D装置上进行了九次成功的等离子体放电实验，验证了其有效性和准确性。
尽管Next Step Fusion的模型在实时实验数据中表现出色，但项目仍处于研究和分析阶段。Zolotarev指出，模型的具体性能提升还需经过同行评审和科学验证。目前观察到的结果表明，该模型能够在不同约束模式（如L模式和H模式）下稳定运行，并成功管理H-L转换。这表明Next Step Fusion的控制器在大规模真实世界托卡马克装置中具有强大的性能，为未来聚变反应堆和发电厂的运行提供了重要的技术支持。
三、创建通用控制模型
Next Step Fusion的首席技术官Georgy Subbotin强调，强化学习是未来开发通用磁场控制系统的关键，该系统将适用于所有聚变装置类别。经过约一年半的研发，团队已取得重要进展，并建立了高效的模型训练流程，能够在几周内为不同托卡马克装置训练控制模型，而不是再花费一年半的时间。他们计划将这一技术扩展到更多托卡马克装置上进行测试。
尽管如此，开发基于机器学习的操作等离子体控制系统仍需数年时间。团队认为，强化学习是实现这一目标的正确方法，但需要将控制范围从磁系统扩展到加热系统、中断预测系统以及其他子系统，这些对于未来的发电反应堆至关重要。Next Step Fusion希望在这些领域取得突破，并成为第一个将强化学习应用于中断预测等小众领域的团队。他们致力于构建一个完整的等离子体控制解决方案，不仅适用于当前的科学托卡马克装置，还能应用于未来的能源生产反应堆。
最终目标是开发一个通用模型，适用于所有托卡马克型机器和其他磁约束聚变装置。公司创始人Aleksei Zolotarev指出，尽管许多仿星器公司声称其控制难度较低，但它们仍需要高质量的软件来控制加热、密度和能量生产等过程。Next Step Fusion的控制系统将涵盖托卡马克和仿星器，通过复杂的算法协调不同子系统，为未来的聚变装置提供全面的控制解决方案。
四、人工智能设计的未来
Next Step Fusion展望未来，认为基于强化学习的人工智能系统不仅能够优化聚变装置的等离子体控制，还可能为未来商业聚变装置的核心设计提供重要参考。公司创始人Aleksei Zolotarev指出，在设计聚变装置时，控制系统功能（如线圈设计）是关键因素，优化这些功能可以提升等离子体稳定性并减少真空容器内的复杂结构。此外，强化学习还可以针对更高层次的目标（如能源生产）进行优化，通过模拟不同设计来评估其性能和稳定性。尽管这一目标尚未完全实现，但Zolotarev认为现在正是讨论人工智能在托卡马克设计中应用的时机，并期望其在未来聚变发电厂设计中发挥更大作用。
为此，Next Step Fusion的战略是与学术研究机构广泛合作，例如与哥伦比亚大学合作开展多个项目，利用强化学习及其他人工智能和机器学习工具进行研究。Zolotarev强调，可靠的控制是未来聚变装置商业化的关键，因为低停机时间、少中断和短维护周期是提高商业效率的核心。通过优化控制策略，可以减少设备损坏，提升等离子体性能，从而实现更高的负荷因子和更低的能源生命周期成本。
参考链接：
- https://www.neimagazine.com/analysis/ai-and-smart-fusion-control/?cf-view
- https://nextfusion.org/