浙江大学赵朋教授团队《IEEE TII》: AI赋能材料加工热管理，时间再注意力机制破解大时滞温度预测难题

高分子科学前沿 · 化学 · 昨天

正文

在材料加工过程中，温度直接影响最终产品质量，因此对加工温度的预测至关重要。

复杂的成形工艺与特殊的厚壁结构给温度预测带来了诸多挑战。以注射成形料筒为例，其内部设置多个温度段，各段目标温度各异，存在温差传热现象；且加热料筒壁厚超过40mm，热量从外表面传导至内部耗时长；此外，加工过程涵盖升温、冷却等多工况，传热特性极为复杂。强耦合、大时滞、变工况导致加工温度预测难。

现有的多变量预测方法有物理模型方法和数据驱动方法。

· 物理模型方法，如时间序列模型和数值模型，虽能描述系统动态特征，但建模过程复杂，需精确确定大量参数，导致工业化应用困难。

· 数据驱动方法，如最小二乘回归、支持向量回归和人工神经网络（ANN），适合处理多变量任务，能从数据中建立映射关系且实现简便。但其浅层结构难以捕捉工业加热过程中的复杂非线性关系，使得预测精度受限。深度学习发展后，循环神经网络（RNN）及其变体LSTM和GRU广泛用于时间序列预测。它们虽能捕捉数据时间动态行为，但在工业加热大时滞场景下，平等对待所有历史时间步，无法有效提取关键时间特征，影响预测准确性。

赵朋教授团队报道了一种用于工业中大时滞多元温度预测的时间再注意力长短期记忆网络（TRA-LSTM）方法。采用编码器-解码器框架，利用时间注意力模块提取关键历史特征，利用融合再注意力的损失层来修正注意力权重。文中将TRA-LSTM与五种先进的时间序列预测方法进行性能对比，实验基于四个包含多种工况的真实数据集展开，涵盖注塑机料筒加热过程数据集和电池热失控过程数据集。结果证明，该方法能够在强耦合、大时滞、变工况的情况下实现精确的多变量预测，在材料加工过程温度控制与能源管理方面显示出巨大的潜力。该工作以“Temporal Re-Attention LSTM for Multivariate Prediction in Industrial Heating Process with Large Time Delays”为题发表在《IEEE Transactions on Industrial Informatics》(IF=11.7)上，文章第一作者是浙江大学机械工程学院博士生潘毅峰。通讯作者为赵朋教授，论文作者团队成员均来自浙江大学流体动力基础件与机电系统全国重点实验室。

该工作提出了一种基于时间再注意力机制的预测模型，称为TRA-LSTM。该模型采用了编码器-解码器框架，因此可分为编码层、解码层、损失层三个部分。编码层将历史信息编码为上下文向量，其输入为历史温度与控制量，通过LSTM神经网络将历史信息进行编码，进行初步的特征提取；解码层提取时间特征并生成温度预测值，由时间注意力模块获取当前温度与历史信息关键特征之间的关联关系，以注意力权重的形式表示，并通过LSTM神经网络生成最终的温度预测值；损失层综合考虑预测偏差和注意力一致性偏差优化模型，文中引入再注意力模块，该模块用于提取最终预测值与历史信息的关联关系；同时提出基于熵的门机制，此机制用于判断再注意力与解码层中注意力的一致性。整体原理图如图1所示。

图1 TRA-LSTM预测模型原理图

为采集实际生产的数据，文中介绍了远红外注射成形料筒加热控制实验平台。该平台由五个部分组成：

· 料筒系统：料筒由注射成形机拆解而来，包含5个温度段，各自的设定温度不同，以满足注塑过程中对聚合物材料的加热需求。

· 计算与通信模块：承担数据处理和信息交互任务，协调各模块协同运作，确保系统稳定运行。

· 加热控制模块：通过固态继电器等元件控制远红外加热圈工作，实现精准加热，使料筒达到并维持在设定温度。

· 冷却控制模块：借助空气压缩机、电磁阀、节流阀等设备，控制冷却空气流通，实现冷却操作。

· 传感模块：利用热电偶实时监测料筒各温度段的温度，并通过信号变送器将数据传输给计算与通信模块。

该平台采样时间为3s，温度分辨率0.2℃，原理图与实物图如图2所示。

图2 远红外注射成形料筒加热控制实验平台

文中使用四个真实世界数据集对TRA-LSTM模型进行评估，各数据集情况如下：

· IMBH-E（Injection Molding Barrel Heating Experiment）数据集：采集自料筒加热控制实验平台。数据采集自料筒加热、强制冷却和自由冷却过程，涵盖五个温度段的温度、加热功率，以及四个远红外加热温度段的冷却控制信息，共28960个样本。

· IMBH-C（Injection Molding Barrel Heating Control）数据集：采集自料筒加热控制实验平台，包含针对PS、PC、PP、ABS、PMMA、PVC多种聚合物材料的加热过程数据。共5901个样本。选取PS、PC、PP和PVC控制过程数据作为训练，PS、PMMA和ABS的数据作为测试。

· IMBH-L（Injection Molding Barrel Heating Long-term）数据集：专为长期预测设计，对PS、PC、PP、ABS、PMMA、PVC六种材料进行加热实验，料筒从室温加热到目标温度后输入强制归零，共12452个样本。

· BTR（Battery Thermal Runaway）数据集：由Lin等人^[1]开发的开源数据集，通过标准化单边压痕测试机械诱导内部短路。包含电池的电压、压头负载、压头行程和压痕点温度的时间序列测量数据，采集时间0.1s，共10042个样本。

这些数据集在数据结构上均采用序列到序列格式，并根据各自预测任务需求进行预处理，如数据归一化等，为TRA-LSTM模型的性能评估提供了多场景、多维度的真实数据支持。数据集内容如图3所示

图3 用于测试TRA-LSTM的多个真实数据集

首先进行了预测性能对比，文中将TRA-LSTM与近几年发表在计算机顶会IJCAI、SCI Top期刊Energy等上的数据驱动预测方法，即1DCNN-LSTM^[2]、BiLSTM^[3]、DA-RNN^[4]、TPA-LSTM^[5]以及基于物理的预测模型CARIMA进行了对比。对比任务涵盖各数据集的单步、多步与长期预测，对比指标包括预测精度、模型复杂度、训练效率，具体指标对比情况详见表1、表2。实验结果表明，TRA-LSTM在相对较低复杂度、较高训练效率下，取得了最高的预测精度，模型综合性能最佳。

表1 不同模型在不同数据集与任务下的预测精度

表2 不同模型的模型参数量与训练耗时

为解释模型取得更高预测性能的原因，文中针对提取得到的时间注意力权重进行了模型的可解释性分析。文中对比了TRA-LSTM与不含再注意力模块的TA-LSTM（即时间注意力LSTM）分别提取得到的注意力权重，并与真实测得的料筒时滞进行了对比。文中首先对不同温度下各个温度段的加热与冷却时滞进行了测试实验，得到的结果为加热时滞约为60s，冷却时滞约为30s，如图3所示。两种方法提取得到的注意力权重如图4所示，TRA-LSTM提取的注意力可正确反映加热与冷却过程的时滞，TA-LSTM则无法有效提取得到正确的时滞信息，这正是TRA-LSTM性能提高的关键原因。

图3 真实测得的料筒加热与冷却时滞

图4 TRA-LSTM与TA-LSTM提取的注意力

课题组网站：

https://person.zju.edu.cn/pengzhao

参考文献

[1] LIN L S. Mechanically induced thermal runaway severity analysis for Li-ion batteries[J]. Journal of Energy Storage, 2023.

[2] KIM J, OH S, KIM H, 等. Tutorial on time series prediction using 1D-CNN and BiLSTM: A case example of peak electricity demand and system marginal price prediction[J/OL]. Engineering Applications of Artificial Intelligence, 2023, 126: 106817. DOI:10.1016/j.engappai.2023.106817.

[3] LIU X, LIN Z. Impact of Covid-19 pandemic on electricity demand in the UK based on multivariate time series forecasting with Bidirectional Long Short Term Memory[J/OL]. Energy, 2021, 227: 120455. DOI:10.1016/j.energy.2021.120455.

[4] QIN Y, SONG D, CHEN H, 等. A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction[C/OL]//Proceedings of the 26th International Joint Conference on Artificial Intelligence. arXiv, 2017: 2627-2633[2024-10-21]. http://arxiv.org/abs/1704.02971.

[5] SHIH S Y. Temporal pattern attention for multivariate time series forecasting[J]. Machine Learning, 2019.

原文链接：

https://doi.org/10.1109/TII.2025.3528528

来源：高分子科学前沿

声明：仅代表作者个人观点，作者水平有限，如有不科学之处，请在下方留言指正！