什么是预测模型（时间序列的 7 个预测模型）

预测模型有哪些(时间序列的7种预测模型)

我最近阅读了一篇非常有趣的论文，名为 Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case。我认为这可能是一个有趣的项目，他的实现是从零开始的，可以帮助您了解有关时间序列预测的更多信息。

预测任务

在时间序列预测中，目标是在给定历史值的情况下预测时间序列的未来值。时间序列预测任务的一些示例是：

预测流感流行病例：时间序列预测的深度变形模型：流感流行病例

能源生产预测：使用堆叠非参数贝叶斯方法的能源消耗预测

天气预报：MetNet：降水预报的神经天气模型

例如，我们可以将一个城市的能源消耗指标存储几个月，然后训练一个能够预测该城市未来能源消耗的模型。这可以用来估计能源需求，因此能源公司可以使用这个模型来估计在任何给定时间需要生产的能源的最佳价值。

如何利用Transformer建立时间序列预测模型

模型

我们将使用的模型是编码器-解码器 Transformer，其中编码器部分将时间序列的历史作为输入，而解码器部分以自回归方式预测未来值。

解码器使用注意机制与编码器连接。通过这种方式，解码器可以在做出预测之前学习时间序列历史中最有用的部分。

解码器使用了masked self-attention，使得网络在训练过程中不获取未来值，导致信息泄露。

编码器：

如何利用Transformer建立时间序列预测模型

解码器：

如何利用Transformer建立时间序列预测模型

所有型号：

如何利用Transformer建立时间序列预测模型

可以通过以下方式使用 PyTorch 构建此架构：

encoder_layer = nn.TransformerEncoderLayer( 
d_model=channels, 
nhead=8, 
dropout=self.dropout, 
dim_feedforward=4 * channels, 
) 
decoder_layer = nn.TransformerDecoderLayer( 
d_model=channels, 
nhead=8, 
dropout=self.dropout, 
dim_feedforward=4 * channels, 
) 
self.encoder = torch.nn.TransformerEncoder(encoder_layer, num_layers=8) 
self.decoder = torch.nn.TransformerDecoder(decoder_layer, num_layers=8)

数据

每当我实现一种新方法时，我都喜欢先在合成数据上进行尝试，这样更容易理解和调试。这降低了数据的复杂性，并将更多的注意力放在了实现/算法上。

我编写了一个小脚本，它生成具有不同时期、偏移量和模式的时间序列。

def generate_time_series(dataframe): 
clip_val = random.uniform(0.3, 1) 
period = random.choice(periods) 
phase = random.randint(-1000, 1000) 
dataframe["views"] = dataframe.apply( 
lambda x: np.clip( 
np.cos(x["index"] * 2 * np.pi / period   phase), -clip_val, clip_val 
) 
* x["amplitude"] 
  x["offset"], 
axis=1, 
)   np.random.normal( 
0, dataframe["amplitude"].abs().max() / 10, size=(dataframe.shape[0],) 
) 
return dataframe

如何利用Transformer建立时间序列预测模型