继此前在今年2月发布时间序列预测基础模型TimesFM（Time Series Foundation Model）后，日前Google Research团队宣布，该模型相关论文已被ICML 2024接收，同时其已在GitHub和HuggingFace上公开了源代码和模型权重。对此谷歌DeepMind首席科学家Jeff Dean表示，“谷歌对通用时间序列预测模型的研究取得了非常好的结果。”
据了解，TimesFM在一个包含1000亿个真实世界时间点的庞大时序数据集上进行预训练，该数据集涵盖各种领域、趋势和季节性模式，以及不同的时间粒度，来自Google趋势的搜索兴趣时间序列数据和维基百科的页面浏览量等。这些数据帮助TimesFM学习到通用时序模式，并具备强大的泛化能力，能够对未曾见过的时序数据进行准确预测。
在架构方面，TimesFM的灵感来自于Vision Transformer（ViT）和GPT，其采用了decoder-only架构，主要由输入编码器、解码器和输出解码器三个部分组成。在训练过程中，该模型会将时序数据分成多个连续的“patch”，并通过堆叠的Transformer层对这些patch进行编码。每个patch可以看作是语言模型中的一个词元，模型能够根据之前看到的patch信息，并预测下一个patch的内容。
值得一提的是，TimesFM能够适应不同的上下文长度和预测长度，满足多样化的预测需求。例如该模型可以根据过去32个时间点的数据，预测未来128个时间点的趋势。同时TimesFM的模型参数规模仅为2亿，仅需消费级GPU即可运行，从而更容易被应用于各种实际场景中。
性能表现方面，据Google Research团队透露，TimesFM在多个公共数据集上进行了零样本评估，其性能与在特定数据集上专门训练的监督学习模型相比毫不逊色。例如在包含数千个不同时间尺度和领域的时序数据的Monash Forecasting Archive数据集上，TimesFM零样本预测性能超过了大多数监督学习方法，包括DeepAR和WaveNet等深度学习模型。
据悉，TimesFM的应用范围广泛，包括可帮助零售商家预测商品销量，从而优化库存管理，减少成本；帮助金融从业者预测股票价格，管理投资风险；预测电力需求，优化电力生产和分配； 预测交通流量，优化交通路线规划；预测气温、降雨量等。
【本文图片来自网络】
