论文介绍了一种创新方法，利用大型语言模型（LLM）进行时间序列预测，无需额外训练。通过将时间序列数据转换为数字字符序列，预测问题转变为文本预测任务。作者通过改进标记化技术和增强模型对连续值的适应性来优化LLM的预测能力。LLM的优势在于它们能自然处理多模态分布，偏好简洁与重复模式，而且可以直接处理缺失数据，整合文本信息。
1 预测步骤
以下是利用LLM进行时间序列预测的具体：
- （1）数据编码：首先，将时间序列数据转换为一系列数字字符，这样可以将时间序列预测问题转化为文本预测问题。例如，数值序列会被编码为“151, 167, ..., 267”这样的字符串格式。
- （2）标记化处理：接下来，对编码后的数字字符串进行标记化。标记化是关键一步，因为它直接影响到模型如何理解和学习数据中的模式。不同的LLM采用不同的标记化策略，例如GPT-3通过在数字之间添加空格来创建每个数字的独立标记，而LLaMA-2则将数字标记为单个字符。正确的标记化对于模型的预测性能至关重要。
- （3）生成预测：一旦数据被正确处理并标记化，就可以利用LLM生成预测。预测过程类似于文本生成，即模型根据输入序列预测下一个标记。由于LLM能够处理序列中的复杂模式，它们可以自然地捕捉时间序列中的季节性趋势和其他重复模式。
- （4）不确定性估计：除了生成预测值，LLM还可以提供预测的不确定性估计，这对于高度随机的时间序列尤其重要。这可以通过采样预测并计算预测分布的统计量来实现。
2 结果评估
为了比较不同模型的性能，可以利用连续密度指标，如持续排名预测分数（CRPS），它衡量预测分布与实际观察值之间的差异。LLM能够为整个时间序列数据序列分配概率。同时，预测结果应与真实数据进行对比，以评估模型的预测准确度和不确定性估计的有效性。
3 结语
大型语言模型（LLMs）能作为零样本时间序列预测器，其通过将数值编码为文本，实现与专有时间序列模型相当甚至更好的预测性能，同时具备处理缺失数据、文本辅助信息和解答预测相关问题的独特能力。
论文题目：Large Language Models Are Zero-Shot Time Series Forecasters
论文链接：https://arxiv.org/abs/2310.07820
PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！
精彩回顾
1. 多模态环境中的CoT推理
