Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量

Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量

准确预测未来几分钟到几周的天气是一项基本的科学挑战,它可以对社会的许多方面产生广泛影响。

很多气象机构目前采用的预报是基于大气的物理模型。尽管在过去几十年有很大的改进,但这些模型本身受到计算要求的限制,并且,它们对物理定律的近似值非常敏感。

另一种能够克服这些限制的天气预报方法是使用深度神经网络(DNNs)。DNNs 在强大的专用硬件(如GPU 和 TPU)上使用平行计算,发现数据中的模式,并学习从输入到所需输出的复杂转换。

近日,在先前对降雨量预报的研究基础上,Google 提出了 MetNet,这是一种用于降雨预报的神经天气模型。这种 DNN 能够在未来 8 小时内以 1km 的解析度预报降雨量,时间间隔为 2 分钟。MetNet 的预测时间比 NOAA 目前使用的最先进的基于物理的模型提前了 7~8 小时。它可以在几秒钟内对整个美国的降雨量进行预测,而 NOAA 需要花费一小时。

网络输入来自雷达站和卫星网络,无需人工标注。模型输出是一个概率分布,Google 用它来推断每个地理区域的降雨率和相关的不确定性。下面这张图提供了该网络对美马来西亚地的预测范例。Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量 AI与大数据 图2张

▲ MetNet 模型预测结果与 NOAA 多雷达 / 多感测器系统(MRMS)测量的地面真实值相互比较。MetNet 模型(上图)显示了从 2 分钟到 480 分钟前预测的每小时 1 毫米降雨的概率,而 MRMS 数据(下图)显示了在同一时间段内接收到至少每小时 1 毫米降雨的区域。(Source:Google AI Blog,下同)

MetNet 不依赖于大气动力学领域的物理定律,它是透过反向传播学习,直接从观测数据中预测天气。该网络使用由多雷达 / 多感测器系统(MRMS)组成的地面雷达站,以及卫星系统(提供大气中云层由顶而下的视图),测量得出的降雨量估计值。这两个数据源均覆盖美马来西亚地,并提供可由网络有效处理的图像类输入。

该模型每 64km64km 执行一次,覆盖整个美国,其解析度为 1km。然而,与这些输出区域相比,输入数据的实际物理覆盖范围要大得多,因为它必须考虑到在进行预测的时间段内,云和降雨场的可能运动。

例如,假设云以每小时 60km 的速度移动,为了可靠预测,捕捉到 8 小时前的大气时间动态,模型需要 608=480km 的全方位空间背景。因此,要达到这个程度,需要 1,024km1,024km 区域中的资讯来对中心 64km64km 修补程式加以预测。

Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量 AI与大数据 图3张

▲ 包含卫星和雷达图像(1,0241,024 平方公里)的输入修补程式和输出预测雷达图像(6464 平方公里)。

由于以全解析度处理 1,024km1,024km 的区域需要大量记忆体,因此研究人员使用空间下采样器,透过减少输入面片的空间维度来减少记忆体消耗。同时,在输入中查找并保留相关的天气模式。然后沿降采样输入数据的时间维度应用时间编码器,对 90 分钟输入数据的 7 个快照编码,编码片段长度为 15 分钟。时间编码器采用折积 LSTM 实现,该折积 LSTM 特别适合于图像序列。

然后,时间编码器的输出被传递到空间聚集器,空间聚集器使用轴向自关注,有效地捕获数据中的长距离空间依赖性,并基于输入目标时间使用可变数量的上下文,预测 64km64km 的输出。

这种结构的输出是一个离散的概率分布,估计美马来西亚地每平方公里的给定降雨率的概率。Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量 AI与大数据 图4张

▲ 神经气象模型 MetNet 的结构。

结果

研究人员根据一个降雨率预测基准对 MetNet 进行评估,并比较结果与两个基线:NOAA 高解析度快速刷新 HRRR 系统,这是目前在美国运行的物理天气预测模型;一个估计降雨场运动(即光流)的基线模型,它是一种在预测时间少于 2 小时的时候,表现也很好的方法。

Google 的神经天气模型的一个显着优点是,它是为密集平行计算而优化的,并且非常适合在专用硬件(如 TPU)上运行。无论是针对纽约市这样的特定地点还是针对整个美国,预测可以在几秒钟内并行进行。而像 HRRR 这样的物理模型在超级电脑上的执行时间约为一小时。

在下面的图表中,研究人员量化了 MetNet、HRRR 和光流基线模型之间的性能差异。这里展示了这 3 个模型所取得的性能,在降雨率阈值为 1.0mm/h(相当于小雨)时使用 F1 分数进行评估。MetNet 神经天气模型能够在 8 小时内超过 NOAA-HRRR 系统,并且始终优于基于流量的模型。Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量 AI与大数据 图5张

▲ 1.0 mm/h 降雨率(越高越好)下的 F1 得分评估性能。神经天气模型(MetNet)比目前在美国运行的基于物理的模型(HRRR)的时间尺度要提前 8 小时。

由于大气的随机性,未来天气状况的不确定性随着预测时间的延长而增加。

MetNet 是一个概率模型,随着预测时间的延长,预测的不确定性在可视化中表现为预测的日益平滑。相反,HRRR 并不直接进行概率预测,而是会对未来的降雨情况进行单一的预测。下图比较 MetNet 模型和 HRRR 模型的输出。Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量 AI与大数据 图6张

▲ 从 NOAA MRMS 系统获得的 MetNet(上)和 HRRR(下)到地面真值(中)的输出之间的比较。虽然 HRRR 模型预测的结构似乎更接近于基本事实,但预测的结构可能严重错误。

与 MetNet 模型相比,HRRR 物理模型的预测更清晰、更结构化。但其结构,特别是预测结构的准确时间和位置的精准度较低。这是由于初始情况和模型参数的不确定性造成的。Google 发表深度神经网络天气模型 MetNet,几秒钟就能预测整个美国的降雨量 AI与大数据 图7张

▲ HRRR(左)从许多可能的结果中预测单个潜在的未来结果(红色),而 MetNet(右)透过分配未来结果的概率直接解释不确定性。

▲研究人员比较了 HRRR 和 MetNet 模型。

未来方向

Google 正在积极研究如何改进全球天气预报模型,尤其是在气候快速变化很大的地区的准确性。虽然上文展示了美马来西亚地目前的 MetNet 模型,但它可以扩展到任何有足够雷达和光学卫星数据的地区。本文提出的工作是这个努力的一个小小的垫脚石,Google 希望透过今后与气象界的合作,能够带来更大的改进。

  • A Neural Weather Model for Eight-Hour Precipitation Forecasting

(本文由 雷锋网 授权转载;首图来源:pixabay)

延伸阅读:

  • 预测未来?Google 用 AI 模型做到“近乎即时”的天气预报

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。