有了超级电脑和大型模型,就能预测任何气象灾害?

有了超级电脑和大型模型,就能预测任何气象灾害?

世界通行天气预报法称为数值分析,采集够多气象数据后,代入复杂方程式,得到结果就是常见天气预报。

难以捕捉的蝴蝶

方程式背后是坚固理论,如流体动力学方程式、热力学方程式和不同介面空气、水、陆冰物质能量交换方程式等,代表的物理、化学规律已经严密计算和验证。但天气预报也不能绝对准确。数值预测是透过已发生气象因素推测将来,准确度严重受观测数据精确与否影响。何况随时间、空间变化,气象系统复杂性也剧烈增长,分析气象一方面百密必有一疏,另一方面数据误差会更多,又反过来影响预测结果。

范围大到一定程度,气象会进入混沌状态。这不是比喻,气象系统是典型的混沌系统,混沌理论最早就是气象学家1963年提出。混沌系统代表非常小扰动也可能造成巨大后果──这现象的另一个名字叫蝴蝶效应,加州蝴蝶拍动翅膀,德州和墨西哥湾就掀起风暴。

这要求数值开始测算就须非常精准,然而我们都知道绝对精准不存在,更何况面对复杂的气象运动,要采集的数据种类和数量实在太多。人类天气预测就像努力学习蝴蝶翅膀与暴风眼移动轨迹的关系,既壮观又令人绝望,甚至有玄秘成分。一面构建越来越复杂的函数方程式,尽可能收集数据,一方面又依赖近乎直觉的经验判断。

时至今日,所有天气预报依然由两部分决定──数值分析,加上预报员本身判断。天气预报依然高度依赖人的经验。某种程度人类是用感觉对抗大自然。

超级电脑

因此气象预测呈现诡异特质──因为只要靠人类经验感觉,总会遇到失灵时,某些极端气候更如此,因极端气候数据还不够多,导致我们无法形成连贯经验。但数值预测精准度几十年来提升许多,现在天气预报已达十分准确,中期可用性预报时效近10天,短期预测如冷空气什么时候来、会降温多少,人类判断十分准确。这是因尽管总体全球气候环境变化混沌,但微观层面如气团形成、气压变化、云层运动轨迹,越来越多函数和公式都能准确预测。

天气预报几乎完全准确预告一场极端降雨,背后是天气预报几十年来巨大进步──数值分析从简单方程式发展成世界最复杂的演算法之一,毕竟要掌握天气,数据和演算法越多越好,为了处理大量数据和复杂演算法,超级电脑开始插手。

许多人可能对气象数据多庞大没有概念,举个简单数字:每天内地气象数据增加高达40TB。内地整套天气观测网络,有七万多个气象观测站涵盖99.6%乡镇,数据传输时间从以往1小时缩短到现在1分钟。

如此大量数据处理就很有难度,再与数值分析方程式结合,几乎是不可能完成的任务──复杂的偏微分方程式和浮点计算都需消耗大量算力,特别是天气预报有时效性,种种条件下,只有超级电脑能满足需求。有了超级电脑和大型模型,就能预测任何气象灾害? AI与大数据 图2张

(Source:pixabay)

停滞与新路

总结就是成百上千颗CPU组成的超算构成天气预报坚实的基础,但仍有做不到、很难做到的事。如台风。最近造成北京大灾情的杜苏芮,内地预测显示未达特大暴雨程度。国际主流台风预测法均是动力模型,据大气物理定律如流体动力学和热力学等模拟大气运动,预测台风行径与变化。

动力模型有许多不准确之处,故杜苏芮路径预测五花八门,公认权威的欧洲中期天气预报中心一度认为杜苏芮会直冲珠三角。台风预报一直是世界性难题,因短时间可发生剧烈变化,路径范围又广,受多因素影响故变幻莫测,就是典型的混沌系统。

数值预测为主的天气预报成为矛盾综合体,再提升空间尽管很大又十分受限──人们逼近准确性的方法除了积累经验,只能尽可能多收集数据和构建越来越复杂的函数,但边际效益也越来越强,更多数据也不能大幅提升天气预报准确性,通用计算成本却一直增长。

大量数据、复杂演算法及高算力需求,让数值分析某种程度走向瓶颈,但三个条件看起来是不是有点眼熟,似乎有点像大型模型的三要素?某气象技术研讨会资料,有专家宣称:人工智慧和气象方法论相通。既然数值分析公式并不能穷尽混沌系统所有因果,为什么不用神经网络,把大量数据导入,让电脑自己寻找和学习规律?这看起来真像不可言说又异常合理的解释。

人类第一台电子电脑ENIAC和第一台据约翰冯纽曼结构打造的电脑EDSAC都进行过气象学相关计算,气象学发展始终和电脑科学进步紧密相关──高性能计算推动气象科学解决复杂问题,跳出通用计算回圈后,神经网络和大型模型看起来就是气象学和天气预报非常有趣且合理的前进方向。

另辟蹊径

气象大型模型并不是随着去年底生成式AI暴红才出现,一直以来使用强大算力、海量数据和各种深度学习预测天气的大模型很多,有名的有辉达FourCastNet、DeepMind和Google的GraphCast及微软ClimaX,内地有华为盘古大模型和上海风乌大模型,后者来自上海人工智慧实验室。盘古和风乌都使用欧洲气象中心ERA5气象再分析资料库,提供60余年地表37个等压面各种气象数据共2,000TB。

这些数据给大型模型发挥的空间──不再使用精准对应的数值分析,而是让AI更灵活自己挖掘数据间各种复杂关系。

盘古构建3D transformer结构,使海洋、大气和陆地复杂互动物理过程融为一体,以往气候大模型如辉达FourCastNet是2D结构──每个等压面为一层,显然2D平面没办法完美反应气象变化过程。

华为使用绝对位置编码,加速模型收敛,也训练四个基础模型分别对应1小时、3小时、6小时和24小时预测,透过时域融合减少模型小步长、多次更新造成的误差。预测台风,盘古使用平均海平面气压为基准,结果比欧洲气象局好。风乌大模型用6个独立编码器对不同气象参数(湿度、风、温度等)编码解码,不同变量间用独立transformer网络学习。与华为时域融合减少误差不同,风乌设计缓存空间储存和重播训练结果,让神经网络适应误差,达到更佳预测效果。

新气象大型模型预测成果,尽管还很初步,成绩也只是具体指标比传统方法好一点,还要全面测试最佳化,但无疑代表与传统气象预测不同的新模式。华为盘古大模型已在欧洲中期天气预报中心初步执行,风乌宣称是最精准全球高解析度AI气象预报模型,24小时前杜苏芮预测误差值为38.7公里,优于欧洲中期气象预报中心54.11公里。有了超级电脑和大型模型,就能预测任何气象灾害? AI与大数据 图3张

(Source:shutterstock)

漫漫前路

改革即将来临。气象大型模型许多方面都有可能颠覆现有气象预报,如速度。风乌用一张GPU在1分钟内就能产生14天内全球37层高精准度高解析度气象预报,盘古7天天气预报产生时间只需9.8秒。

为数值分析建立即时天气数据传输系统和通用算力基础设施会因此改变。内地气象局观点,尽管短期还只是参考,但中长期看,气象大型模型潜力巨大。这些气象大型模型主要问题或许有两方面,首先是最佳化,极端气候等数据如何正确标注是个问题,AI模型模拟力很强,因此长期预报有可能出现错误,这或许可称为气象大型模型的幻觉。

且大型模型还没有更深业界know how储备,模型构建都由电脑科学家而不是气象专家完成,也就是说这些垂直大模型还缺乏人类回馈。另一个问题是老生常谈的算力,所幸气象大型模型需要的直接算力成本不高,几十张辉达显卡(甚至不需用到最高阶)就可几周内最多两个月内训练完模型,也成为相较传统数值预测模式的优势。

有气象大型模型加持,“天有不测风云”这句话或许会变成伪命题,有一天我们真的可同时预测拍动的蝴蝶翅膀与飓风究竟来自何处,去往何方。

(本文由 品玩 授权转载;首图来源:Pixabay)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。