GPU+CPU Droplet:WindBorne 利用 DigitalOcean 开发下一代天气预报
WindBorne Systems 最初是一个大学的课外项目,当时一群学生为了好玩发射气象气球。“最终这发展成 […]

WindBorne Systems 最初是一个大学的课外项目,当时一群学生为了好玩发射气象气球。“最终这发展成一家公司,我们意识到它可以在天气预报的工作方式上产生相当重大的影响,”WindBorne 的创始人之一 Joan Creus-Costa 解释道。
该公司的突破性想法是创造可以持续数周甚至数月的气象气球,而不是仅仅几个小时。这极大地增加了气象数据的数量和覆盖范围,特别是在传统气球无法到达的海洋和偏远地区。如今,WindBorne 运营着世界上最大的气球群,同时也在为实时预报开发最先进的深度学习模型。
数据与计算的规模化挑战
随着 WindBorne 从硬件扩展到 AI 驱动的建模,他们的计算需求呈指数级增长。训练深度学习模型不仅需要强大的 GPU,还需要海量数据。“我们在 DigitalOcean 上有超过 100 TB 的训练数据,”Creus-Costa 指出。“天气预报领域非常特殊,因为数据集比大多数其他领域要大得多。”
他们的团队以前曾拼凑出一个使用游戏 GPU 的本地集群——甚至用现金购买 CPU 和 RAM。虽然这种设置很有独创性,但它无法跟上现代深度学习的规模。“我们基本上已经不再用它们来实际训练模型了,我们现在只依赖 DigitalOcean 来完成这项工作,”Creus-Costa 说。
为什么选择 DigitalOcean
WindBorne 评估了几家云提供商,但发现 DigitalOcean 独特地满足了他们的需求。“我们看到的一点是,DigitalOcean 能够提供 Gradient™ AI 裸金属 GPU 服务器,这些 GPU 在不同节点之间具有极高的互连性,”机器学习工程师 Anuj Shetty 解释道。“这对我们来说非常重要,因为我们进行大量多节点训练。”
有效存储和访问数据的能力也至关重要。“能够将所有这些存储放在本地,可以实现一些你无法通过从其他地方流式传输来完成的事情,”Creus-Costa 说。团队发现 DigitalOcean 的基础设施使他们能够比其他云选项更快、更具成本效益地训练模型。
另一个不同之处在于可用的系统资源。“我们的每个节点上有 2 TB 的 RAM,我们利用它来训练更大的模型,”Shetty 说。“DigitalOcean 能够为我们提供所有我们需要的资源,而这些资源通常在其他地方找不到,这非常有帮助。”
裸金属 GPU 与 CPU Droplet 协同
WindBorne 主要依靠 Gradient™ AI 裸金属 GPU 服务器来训练其 WeatherMesh 模型,并辅以 CPU Droplets 服务器进行大规模处理。在一个案例中,他们启动了 100 多个 CPU Droplets 来快速处理数据。该基础设施足够灵活,可以支持开发和生产工作负载。
可靠性和支持也表现突出。Shetty 回忆道:“每当我们遇到问题时,支持团队都非常积极主动,反应迅速。”Creus-Costa 补充了一个难忘的轶事:“在拥有DigitalOcean Gradient™ AI 裸金属 GPU 服务器的 24 小时内,我们因为过度读写磁盘弄坏了其中一台机器。DigitalOcean 迅速为我们提供了硬重启机器的端点,这使我们能够立即恢复服务。”
为气象赋予智能
WindBorne 的愿景是宏大的:建立一个天气的“行星神经系统(planetary nervous system)”。正如 Shetty 所描述的:“这分为两部分。一部分是感觉器官——收集全球气象数据的全球探空气球。然后是大脑,它指挥气球并将这些输入转化为天气智能(Weather intelligence)。”
Creus-Costa 补充道:“我们在这方面投入的工作越多,就越认为预报仍有很大的改进空间。这种改进来自两个方面:气球和更好的深度学习建模。能够运行越来越大、数据越来越多的训练是实现这一目标的方法。”
在 DigitalOcean 为他们的建模工作提供计算支柱的情况下,WindBorne 正在推动天气预报的变迁——让更准确的预测惠及所有人。
