数据中心不断演变的格局:从地面转型到轨道愿景

· Charlie Feng

人工智能的快速发展正在从根本上重塑数据中心的格局,突破现有基础设施的界限并引发创新浪潮。从优化电力和制冷到解决跨远距离分布式训练的复杂性,地面数据中心行业正在经历快速转型。与此同时,尽管面临巨大的障碍,基于太空的数据中心的未来愿景继续令人着迷。本文探讨了这一不断演变的格局,既审视了在地球上为AI供电的现实,也展望了轨道计算的长期潜力。

AI驱动的数据中心革命:基于地面的视角

AI工作负载(特别是大模型训练)的贪婪需求正在重塑数据中心的设计、建设和运营。本节探讨推动这一转型的关键挑战和创新。

CSF技术博客是一个读者支持的出版物。要接收新帖子并支持我的工作,请考虑成为免费或付费订阅者。

制冷的关键作用

AI硬件,尤其是像英伟达Blackwell架构这样的尖端GPU,其功率密度显著高于传统计算设备。这给现有的数据中心基础设施带来了巨大挑战,因为这些基础设施通常是为较低的功率需求而设计的。后果是显而易见的:例如,Meta放弃了部分不适合高功率AI部署的在建建筑。这凸显了对创新制冷解决方案的迫切需求,液冷正在成为主流方法。英伟达的Blackwell GPU强制要求采用直接芯片液冷(Direct-to-Chip),推动了广泛采用并影响了整个数据中心供应链。作为液冷的先驱,谷歌通过其优化的TPU数据中心展示了液冷的有效性,在2023年实现了令人印象深刻的1.1的电源使用效率(PUE)——这是衡量数据中心能源效率的指标。这突显了像谷歌这样的超大规模企业与那些落后者之间日益扩大的基础设施能力差距。例如,微软在亚利桑那州的数据中心面临着较高的PUE和水利用效率(WUE)挑战,进一步强调了先进液冷系统的优势。

超大规模优势:规模、效率和专业知识

像谷歌这样的超大规模公司处于AI基础设施开发的最前沿。它们庞大的、专用的数据中心利用了规模经济、先进的制冷技术和集群管理的深厚专业知识。谷歌在集中区域(如爱荷华州康瑟尔布拉夫斯和俄亥俄州哥伦布)建设大型互联园区的战略方法,使其能够创建千兆瓦级的AI训练集群。这不仅提供了巨大的计算能力,还实现了高效的资源利用和网络优化。此外,它们在高带宽光纤网络上的投资加强了互连能力,促进了设施之间的无缝数据传输。这与规模较小的参与者甚至一些努力使现有基础设施适应AI需求的成熟云提供商面临的挑战形成了鲜明对比。

多数据中心训练的复杂性

训练大规模AI模型通常需要将工作负载分布在多个地理位置分散的数据中心,这给数据中心运营引入了新的复杂性。这种分布带来了几个关键挑战:延迟限制、“落后者问题”、容错和互连瓶颈。例如,光速本身成为了跨远距离同步训练的约束,因为数据中心之间的往返时间可能会引入不可接受的延迟。同样,单个慢速GPU(“落后者”)可能会在同步训练中成为整个训练过程的瓶颈,因为所有节点必须保持步调一致。为了缓解这一问题,人们正在探索分层和异步随机梯度下降(SGD)等策略,尽管它们引入了自己的复杂性。此外,随着成千上万个GPU协同工作,即使是微小的硬件故障也可能引发级联效应。强大的容错机制,包括像谷歌的Borg和Pathways这样的先进软件解决方案,至关重要。最后,在数据中心之间移动大量数据需要高带宽、低延迟的互连解决方案,推动了对先进光纤网络、专用电信设备和优化网络拓扑的需求。在后端网络层面的选择,例如使用InfiniBand还是以太网,具有重大的性能和成本影响。

基于太空的数据中心:轨道展望

当地面数据中心行业努力应对AI的直接挑战时,基于太空的数据中心的概念提供了一个诱人的、未来的潜力。想象一下不间断的太阳能、高效的辐射冷却、全球覆盖以及对地面灾害的天然抵御能力。然而,巨大的障碍仍然存在,包括高昂的发射成本、太空维护和维修的复杂性、光速导致的延迟限制,以及减轻恶劣辐射环境和太空碎片碰撞风险的需求。虽然不太可能很快取代地面基础设施,但基于太空的数据中心在数据归档和灾难恢复等利基应用方面具有潜力。随着发射成本的降低以及机器人服务和太空制造等技术的成熟,轨道计算的可行性可能会提高。

AI的需求正在推动地球上可能性的边界,驱动着电力输送、制冷、网络和软件优化方面的创新。与此同时,基于太空的数据中心的梦想继续激励着人们,即使仍然存在重大的技术和经济挑战。数据中心技术的演变是一个动态和持续的过程,现实的基础和未来的愿景共同塑造着计算的未来。