一次Gemini查询仅能耗0.24wh，相当于微波炉运行1秒，排放0.03 g CO₂e，甚至比人放一次屁还少，同时消耗约5滴水。

　　一年间，通过模型优化和额外清洁能源的使用，Gemini的能耗降至原来的1/33，碳排放降至1/44，同时提供了更高质量的响应。

　　谷歌首先指出，目前许多关于AI能源消耗的计算反映的都是理论效率，而非大规模运行下的实际效率。

　　所以，谷歌针对AI服务时的实际情况，开发了一套更为全面的方法来计算能源消耗，包括以下几个部分：

　　这不仅包括主AI模型在计算过程中使用的能源和水，还考虑了大规模运行下实际的芯片利用率，而该利用率往往远低于理论最大值。

　　为确保高可用性和可靠性，生产系统需要一定程度的预置容量，该容量处于空闲状态，但随时可以处理流量高峰或故障转移。这些闲置芯片消耗的能量必须计入总能源足迹。

　　AI模型的运行不仅依赖TPU和GPU等机器学习加速器，主机的CPU和内存同样在提供服务和消耗能源方面起着关键作用。

　　运行AI的信息技术设备所消耗的能源仅占整体能耗的一部分。支撑这些计算的基础设施，如冷却系统、配电系统以及其他数据中心开销同样会消耗能源。这部分开销能源通常用电力使用效率（PUE）指标来衡量。

　　为了降低能耗及相关排放，数据中心通常会使用水进行冷却。随着优化AI系统以提高能源效率，其整体用水量也会随之自然减少。

　　通过上述更全面的指标，谷歌得出一次Gemini查询的能耗为0.24wh，排放0.03 g CO₂e，同时耗水量约5滴。

　　谷歌表示，Gemin显著的效率提升得益于其在AI开发中采取的全栈方法，从定制硬件、高效模型，到支撑这些模型运行的强大服务系统，他们在每一层都融入了效率优化。

　　首先是更高效的模型架构，Gemini是谷歌研究人员开发的Transformer模型框架，相比之前的语言建模架构，其效率可提升10倍到100倍。

　　此外，他们还在模型设计中融入了像MoE和混合推理等机制，从而进一步减少计算量和数据传输，提高整体运行效率。

　　与此同时，Gemini通过精准量化训练（AQT）等方法不断得到优化，使模型在保证回答质量的前提下进一步降低了能源消耗。

　　在优化推理和服务上，谷歌不断改进AI的交付方式，以提升响应速度和整体效率。

　　比如通过推测解码技术，较小的模型可以先进行预测，再由较大的模型快速验证，从而用更少的芯片提供更多响应。

　　蒸馏技术则可以利用大型模型作为教师，生成用于服务的小型高效模型（如Gemini Flash和Flash-Lite）。

　　十多年来，他们一直从零开始设计TPU，以最大化每瓦的性能。同时，他们还协同设计AI模型与TPU，确保软件充分利用硬件潜力，硬件也能高效运行未来的AI软件。

　　值得一提的是，最新一代TPU Ironwood的能效比首款公开TPU高30倍，在推理任务中远超通用CPU。

　　接下来，就是优化空闲资源。谷歌的服务堆栈能够高效利用CPU，并根据需求近乎实时地动态调度模型，从而最大化减少TPU的空闲时间，而不是采用“设置一次、永久运行”的方式。

　　同时，他们的XLA ML编译器、Pallas内核和Pathways系统，使得在JAX等高级系统中表达的模型计算能够在TPU服务硬件上高效运行。

　　再来看谷歌的超高效数据中心，其整体平均能源使用效率（PUE）可达1.09，为业界最高效的数据中心之一。

　　最后在数据中心运营方面，谷歌持续增加清洁能源的使用，以实现全天候无碳运行的目标，同时努力补充办公室和数据中心平均消耗的120%淡水。

　　此外，他们还优化冷却系统，通过科学的流域健康评估，平衡能源、水资源和排放之间的局部权衡，从而指导冷却方式的选择，并在水资源紧张地区限制用水量。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。