在人工智能迅猛发展的今天，Meta 的 FAIR 团队与佐治亚理工学院联合研发了一款名为 CATransformers 的全新框架。该框架以降低碳排放为核心设计理念，旨在通过优化模型架构与硬件性能，显著减少 AI 技术在运营中的碳足迹，为可持续的 AI 发展奠定基础。
随着机器学习技术在各个领域的广泛应用，从推荐系统到自动驾驶，其背后的计算需求不断增加。然而，这些技术的高能耗问题也日益突出。传统的 AI 系统通常需要强大的计算资源，并依赖于定制硬件加速器来运行，这不仅在训练和推理阶段消耗大量能源，还导致运营过程中产生较高的碳排放。此外，硬件的整个生命周期，包括从制造到报废，也会释放 “隐含碳”，进一步加重了生态负担。
当前的减排策略多集中在提升运营效率上，比如优化能耗和提高硬件利用率，但这往往忽视了硬件设计及制造过程中的碳排放。为了应对这一挑战，CATransformers 框架应运而生。它通过多目标贝叶斯优化引擎，综合评估模型架构和硬件加速器的性能，以实现延迟、能耗、精度和总碳足迹之间的平衡。
CATransformers 特别针对边缘推理设备进行了优化，通过对大型 CLIP 模型的剪枝，生成了一些碳排放更低但性能优异的变体。例如，CarbonCLIP-S 与 TinyCLIP-39M 在精度上相当，但碳排放减少了17%，延迟保持在15毫秒以内。而 CarbonCLIP-XS 的精度比 TinyCLIP-8M 提升了8%，同时减少了3% 的碳排放，延迟则低于10毫秒。
研究结果表明，单纯优化延迟的设计可能导致隐含碳增加高达2.4倍。而如果综合考虑碳排放与延迟的设计策略，则可以实现19% 到20% 的总排放削减，且延迟损失微乎其微。CATransformers 的引入为可持续机器学习系统设计提供了坚实的基础，展示了从一开始就考虑硬件能力与碳影响的 AI 开发模式能够实现性能与可持续性的双赢。
随着 AI 技术的不断发展，CATransformers 将为行业提供一条切实可行的减排路径，助力实现绿色科技的未来。
