计算硬件的演进速度从未像今天这般迅猛。人工智能（AI）的崛起，特别是深度学习模型的爆炸性增长，对计算能力提出了前所未有的严苛要求。传统的CPU架构难以胜任大规模AI模型的训练和推理任务，因此，图形处理器（GPU）成为了AI计算领域的“主力军”。而英伟达的H100显卡，凭借其强大的算力，更是当前高性能计算领域的翘楚，支撑着无数前沿AI研究的落地。然而，GPU的性能释放并非易事。传统的CUDA编程模式，虽然强大，但开发和优化GPU内核的复杂度也令人望而却步，这给深度学习研究和应用带来了挑战。最近，一场悄然兴起的革命正在酝酿，旨在摆脱CUDA的束缚，释放GPU的全部潜能。
这场革命的核心在于QuACK内核库，由Flash Attention的联合创作者Tri Dao及其团队研发。QuACK的核心技术突破在于它能够在不依赖CUDA C++代码的情况下，实现对H100显卡的显著加速，性能提升幅度高达33%-50%。这并非简单的优化，而是对整个开发流程的颠覆。其实现的路径依赖于纯Python和CuTe-DSL的巧妙结合。CuTe-DSL，全称为“高性能计算内核领域特定语言”， 是一种专门用于描述高性能计算内核的语言，它能够将复杂的内核逻辑转化为针对特定硬件平台的优化代码。QuACK利用CuTe-DSL，避免了手动编写CUDA代码的繁琐过程，大大降低了开发难度，并降低了对CUDA专业知识的依赖，从而拓宽了GPU内核优化的参与群体范围。
QuACK的优势不仅仅体现在易用性上，更重要的是其对内存访问的极致优化。在深度学习模型中，内存访问常常成为性能的“瓶颈”。QuACK引入了SOL（Static Output Locality）内存绑定技术，显著减少了对全局内存（GMEM）的访问次数，极大地提高了数据传输效率。其原理在于，通过巧妙的内存管理策略，确保数据能够在SM（Streaming Multiprocessor）内部被高效地处理。举例来说，假如单个SM仅能处理32k的输入数据，那么由16个SM组成的集群就能够处理大约50万的输入数据，而无需频繁地从全局内存中重新加载数据，这对于处理大规模数据集和复杂模型至关重要。在H100显卡上，QuACK的性能甚至超越了PyTorch中的torch.compile和Liger等经过深度优化的库，展现了其强大的性能潜力。这不仅仅是性能的提升，更是对传统深度学习框架的挑战，预示着未来深度学习加速的新方向。
这仅仅是开始。除了QuACK之外，整个行业都在积极探索无需CUDA代码的GPU计算加速方案。例如，斯坦福大学的研究人员开源了一个名为ThunderKittens的框架，仅用58行代码就编写了一个RTX 4090上的FlashAttention-2内核，性能达到理论最大值的74%。这证明了无需复杂代码，也能实现高性能。与此同时，一些初创公司也在尝试通过模拟CUDA环境，在非英伟达硬件上运行CUDA程序，从而打破英伟达在GPU市场上的垄断地位。甚至有开源项目通过社区贡献，让CUDA项目也能在非英伟达芯片上运行，且无需修改原始代码。这些努力共同指向一个明确的方向：摆脱CUDA依赖，探索新的GPU编程范式。这些技术趋势的出现，标志着深度学习领域正在走向一个更加开放和灵活的未来。不再依赖CUDA，不仅能够降低开发成本，提高开发效率，还能促进硬件厂商之间的良性竞争，最终推动人工智能技术的加速发展。
未来，随着诸如CuTe-DSL之类的领域特定语言的不断完善，以及更多高效内存优化技术的涌现，我们有理由相信，GPU计算的性能将得到进一步的提升。更高效的编程模型、更灵活的硬件选择，以及更强大的性能表现，都将为人工智能的蓬勃发展提供更加坚实的基础。这场“去CUDA化”的浪潮，将释放更多计算潜力，加速AI技术的创新步伐，最终推动整个人类社会迈向智能化未来。
发表评论