以下資訊來源:https://blogs.nvidia.com/blog/2023/05/23/microsoft-build-nvidia-ai-windows-rtx/
一旦部署,生成式人工智慧模型需要令人驚人的推理效能。RTX Tensor Cores 提供高達 1,400 Tensor TFLOPS 的人工智慧推理能力。在過去一年中,NVIDIA 工作於改善 DirectML 的效能,以充分利用 RTX 硬體。
在 5 月 24 日,NVIDIA 將發佈 Release 532.03 驅動程式的最新優化,結合 Olive-optimized 模型,以提供大幅增強的人工智慧效能。使用針對 Olive 進行優化的 Stable Diffusion 文字轉圖像生成器與熱門 Automatic1111 應用,新驅動程式可提高效能超過 2 倍。
隨著人工智慧應用程式幾乎普及於每個 Windows 應用程式中,有效地提供推理效能至關重要,尤其是對於筆記型電腦而言。NVIDIA 即將推出針對僅限於人工智慧工作負載的 RTX GPU 的新 Max-Q 低功耗推理功能。它在保持 GPU 功耗盡可能低的同時,優化 Tensor Core 的效能,延長電池壽命並保持冷卻和靜音的系統運行。當工作負載需要時,GPU 可以動態調整以獲得最大的人工智慧效能。