当你在美国服务器上部署 AI 工作负载时，需要对推理效率进行度量。MLPerf Inference 等行业标准基准测试，可以为你提供清晰的服务器性能对比。例如，像 SR650a V4 和 SR680a V4 这样的美国顶级服务器型号，在 AI 和机器学习任务的效率方面处于领先地位。Amazon SageMaker 帮助你在大规模场景下管理深度学习推理，而 NVIDIA Triton Inference Server 则支持高吞吐量 AI。你会发现，SageMaker 能与 AWS 无缝协同，用于可扩展的 AI 推理。当你使用 SageMaker 时，就可以改进推理性能，并优化机器学习工作负载。

关键要点

  • 使用 MLPerf Inference 基准测试来衡量美国服务器上的 AI 性能。
  • 通过调整批大小和使用更小的模型来优化延迟与吞吐量。
  • 监控资源利用率，确保硬件和能源使用的高效率。
  • 利用 Amazon SageMaker 实现可扩展的 AI 推理和性能调优。
  • 认真准备数据，以提升推理的准确性与一致性。

推理效率指标

延迟与吞吐量

你需要衡量延迟和吞吐量，来了解 AI 工作负载在美国服务器上的表现。延迟表示模型对用户请求做出响应所需的时间。尤其在实时应用中，如果你有严格的延迟要求，就应同时关注端到端延迟和模型延迟。在做任何更改之前，先建立推理延迟的基线。你可以通过使用更小的模型或量化模型来改善模型延迟。重点优化预填充（prefill）阶段，并使用高效路由，以降低首 token 时间（time to first token）。吞吐量衡量系统每秒可以处理多少 token 或请求。token 吞吐量表示每块 GPU 每秒生成的 token 数，有助于你了解 AI 系统的整体吞吐能力。

提示：通过调整批大小，在不显著增加延迟的前提下最大化吞吐量。

资源利用率

资源利用率反映了 AI 模型在硬件和能源使用上的效率。你可以使用基准测试框架来度量每个请求的延迟、吞吐量和 GPU 功耗。这些框架还会考虑电源使用效率（PUE）、水资源使用效率（WUE）以及碳强度因子（CIF）等指标。工作负载能力通常以每秒浮点运算次数（FLOPS）衡量，用来表明服务器的计算能力。AI 服务器可以达到万亿次 FLOPS，但实际表现仍取决于硬件优化和基础设施状况。下表展示了不同因素对推理效率的影响：

因素对推理效率的影响
基础设施是 AI 推理可持续性的关键决定因素。
硬件优化实际效果会因部署条件和硬件效率而有差异。
能源使用模型设计提升理论效率，但真实能耗会有所不同。
数据中心低效高水足迹往往源于数据中心低效，而不仅是模型本身特性。

准确性与一致性

你还必须检查准确性和一致性，以确保 AI 推理可靠。由 MLCommons 创建的 MLPerf 基准，为硬件、软件和服务的训练与推理性能提供了客观评估。这些基准在严格条件下，测试包括深度学习与机器学习在内的多种模型架构。一致性意味着模型在多次运行中会给出相同或高度相似的结果。下图（假定存在）对比了不同后端和运行模式下推理结果不一致的情况：

测试环境搭建

硬件与网络

要在美国服务器上获得高效的 AI 推理，你需要合理的硬件与网络配置。对于大多数生产部署而言，一台配备 4 块 GPU 的 2U 服务器通常足够。如果你追求最大吞吐量和更佳散热表现，则 4U 服务器是更好的选择。配备 96 GB 显存的 RTX PRO 6000 Blackwell GPU 适合小团队，而更大规模部署则可采用 4 或 8 GPU 的配置。AMD EPYC 9005 处理器拥有高数量的 PCIe Gen 5 通道和强大的内存带宽，非常适合多 GPU 推理场景。AI 应用对网络性能要求也很高。对于实时视频分析和深度学习模型训练而言，高带宽至关重要。如果带宽不足，你可能会遇到训练时间延长或实时流程失败的问题。大型 AI 模型同样需要可观的内存带宽，以实现快速数据传输。当你增加 GPU 数量时，系统延迟有机会降低，但前提是网络带宽足够支撑。

提示：在扩展 AI 工作负载之前，务必先检查并确认你的网络带宽是否充足。

软件、框架与 Amazon SageMaker

在 AWS 上进行可扩展的 AI 推理，建议使用 SageMaker。SageMaker 与 NVIDIA Triton Inference Server 深度集成，可在模型服务中最大化吞吐量、最小化延迟。SageMaker 支持包括 TensorRT、TensorFlow、PyTorch 和 ONNX 在内的主流 AI 框架。SageMaker Inference Recommender 能帮助你选择合适的计算实例类型、实例数量以及推理优化方式，从而免去大量繁琐工作，让你可以更快地进行实验和优化。多线程可以显著提升吞吐量，尤其是在 GPU 上部署 Transformer 模型时。批处理（batching）则是另一项关键技术。SageMaker 和 NVIDIA Triton Inference Server 都支持批处理，通过批处理可以提高吞吐量并降低延迟。MLPerf Inference 为你的 AI 工作负载提供标准化基准。你可以使用 SageMaker Inference Recommender 测试不同配置，为你的实时端点找到最佳方案。

特性优势
SageMaker + NVIDIA Triton高吞吐量、低延迟的模型服务能力
SageMaker Inference Recommender自动选择实例类型和优化策略
多线程与批处理提升吞吐量并降低延迟
MLPerf Inference 基准标准化的性能测量方式

数据准备

为了获得准确的推理基准测试结果，你必须认真准备数据。系统化的参数选择，有助于你更有效地测试 AI 模型。对于实时服务，可以设定延迟阈值，例如 LLM 交互中每个 token 50 ms 的上限。使用合成数据与真实数据相结合的方式，评估模型在不同数据类型上的表现。良好的实验设计和合理的采样策略，能够帮助你高效探索大量参数组合。数据预处理在推理效率中也扮演着重要角色。如果你在 CPU 上进行预处理，可能会出现瓶颈。像 NVIDIA DALI 这样的工具可以将预处理工作卸载到 GPU 上，从而降低延迟、提升吞吐量。当你将 DALI 与 NVIDIA Triton Inference Server 集成时，可以在 GPU 上完成数据解码和缩放，尽量减少通信开销。SageMaker 支持这些工作流，帮助你更轻松地优化 AI 模型部署。SageMaker Inference Recommender 还可以协助你测试批处理策略和预处理流水线，从而为端点找到最佳配置。

注意：在 AWS 上实现可靠的 AI 推理结果，离不开合理的数据准备和批处理策略。

运行推理基准测试

MLPerf Inference 与其他工具

你可以通过运行 MLPerf Inference 基准测试，来衡量美国服务器上的推理效率。MLPerf Inference 是针对 AI、深度学习和机器学习工作负载的领先基准测试套件，帮助你对比不同硬件与软件组合的性能。要开始测试，你需要按如下步骤准备环境并确保结果准确：

  1. 安装 MLCommons CM 框架，该框架提供用于 AI 基准测试的自动化配方。
  2. 使用图形界面生成 CM 命令，以自定义并运行 MLPerf Inference 基准测试。
  3. 通过 pip install tensorflow 和 pip install tensorflow-io 安装 TensorFlow 作为后端。
  4. 设置环境变量以启用 oneDNN，并配置 16 位浮点存储格式，以提升效率。
  5. 使用 wget -q https://zenodo.org/record/2535873/files/resnet50_v1.pb 下载你要测试的机器学习模型，例如 resnet50-v1.5。
  6. 下载适用于该模型的数据集，例如 imagenet2012 验证集。
  7. 使用命令 ./run_local.sh tf resnet50 cpu 在服务器上运行基准测试。

你也可以使用其他工具，例如支持 TensorRT 后端的 NVIDIA Triton Inference Server，用于高吞吐量 AI 工作负载。Triton 内置批处理、模型版本管理以及多框架部署等功能，有助于你优化模型延迟和整体吞吐量。

提示：务必使用标准化的基准测试工具，确保结果公平且可重复。

执行 AI 工作负载

在为推理基准测试执行 AI 工作负载时，你需要设置测试场景，使之尽可能贴近真实使用场景。应同时关注实时推理和批量处理。下表展示了常见测试类型、关键参数以及需要跟踪的指标：

测试类型参数指标
训练测试批大小、模型大小吞吐量（样本/秒）、GPU 名称
推理测试模型名称、最大并发数每秒 token 数、平均延迟、GPU 名称

你可以使用随机采样等技术，为测试选择具代表性的数据点。线性优化有助于你找到批处理和 TensorRT 设置的最佳组合；贝叶斯推断则可以在数据有限的情况下估计性能表现，这在存在不确定性的场景中尤为有用。这些方法能够帮助你将 AI 工作负载调优到更高的效率和更好的性能水平。

你还需要重视批处理策略。批处理通过将多个推理请求合并处理，来提升吞吐量。NVIDIA Triton Inference Server 和 TensorRT 都支持动态批处理，可以根据负载变化调整批大小。对于实时推理，这种方式可以在降低模型延迟的同时提升整体吞吐量。

注意：合理的批处理策略和 TensorRT 优化，是实现高性能 AI 推理的关键。

收集性能数据

在基准测试过程中，你需要收集详尽的性能数据。Perf Analyzer 等工具可以帮助你监控服务器端指标，包括 GPU 利用率和功耗。你可以通过 --collect-metrics 命令行选项启用指标采集。默认情况下，指标会暴露在 localhost:8002/metrics，你也可以使用 --metrics-url 选项更改该地址。默认采集间隔为 1000 毫秒，可利用 --metrics-interval 参数进行调整。

Perf Analyzer 会在多 GPU 系统中汇总每块 GPU 的指标。你可以利用 -f <filename> 和 --verbose-csv 选项，将结果导出为 CSV 文件，方便后续分析趋势并识别性能瓶颈。

在进行负载测试时，你应当变化推理请求的速率和分布类型，因为这些因素对延迟和吞吐量影响很大。例如：

  • 超大规模云环境的基准测试会重点关注整体集群效率和服务一致性。
  • 本地企业环境更强调在受控基础设施内的性能验证。
  • 边缘推理场景则尤其关注低延迟和功耗限制。
  • 嵌入式或工业部署更强调确定性和长期稳定运行。

你可以根据这些洞察，针对不同部署场景调整 TensorRT 和批处理配置。性能调优需要你仔细分析收集到的数据，并据此做出改动，以提升推理效率。

提示：在负载测试中始终监控模型延迟、吞吐量和资源使用情况，确保 AI 工作负载达到预期性能目标。

结果分析与优化

识别瓶颈

你需要对基准测试结果进行深入分析，以发现限制推理效率的瓶颈。常见问题包括高延迟、低吞吐量以及内存限制。当你运行 AI 工作负载时，可能会发现大语言模型是以 token 为粒度逐个生成的，这会在长提示词场景下显著增加模型延迟。在请求量大、延迟高的情况下，服务器可能出现卡顿或超时。流式批处理（inflight batching）可以提供帮助，但同时也要密切关注内存需求。更大的模型和更长的提示词都会消耗更多显存。随着模型变大，能耗也会上升，而使用高端设备进行扩展会带来更高的成本。管理模型更新与版本迭代同样关键，有助于平稳完成模型部署。

  • 延迟：LLM 按 token 逐步生成，导致预测时间变长。
  • 吞吐量：高请求量叠加高延迟，可能导致服务器卡死。
  • 内存：更大的模型和更长的提示词需要更多 VRAM。
  • 能耗：大型模型对功耗要求更高。
  • 可扩展性：高端机器在扩容时成本更高。
  • 模型更新：版本管理是平稳部署的关键一环。

提示：在分析瓶颈时，要重点关注 GPU 利用率和网络基础设施；仅依赖传统 CPU 指标，往往无法真实反映 AI 推理性能。

优化推理效率

你可以通过多种优化策略来提升推理效率。量化（quantization）通过降低模型精度，减少内存占用并加快推理速度。连续批处理（continuous batching）则以动态方式聚合推理请求，以最大化吞吐量。KV 缓存（KV caching）可以避免重复计算，加快 token 生成。提前退出机制（early exit）允许模型在无需完整计算所有层的情况下提前给出结果，从而节省时间。低秩分解（low-rank factorization）把大矩阵分解为更小的矩阵，以获得更高的运行速度和更低的内存占用。基础设施优化则通过改进网络架构，降低数据传输时间。缓存与备忘录（caching vs. memoization）会存储中间结果，为后续请求提供更快的响应。通过并行化和批处理，你可以利用多台服务器和多块 GPU，以获得更好的整体性能。

策略说明
量化降低模型精度，以减少内存占用并加速推理。
提前退出机制允许模型在并非所有层完成计算时就给出预测结果。
低秩分解将大矩阵分解为更小矩阵，以获得更高速度和更低内存占用。
连续批处理以动态方式聚合请求，从而提升吞吐量。
KV 缓存减少重复计算，加快 token 生成速度。
基础设施优化改进网络架构，缩短数据传输时间。
缓存与备忘录存储中间结果，为后续推理请求提供更快响应。
并行化与批处理利用多台服务器和多块 GPU 提升整体性能。

你还应当对多线程进行调优。如果线程数设置过多，可能会导致延迟升高和 GPU 利用率下降。让线程数量与并发推理请求数更好地匹配，可以同时提高吞吐量并降低延迟。借助 SageMaker Inference Recommender 等工具进行性能调优，可以帮助你为 AI 工作负载找到最合适的批处理和 TensorRT 配置。

借助 SageMaker 进行 AI 扩展

Amazon SageMaker 为你在 AWS 上扩展 AI 推理提供了强大工具。你可以创建实时推理和批量推理端点，高效管理深度学习和机器学习工作负载。SageMaker 支持无服务器部署（serverless）和自动扩缩容机制，从而在保持资源平衡的同时控制成本。你可以通过 Amazon CloudWatch 监控性能，并快速排查问题。SageMaker 负责跨多个可用区管理模型部署，以确保高可靠性。多模型端点（MMEs）允许你在同一个端点上部署多个模型，从而最大化 GPU 利用率并降低托管成本。SageMaker 会根据流量情况动态加载和卸载模型，在保证实时推理场景中亚秒级延迟的同时实现高性能。SageMaker Inference Recommender 能帮助你测试不同配置、优化批处理并调优 TensorRT 设置，为实时端点找到最佳组合。你可以将 SageMaker 与 NVIDIA Triton Inference Server 结合使用，获得高吞吐的模型服务能力。SageMaker 也支持性能调优、负载测试和基准测试，使你能够在 AWS 上轻松优化 AI 工作负载。

特性说明
实时推理与批量推理创建端点以获得即时预测，并高效管理工作负载。
无服务器且具成本优势通过自动扩缩容和 AWS Lambda 集成实现动态资源管理。
监控与调试使用 Amazon CloudWatch 进行实时监控，并利用调试工具支持模型部署。
部署能力利用多种实例类型与多个可用区扩展基础设施。
SageMaker 多模型端点（MMEs）在单一端点上部署多个模型，实现具成本优势且可扩展的实时推理。

注意：SageMaker Inference Recommender 是优化模型部署、批处理和 TensorRT 设置、实现顶级推理效率的关键工具。

通过遵循清晰的流程，你可以大幅提升美国服务器上的推理效率。先使用标准化基准框架度量性能，然后借助 SageMaker 和 MLPerf 获得准确的推理结果。再通过 SageMaker Inference Recommender 完成模型部署与性能调优。最后，持续结合实时推理、负载测试和端点监控，不断优化你的 AI 工作负载。

持续优化对于资源管理、性能提升以及模型兼容性都至关重要。

策略层级关注领域关键行动
1硬件利用使用批处理、量化和 CUDA 图。
2内存与算法消除内存瓶颈。
3扩展拓扑将服务器就近部署并合理管理副本。

结合 SageMaker Inference Recommender，在 AWS 上探索更高级的 AI 与深度学习策略，持续进行性能调优，并高效处理不断增长的推理请求。

常见问答

在美国服务器上衡量推理性能的最佳方式是什么？

你应该使用 MLPerf Inference 基准测试。这些测试能够为 AI 工作负载提供清晰的性能结果。SageMaker 可以帮助你运行这些基准，对比不同硬件的表现。你可以在每次测试中跟踪延迟、吞吐量和资源使用情况。

SageMaker 如何提升 AI 推理性能？

SageMaker 让你可以高效部署模型。你可以利用批处理、多线程以及 NVIDIA Triton 等工具来提升推理性能。SageMaker 同时提供监控与调优工具，帮助你持续优化 AI 工作负载，获得更好的结果。

为什么批处理对推理性能很重要？

批处理会将多个请求组合在一起处理，这一方式可以显著提升吞吐量并降低延迟。SageMaker 和 NVIDIA Triton 都支持动态批处理。只要为你的工作负载选择合适的批大小，就能看到更好的 AI 推理表现。

如何在 SageMaker 中监控推理性能？

你可以将 Amazon CloudWatch 与 SageMaker 结合使用。CloudWatch 会跟踪延迟、吞吐量和 GPU 利用率等指标。你还可以为性能下降设置告警。SageMaker 同时允许你测试不同配置，以进一步改进 AI 推理结果。

能否通过 SageMaker 端点扩展 AI 推理？

可以。你可以使用 SageMaker 端点来扩展推理能力。SageMaker 支持自动扩缩容和多模型端点，从而在应对更多请求的同时保持高性能。随着业务需求增长，SageMaker 能帮助你轻松管理 AI 工作负载。