如何透過調校 RSS 與 RPS 減少封包遺失

在高流量的伺服器租用環境中,封包遺失通常並不是由某一次戲劇性的故障直接引起的。更常見的情況是,它源於 CPU 接收處理不均、softirq 路徑過載,或者接收佇列無法跟上突發流量。因此,「RSS RPS 封包遺失」是一個很有價值的技術分析切入點:它直接指向封包如何進入核心、接收工作如何在多個核心之間分配,以及 Linux 伺服器在高併發下究竟從哪裡開始失去效率。
對於負責香港伺服器部署的工程師來說,這個問題更值得重視。跨境流量模式往往非常複雜。一個節點可能同時承載區域 API 請求、遊戲工作階段、媒體分片,或來自多個網路的大量短連線 Web 流量。在這種情況下,某一個過熱的 CPU 核心往往會在總體頻寬看似尚未飽和之前,悄然成為真正的瓶頸。對接收路徑進行合理調校,很多時候並不是為了追逐峰值吞吐,而是為了恢復網路堆疊內部的負載平衡。
RSS 和 RPS 到底在做什麼
RSS,也就是 Receive Side Scaling,是一種由硬體輔助完成的機制,用於將進入的流量分散到多個接收佇列。Linux 核心文件將 RSS 描述為:多佇列網卡把不同的資料流放入不同的接收佇列中,從而允許不同 CPU 並行處理這些流量。文件還指出,每個接收佇列都有各自的中斷路徑,這些中斷可以分散到不同 CPU 上,以降低佇列壓力並減少延遲。
RPS,也就是 Receive Packet Steering,則是軟體側的補充機制。核心文件解釋說,RPS 在邏輯上可以看作是 RSS 的軟體實作。它不是在硬體層決定佇列落點,而是在中斷處理之後,為更上層的協定處理選擇目標 CPU,並將封包放入另一個 CPU 的 backlog 佇列中。這樣一來,即便硬體佇列能力有限,接收處理也依然可以在更多 CPU 之間共享。
- RSS 在網卡層面分配進入的流量。
- RPS 則在核心接收路徑的後續階段重新分配處理工作。
- RSS 依賴多佇列硬體支援。
- RPS 只要核心接收路徑支援,幾乎可以用於任何介面。
從實務角度看,兩者的差異並不複雜:RSS 決定封包首先落到哪裡,而 RPS 決定封包進入協定堆疊之後,更多 CPU 處理工作該在哪個核心上進行。對於排障來說,這一差異非常關鍵,因為它可以幫助你判斷瓶頸究竟出現在硬體佇列分布、中斷親和性,還是更上層的接收處理路徑中。
為什麼接收分布不均會導致封包遺失
從外部觀察,伺服器邊緣的封包遺失通常像是網路問題;但在系統內部,它往往首先表現為排程問題。如果某一個接收佇列和某一個 CPU 核心承擔了過多中斷處理工作,backlog 的增長就會變得極不均衡。一旦接收路徑處理跟不上,緩衝區就會被填滿,封包等待時間拉長,最終在應用程式看到它們之前就已經被丟棄。
核心文件明確指出,RSS 以及相關的延伸技術,本質上就是為了提升多處理器系統中的平行處理能力。文件還說明,將接收中斷分散到多個 CPU 上,可以縮短佇列長度,並在中斷處理成為瓶頸時發揮作用。換句話說,如果封包到達速度已經超過單一 CPU 的處理能力,那麼更合理的流量分發並不是「錦上添花」的最佳化,而是一種基礎性的止損手段。
- 進入的流量首先到達一個或多個接收佇列。
- 中斷處理喚醒被分配 CPU 上的封包處理流程。
- 如果 CPU 親和性分布不合理,某一個核心就會被打爆。
- backlog 和 softirq 延遲隨之上升。
- 當佇列耗盡或處理延遲失控時,就會轉化為可見的封包遺失現象。
這也正是為什麼一些系統明明整體看起來健康,卻依然會出現封包遺失。鏈路速率可能沒問題,記憶體可能足夠,應用程式也沒有崩潰,但在突發流量衝擊下,接收路徑仍然會因為工作負載沒有被合理分散而先行失穩。
哪些場景最需要關注 RSS 和 RPS
並不是所有伺服器都需要深入進行佇列調校。一個負載較輕的內部系統,可能幾乎感受不到收益。但對於面向公網的節點,尤其是部署在高密度伺服器租用或伺服器託管環境中的系統,只要流量具有平行性、突發性或者對 CPU 接收路徑較敏感,接收調校就會變得很有意義。
- 高連線數的 Web 業務,且存在大量短工作階段。
- 請求突發明顯的 API 閘道。
- 對抖動敏感的即時 UDP 服務。
- 承載多地區混合用戶端存取的反向代理層。
- 同時服務本地和跨境使用者的香港邊緣部署。
在這些場景裡,工程師通常不會問「我該如何把基準測試吞吐跑到最高」。真正的問題往往是:「我該如何阻止接收路徑中的某個環節悄悄變成瓶頸?」 RSS 和 RPS 的價值,就在於它們正好直指這一層問題。
在調整之前應該先檢查什麼
盲目調校,往往只會讓後面的排障變得更難。首先要建立可觀測性。Linux 核心文件指出,可以透過 /proc/interrupts 查看目前活動佇列與 IRQ 的對應關係,因此它天然就是驗證接收分布的第一檢查點。對於 RPS,核心文件和效能調校文件都提到,應透過 /sys/class/net/.../queues/rx-*/rps_cpus 這樣的每佇列設定路徑進行檢查。
- 檢查接收佇列數量,以及介面是否真正暴露了多佇列行為。
- 查看
/proc/interrupts,確認接收 IRQ 是否都堆在同一個核心上。 - 檢查各核心的 softirq 壓力,找出是否存在明顯的熱點 CPU。
- 查看介面統計資訊,確認是否存在接收側封包遺失和壓力跡象。
- 確認是否有負載平衡服務在覆蓋手動 IRQ 親和性設定。核心文件提到,這種情況確實可能發生。
最後這一點尤其值得注意。很多工程師手動調整完 IRQ mask,重開機後就預設自己的策略仍然有效。但如果另一個系統服務會動態重排中斷位置,那麼你的調校結果就會漂移,最終表現為「怎麼這次有效,下次又不穩定」。
如何在不靠猜測的情況下調校 RSS
當介面支援多個接收佇列時,RSS 通常應該是優先選項。因為它在更早的硬體層就開始分散流量,所以比純軟體轉發更早地減少爭用。核心指導文件建議,在延遲敏感或接收中斷處理已經成為瓶頸時,應啟用 RSS。文件還指出,對於低延遲網路而言,一個實用的上限通常是「佇列數不超過 CPU 數量」,或者受限於介面本身支援的最大佇列數。
但這並不代表「把所有參數都調到最大」。企業級 Linux 效能調校文件建議,應把 RSS 佇列數量限制在「每個實體 CPU 核心一個」的級別,而不是想當然地認為所有邏輯執行緒都能帶來接收效能提升。
- 讓接收佇列數匹配真實 CPU 處理能力,而不是想像中的理想狀態。
- 在可能的情況下,把接收 IRQ 分散到不繁忙的實體核心上。
- 避免把多個高流量佇列壓到同一個已經承載重應用負載的核心上。
- 每次變更後,都重新檢查中斷增長模式是否更均勻。
一個理想的 RSS 設定,往往「平淡無奇」得恰到好處。中斷計數會在預期的多個 CPU 上同步增長,softirq 尖峰不再過度偏斜,而封包遺失也不再集中出現在某一條接收路徑上。如果什麼都沒有改變,那就表示要嘛介面並沒有真正完成流量分散,要嘛業務負載過於傾斜,又或者真正的瓶頸根本不在接收層。
如何把 RPS 當作軟體補位手段
當硬體佇列分發能力有限,或者 RSS 分布效果並不理想時,RPS 就會非常有價值。核心文件說明,RPS 會在中斷處理之後,為協定處理選擇目標 CPU,而且它不依賴特定的多佇列硬體特性。文件同時強調了它的代價:RPS 可以避免增加額外的硬體中斷頻率,但當工作被推送到其他 CPU 時,也會引入跨處理器中斷。
正因為有這個代價,RPS 很強,但絕不是零成本。如果伺服器本身已經存在嚴重的跨核心爭用,那麼把 RPS mask 開得很大,可能只是把壓力從一個地方搬到另一個地方。真正的目標應該是有針對性的分擔,而不是無差別地向所有核心擴散。
- 先識別哪些接收佇列是真正的熱點。
- 為
rps_cpus設定合適的遮罩,把協定處理分配給合適的核心。 - 只有在基礎 CPU 分布已經合理的前提下,再考慮 flow table 相關設定。
- 驗證處理是否更均衡,還是被 IPI 開銷抵銷了收益。
企業級 Linux 調校文件將 RPS 描述為透過 rps_cpus 介面進行「按裝置、按接收佇列」的設定,這也說明它本來就應該被精細化控制,而不是當作一個放諸四海皆準的總開關。
從實際維運角度看,只要硬體條件允許,RSS 通常應該承擔主要分流工作;而 RPS 更適合作為修正層,用於彌補佇列數量不足、硬體分布不均,或虛擬化環境下介面級控制能力有限的問題。
那些會讓封包遺失遲遲降不下去的常見錯誤
- 誤以為佇列越多,效果就一定越好。
- 把所有佇列都綁到所有 CPU 上,然後稱之為最佳化。
- 忽略實體核心拓撲和 NUMA 區域性。
- 試圖用 RPS 掩蓋應用層瓶頸。
- 改完親和性設定後,卻不去重新驗證中斷和 softirq 行為。
另一個非常常見的錯誤,是把封包遺失簡單理解為頻寬問題。在很多伺服器租用環境中,鏈路本身並不是最先失守的部分。更早發生的往往是接收不均衡,也就是某一個 CPU 在系統整體資源看似還遠未耗盡之前,就率先進入高壓狀態。這也是為什麼在排障過程中,圍繞佇列與核心關係展開觀察,往往比只看總吞吐曲線更有價值。
適用於香港伺服器維運的實戰工作流程
對於香港部署來說,流量通常來自不同網路,延遲特徵不一,連線生命週期長短不同,而且還經常伴隨著明顯的方向性突發。這種模式非常容易暴露接收路徑中的負載不均問題。因此,一個合理的調校流程,應該是偏維運化、可驗證、可回滾的,而不是停留在理論層面。
- 先量測目前的封包遺失情況、中斷分布和 softirq 集中程度。
- 如果支援多佇列接收,先啟用或最佳化 RSS。
- 結合實際核心壓力,合理放置 IRQ 親和性。
- 只有在軟體側重新分配確實能解決不均衡時,再引入 RPS。
- 使用接近真實生產的流量模型進行複測,而不只是依賴合成壓測。
- 記錄哪些佇列與 CPU 對應關係帶來了更穩定的結果。
這套流程同樣適用於伺服器租用和伺服器託管場景。在伺服器租用環境中,你可能擁有完整作業系統控制權,但底層硬體行為仍然比較抽象;而在伺服器託管場景中,你通常可以更深入地觀察佇列布局和 CPU 區域性。不管屬於哪一種,調校的核心思路都不變:沿著封包路徑去追蹤,找到過熱的接收點,然後用最小、最有效的變更來重新分配工作負載。
如何判斷調校是否真的生效
成功的調校通常表現為一種「模式變化」,而不是某一個孤立指標的戲劇性提升。理想情況下,你會看到中斷在多個 CPU 之間分布得更均勻,softirq 壓力在核心間變得更平滑,接收封包遺失在突發流量階段明顯下降。核心文件強調「縮短佇列長度」這一點,其實就提供了一個很好的判斷框架:如果接收分布更健康,那麼佇列就不會持續堆積在單一位置上。
- 接收 IRQ 計數會在預期的多個 CPU 上增長,而不是只有一個熱點核心。
- 各核心的封包處理壓力看起來不再極端傾斜。
- 短時突發流量不再立刻引發接收側封包遺失。
- 因為 backlog 堆積減少,延遲尾端表現也會改善。
- 應用在高併發下的回應表現變得更穩定。
如果最佳化效果並不明顯,也不要立刻認定是 RSS 或 RPS 無效。這往往代表系統還有別的限制點:ring 大小、backlog 設定、NUMA 布局、虛擬化環境限制,甚至應用排程模型,都可能成為收益上限。接收側流量引導很重要,但它依然只是整個封包路徑中的一個環節。
總結
在處理網路不穩定問題時,工程師應當把 RSS RPS 封包遺失視為「接收路徑設計問題」,而不僅僅是一個表層症狀。RSS 透過硬體佇列和 IRQ 布局更早地分散進入流量;RPS 則在硬體分配不足時,透過軟體方式繼續完成負載平衡。兩者結合使用,可以有效減少熱點核心現象,降低 backlog 壓力,並讓 Linux 伺服器在真實流量場景下保持更好的穩定性。對於運行香港伺服器租用基礎設施的技術團隊來說,這類調校絕非表面功夫。它往往決定了一台伺服器只是「在線」,還是能夠在流量變得難看時依然保持回應能力。
