↓メインコンテンツへスキップ
  1. Posts/

GC ポーズとレイテンシ:時間は実際どこに隠れているのか

·825 文字·4 分·
Go Kubernetes Containers Garbage-Collection Latency
アミット・デイブ
著者
アミット・デイブ
ソフトウェアエンジニアで、しっかりしたシステムを作るのが得意です。難しい問題をわかりやすくすることも得意です。好きなことは、分散システム、クリーンアーキテクチャ、そしてオープンソースプロジェクトです。仕事以外では、山を歩くことや日本語の勉強、そしてstderrなどから学ぶことを楽しんでいます。
目次
Go in Containers - この記事は連載の一部です
パート 3: この記事

これはラップトップの上で、2 GB のゴミを処理し切った Go プログラムの、ストップ・ザ・ワールド予算の全部だ — 約 43 回のコレクションサイクル、ポーズは一つ残らず記録済み、runtime/metrics(/sched/pauses/total/gc:seconds)から直接。

gc cycles: 43
pauses p50=0.0205ms p90=0.0287ms p99=0.197ms max=0.197ms

中央値で 20 マイクロ秒(5 回の実行で 7〜20)。5 回のどの実行でも、ワーストのポーズは 200 マイクロ秒を超えなかった。これが go1.27.3 の、健全な箱の上での Go の二つのストップ・ザ・ワールドフェーズの値段で、じっくり見る価値がある — 「GC ポーズはミリ秒単位」という俗説は、中央値で 50 倍もズレている。Go に有利な方向に。

同じコレクタ、同じマシン、今度は --cpus=0.5 のコンテナの中で。

GOMAXPROCS=2 NumCPU=6
gc cycles: 458
pauses p50=0.0573ms p90=0.131ms p99=83.9ms max=83.9ms

中央値はまだマイクロ秒だ。テールは中央値の約千五百倍になった。このトレースの中の一つの数字が悲鳴を全部あげていて、この記事は、その悲鳴がどこから来るのか、どうやって見るのか、そして実際に何が直すのかについての話だ — 全部の数字は実機の実行から。パート2と同じハーネスの流儀だ。

テスト環境。 「ラップトップ」の実行とベンチマークは、Apple M4 Pro(12 コア、24 GB、macOS 27.0.1)上の go1.27.3。コンテナの実行は、podman 6.1.4 の VM(6 CPU、2 GiB、cgroup v2)の中で、alpine 上の静的な linux/arm64 バイナリを動かした。だからコンテナの結果が見せているのは、Linux VM の中での quota スロットルの挙動であって、Mac のハードウェアの挙動じゃない。最初に測ったのは 7 月の go1.26.4 で、11 月に go1.27.3 で全部やり直した。この先の数字は全部やり直しのもので、二つの数字がちがった所は、やり直しのほうが正しい。

ポーズの解剖、実際の名前付きで
#

Go の GC は、1 サイクルにつききっかり 2 回、世界を止める。ランタイムのドキュメントは、フェーズの名前を正確に呼んでいる — 「ストップ・ザ・ワールド(STW)の sweep termination、並行マーク&スキャン、そして STW の mark termination」。(この名前は gctrace の出力でもう一度出てくるから、ランタイムの綴りのまま覚えておくといい — 最初のポーズがライトバリアを入れて、二番目のポーズがマークを締める。)

両方のフェーズは小さく済むように設計されていて、さっきの健全な箱のヒストグラムは、その設計がちゃんと働いていることを見せている。でも STW ポーズには二つの要素がある — 仕事そのものと、その仕事をやらせてもらうためにスケジュールされるまでの待ちだ。GC ガイドのレイテンシのセクションは、GC が君のレイテンシを食う方法を五つ挙げている — 短い STW ポーズはその一つ目に過ぎなくて、健全なマシンならこの五つのどれも痛くない。

コンテナの中では、二番目の要素が無視できなくなる。CFS の quota は平均だ。--cpus=0.5 は「100ms の period につき CPU 時間 50ms」を意味する(カーネルの cgroup-v2 ドキュメント、cpu.max)。予算を早めに使い切ると、カーネルは次の period まで、その cgroup 内の全スレッドを凍らせる。もしその凍結が、ランタイムがちょうど STW ウィンドウの中にいる瞬間に来たら — goroutine は止まっていて、世界は停止していて、後片付けは半分終わったところ — ポーズはもう「仕事」じゃなくなる。「仕事 プラス CFS period の残り」になる。

掛け算、実録で
#

ハーネスはこうだ。ビジーループの goroutine が CPU を燃やし続け(P ひとつにつき一つ)、加えて 1 MiB/イテレーションのアロケーション churn、20 秒間、--cpus=0.5 のコンテナの中。二つの設定、変数は一つだけ、それぞれ 3 回ずつ。加えてコントロールを 2 回。

実行 A — Go 1.25+ のデフォルト。 ランタイムは cgroup の quota を読んで(パート1の話)、自分の下限を選ぶ。

GOMAXPROCS=2 NumCPU=6
gc cycles: 458
pauses p50=0.0573ms p90=0.131ms p99=83.9ms max=83.9ms

3 回の実行を通して:中央値は毎回 57µs、p99 は毎回 84ms、ワーストのポーズは 1 回が 84ms、残りの 2 回が 101ms だった。

実行 B — GOMAXPROCS=4 を強制、1.25 以前の世界か、パート1がカタログ化したオプトアウトのどれかをシミュレートする。

GOMAXPROCS=4 NumCPU=6
gc cycles: 555
pauses p50=0.115ms p90=0.262ms p99=67.1ms max=101ms

3 回の実行を通して:中央値は毎回 115µs、ワーストのポーズは毎回 101ms だった。

この 84 と 101 ms は、ランタイムのポーズ・ヒストグラムのヒストグラムの箱の端の値で、CFS period 一つ分(100 ms)のすぐ近くにある。メカニズムとは話が合う:STW ウィンドウの中にいる時に quota が尽きると、ポーズはカーネルの凍結の残りを吸い込む。ただ、俺はポーズを一つずつトレースしたわけじゃない。だからこれは「話が合う説明」であって、証拠じゃない。カウンターがはっきり示しているのは、cgroup がほぼ毎 period スロットルされていたことだ:nr_throttled は、6 回の実行すべてで、200〜201 period のうち 195〜201 だった。(スピナーがそうなるようにしているから、これが示すのは「スロットルが常に起きていた」ことで、「特定のポーズの原因だった」ことじゃない。)

コントロール — 同じバイナリ、同じスピナー、quota なし:

GOMAXPROCS=6 NumCPU=6
gc cycles: 6234
pauses p50=0.0819ms p90=0.115ms p99=0.164ms max=0.393ms
nr_throttled 0

quota を外すと、ワーストのポーズは 0.4 ms 未満に落ち(2 回の実行で 0.393 と 0.328)、nr_throttled はゼロだ。一つだけ注意:quota がないと、ランタイムには CPU が 6 つ見える。だから実行 A は P もスピナーも 2 つだけど、この実行は P もスピナーも 6 つある。つまり言えるのは「quota を外せば、P が増えてもテールは消える」だけで、P の数を同じにして比べた結果じゃない。

実行 A は、1.25 のデフォルトが君を救う、とは言っていない。この実行では、中央値は P の数に沿っていなかった(P 2 つで 57µs、4 つで 115µs、quota なしの P 6 つのコントロールで 82µs)。そしてワーストのポーズは、スロットルされた二つの設定のどちらでも、同じ 84〜101 ms の範囲に落ちた。p50 は君の GC が健全かどうかを教えてくれる。ここでの p99 は君のカーネルについて教えてくれる。p99/p50 の比が三桁も違うなら、たいていそれは GC の問題じゃない — GC の服を着たスケジューリングの問題だ。

ポーズに隠れていない時、レイテンシはどこに隠れるのか
#

GC ガイドが挙げるレイテンシの発生源の全リスト — そしてここが、ほとんどの記事が飛ばす部分だ。STW ポーズは五つのうちの一項目でしかない。残りは — マーク中に GC が食うCPU 25%、割り当てのペースがコレクタを追い越した時にユーザーの goroutine が mark assist に徴用されること、ライトバリアのオーバーヘッド、そして個々の goroutine のルートスキャンの遅延 — これらはポーズの間で君のレイテンシを食う。そして CPU quota の下では、二重に食う。GC が使う CPU 秒はどれも、スロットルへ一秒近づく CPU 秒だからだ。

それがパート2の中心的トレードオフの請求書だから、はっきり払っておこう。GOMEMLIMIT の救出は 7 回のコレクションを 22 回に変えた。オーバーシュートの実行は 0.36 秒で 247 回も回収した。その追加サイクル一つひとつが、マークフェーズ中の約 25% の CPU、プラス STW ウィンドウ二回分、プラス君の一番熱いアロケータへの assist の圧力を持っている — 全部、リクエストハンドラが必要としているのと同じ quota に請求される。GC の頻度は、どこか別の場所で払うレイテンシだ。そしてコンテナの中では、「別の場所」は CFS のメーターだ。メーターがポーズの最中に尽きたら、84〜101ms のテールが出る。

assist にはもう一文だけ払う価値がある。五つの中で一番タチが悪いからだ。アロケーションがマークを追い越すと、ランタイムは割り当てているその goroutine 自身に、割り当て地点で GC の仕事をやらせる。君の P99 スパイクは、リクエストの goroutine がリクエストの途中で GC 税を払っている姿かもしれない — ポーズのヒストグラムには映らず、実行トレースの中の MARK ASSIST というスライスにしか見えない。

Green Tea:新しい計算式
#

パート2で予告した話だ。Go 1.26 は Green Tea をデフォルトのガベージコレクタにした(リリースノート:「実世界のプログラムで、ガベージコレクションのオーバーヘッドが 10〜40% 減ると見込んでいる」)。ビルド時に GOEXPERIMENT=nogreenteagc を付ければ、今でも旧コレクタと A/B できる。この非常口は 1.27 で消える予定だったけど、go1.27.3 でもまだビルドできる。ずっと使えるとは限らない。そう思っておくこと。

Green Tea が輝くワークロードは、このシリーズがずっと殴ってきたのとまさに同じもの — ポインタ密度の高いヒープだ。百万個の *int64 を生かしたまま、10 回の強制サイクル、両方のコレクタ、ラップトップ上でネイティブ実行(コンテナなし)、各 5 回ずつ。

--- go1.27.3 default (Green Tea):
mode=ptrs n=1000000  wall/cycle=1.30ms  gc-cpu/cycle=4.93ms
  pauses: count=20 max<=0.0205ms
--- GOEXPERIMENT=nogreenteagc:
mode=ptrs n=1000000  wall/cycle=5.80ms  gc-cpu/cycle=5.81ms
  pauses: count=20 max<=0.0205ms

大事な行を読んでほしい。サイクルあたりの wall time は、5 回の実行を通して 5.0〜5.9ms → 1.2〜1.3ms、だいたい 4 倍速い。一方、サイクルあたりの CPU は約 15% しか減らない(4.58〜4.96ms 対 5.34〜6.24ms)。だから wall time の改善のほとんどは、同じ仕事がより早く終わるようになったことだ。Green Tea の設計は、メモリを連続したブロックでスキャンするものだけど、そのどの部分が高速化を生んでいるのかは、俺は分けて調べていない。STW ポーズは変わらない — どちらのコレクタでも約 20 マイクロ秒以下のままだ。

正直に、気になることが一つ:podman の VM の中では、旧コレクタの数字がバラバラだった(2 回が 4.5〜5.1ms、6 回が 17〜28ms)。Green Tea は 1.3〜1.5ms で同じような数字だった。ネイティブの macOS は毎回同じような数字だったから、出しているのはそっちだ。VM でなぜバラついたのかは、まだわかっていない。

それが正直な見出しだ。Green Tea はスループットの計算式を変える。ポーズの計算式は変えない。 君のポーズはもう元からマイクロ秒だった。今もそのままだ。縮むのは並行マークのフェーズ — CPU 25% のウィンドウ、assist の圧力、quota の消費だ。コンテナの中では、それはサイクルあたり CFS メーターに乗る CPU 秒が減るということで、つまりカーネルが君を何かの最中に凍らせるチャンスが減る、と俺は推測している(測ってはいない)。掛け算のエンジンに入る燃料が減り、パート2の頻度税は、つまみを一つも触らずに 10〜40% 安くなる。

それでもポインタ密度が最大のレバーだ
#

同じベンチマーク、Green Tea、変数は一つ — 百万個の int64 対、百万個の *int64。

mode=ints n=1000000  wall/cycle=0.00ms  gc-cpu/cycle=0.20ms
mode=ptrs n=1000000  wall/cycle=1.30ms  gc-cpu/cycle=4.93ms

同じ百万個の値で、GC の CPU が約 24 倍違う。理由は、百万個の整数のスライスはポインタを一つも持たない、たった一つのオブジェクトだからだ — GC ガイドは、ポインタを含まないメモリはスキップするのが安上がりだ、とはっきり書いている — 一方、百万個のポインタは、追いかけるべきオブジェクトが百万個あるということだ。(俗説は「スキャン 1ms 対 100ms」と言うけど、この箱で測った差はサイクルあたり 0.2ms 対 約 4.8ms。方向は同じ教訓で、数字は正直に小さい。)君のヒープがポインタの藪 — []*Thing、map[string]*Entry、連結構造 — なら、それを平らにするほうが、どんな GOGC の値よりも効く。

アロケーション率のツールボックスの残りは、いつも通りだ。churn の激しいバッファには sync.Pool、ポインタのスライスより値のスライス、リクエストあたりの小さいオブジェクトを減らす。ゴミが減れば → サイクルが減り → カーネルが凍結を落とせる STW ウィンドウが減り → assist の圧力も減る。さっきの Green Tea とポインタの数字が測ったのは、この鎖の CPU の側だけだ。サイクル数や、凍結がウィンドウに落ちる確率の部分は、測っていない。

チューニングのレバー、正直な順位付け
#

1. GC の仕事を減らす(アロケーション率、ポインタ密度)。 コストの表のどの行も一度に改善してくれる、唯一のレバーだ。さっき測った通り、GC の CPU で約 24 倍。

2. ランタイムに正直な CPU 会計をさせる。 パート1の話全部に、今度はレイテンシの値札が付いた。0.5 CPU の quota に対して GOMAXPROCS=4 を強制すると、俺の実行では中央値のポーズが 2 倍になり(57µs から 115µs)、ワーストのポーズはどちらでも同じ 84〜101 ms の範囲に落ちた。オプトアウト(init コードの runtime.GOMAXPROCS(NumCPU)、ベースイメージの環境変数)を監査すること。

3. メモリと頻度を交換する — パート2の注意書き付きで。 GOGC を上げるとサイクルの頻度は下がり、サイクルが減ればスロットルに晒されるウィンドウも減る。でも GOMEMLIMIT の天井が GOGC の比例ターゲットより下にある時点で、GOGC はただのお荷物だ — パート2のメトロノーム実行(毎サイクル 388 MB で発動、GOGC の約 524 MiB の希望は無視される)が、その姿だ。天井の近くでは、天井がペーサーそのものになる。そこで GOGC を上げても、変わるのは君の自信だけだ。

4. Kubernetes のレバー、実際の部品ごとに分解する。 (a) スロットルが GC のウィンドウ中に起きているなら、quota がランタイムの食欲に対して狭すぎる — limit を上げるか、食欲を削れ(レバー1〜3)。(b) request ≈ limit は配置の予測可能性を買う — request を超えるバースト容量はノードの隣人次第だから、大きな差はポーズのテールをノード依存で再現不能にする。(c)「CPU limit を完全に外して、request だけ残す」派は、固い天井をスケジューラの公平性と交換する — CFS period の凍結は本当になくなる(上の quota なしのコントロール:ワーストのポーズは 0.4 ms 未満、nr_throttled はゼロ)が、代わりにうるさい隣人の影響を受けやすくなる。どれを選んでも、コンテナの cpu.stat の nr_throttled(または cAdvisor/Prometheus の container_cpu_cfs_throttled_seconds_total)を見張ること — これが登り続けているなら、ダッシュボードの平均 CPU が何と言おうと、君のポーズは増幅されているかもしれない。

自分で測る
#

  • /sched/pauses/total/gc:seconds(runtime/metrics、Go 1.22 以降。古い /gc/pauses:seconds もまだ生きているけど非推奨だ — 同じヒストグラムだと両方確認した)。p50 と p99 の両方を追うこと。p50 は君の GC、p99 は君のカーネルだ。
  • GODEBUG=gctrace=1 — clock の列がフェーズごとの wall time を見せてくれる。フェーズの名前は、さっき出てきたのと同じだ。
  • go tool trace — goroutine ごとに見える唯一のビュー。リクエストの goroutine 上の MARK ASSIST のスライス、そしてスケジューラが何も走らせられなくなった時、STW ウィンドウが目に見えて伸びる様子。
  • コンテナの中で cat /sys/fs/cgroup/cpu.stat — nr_throttled と throttled_usec は、カーネル自身の自白だ。その伸びとポーズヒストグラムのスパイクを突き合わせるのが、診断そのもの。(パート4は、これを丸ごとワークフローにする。)

この記事のすべての数字を出したハーネスは、全部でだいたい 150 行 — コンテナ実行用のスピナー付き churn ループ(サイクル間隔を現実的にするための 50 MB のライブ・バラスト入り)、ポインタ / Green Tea の A/B 用の二モードスライスベンチマーク。CGO_ENABLED=0 GOOS=linux でビルドし、podman run --cpus=0.5 の下で、変数はただの -e GOMAXPROCS=... だけ。上の説明から10 分で自分で組み直せる — 大事なのは形であって、正確な数字じゃない。君の箱は違う数字を出すし、俺の箱でさえ、スロットルされたテールは実行のたびにバラつく(スロットルされた 6 回の実行で、p99 は 67ms〜101ms、ワーストのポーズは 84ms か 101ms。中央値は数十〜百数十マイクロ秒の範囲に収まる)。

意見としてのまとめ
#

  • 「ミリ秒単位のポーズ」って言うのはもうやめろ。 健全な go1.27.3 のポーズは数十マイクロ秒 — この箱で中央値が約 20µs、約 43 サイクルの実行を 5 回やって、200µs を超えたことは一度もない。ミリ秒が見えているなら、何かがそれを伸ばしている。たいていは、コレクタ自身のせいじゃない。
  • テールはたいていカーネルだ。GC じゃない。 俺の実行では、84〜101ms は CFS period 一つ分のすぐ近くで、quota を外したらテールは消えた(Linux VM が一台で、コントロールは P が多かった。自分の箱でも確かめてほしい)。GC のつまみを一個でも触る前に、P99 のポーズスパイクを cpu.stat の nr_throttled と突き合わせろ。
  • Green Tea はスループットの贈り物であって、レイテンシの贈り物じゃない — ポインタだらけのヒープで、サイクルあたりの wall time がだいたい 4 分の 1 になる(CPU は約 15% 減)。ポーズは変わらない。quota が 10〜40% 楽になるのはありがたく受け取れ、でもヒストグラムが動くとは期待するな。
  • ポインタ密度は、君が持っている中で最大のレバーだ — []int64 と []*int64 の間で GC の CPU が約 24 倍、実測済み。チューニングの前に平らにしろ。
  • GOMEMLIMIT が GOGC の近くにある時、GOGC は何もしていない — パート2のメトロノームがそれを証明した。ペーサーが無視しているつまみから、レイテンシの勝利を予算に組むな。
  • GOMAXPROCS の正直さは、レイテンシの機能だ。 俺の実行では、中央値は P の数に沿っていなかった。そしてテールを消したのは quota を外した時だけだった — そして君の依存ツリーのどこかにあるオプトアウトが一つ、そのデフォルトを静かに無効にしている。

GC は言語の問題じゃない。コンテナの中では、メモリの問題ですらほとんどない。これはリソース同士のやり取りの問題だ。コレクタが CPU を使い、カーネルが CPU を計量し、君の P99 は二つの帳簿の隙間に住んでいる。もう両方の帳簿を読む道具は手に入った。次は、火事が起きた本番で、その二つを一緒に使うためのデバッグワークフローだ。


「コンテナの中の Go」シリーズの次回:コンテナ・デバッグの実践ワークフロー — pprof、ephemeral コンテナ、そして深夜 3 時に scratch イメージから信号を引っ張り出す話。


「コンテナの中の Go」シリーズ: イントロ — サイレント・クライシス · 1. GOMAXPROCS の謎を解く · 2. 圧力下でのガベージコレクション · 3. GC ポーズとレイテンシ · 4. コンテナ・デバッグの実践ワークフロー

Go in Containers - この記事は連載の一部です
パート 3: この記事

関連記事

圧力下でのガベージコレクション
·851 文字·4 分
Go Kubernetes Containers Garbage-Collection Memory
GOMAXPROCS の謎を解く
·870 文字·5 分
Go Kubernetes Containers Scheduler Performance
AIエージェントのタスク管理、GitHub Issuesでやってみた
·678 文字·4 分
Ai Go Automation Github Devops
配管地獄を止める:`bs` を作っている話
·80 文字·1 分
Go Devops Build-Systems Bs Engineering
そのプライマリキーがボトルネックだ(スケーリングじゃ直らない)
·701 文字·4 分
Postgresql Performance B-Tree Uuid Database-Design