こんにちは、スタディスト開発 SRE Unitの @corrupt952 です。 Teachme Bizが動いているEKS基盤では、Argo CDをCDツールとして採用しています。そのArgo CDでは、Kustomizeを使ってマニフェストが生成されるようにしています。今回は、そのArgo CDで使われているKustomizeを、v3.9.3からv4.4.0までバージョンアップ対応について紹介します。 まず始めにv4系にすぐにバージョンアップしなかった理由について軽く触れておきます。 v4.0.0は2021年2月にリリースされてたのですが、このバージョンからは–enable_kyaml フラグが削除されたために「kyamlを使わない」という選択肢がとれなくなりました。これが実は問題でしてv3.9.4からkyamlがデフォルトで有効化になり、絵文字やCJK文字が含まれているとマニフェストがビルドできないといった問題ありました。この回避策として、 — enable_kyaml フラグを無効化にすればビルド可能だったのですが、フラグが削除されたことで回避策が使えないということになりました。 そのため、v4がリリースされても移行できないという問題に直面し、バージョンアップを見送っていました。 そして5月にv4.1.3で修正されましたが、詳細版レポート機能のリリースで後回しになっていました。そして今回一段落したのでバージョンアップに踏み切ったという経緯になります。 Argo CDで使うバージョンアップの流れは、以下のような流れになります。 それぞれの作業について説明します。 Argo CDではKustomizeが組み込まれていますが、Argo CDのバージョンアップでビルドできないKustomizeが使われる可能性があります。その問題を回避するために、Argo CDのApplicationごとにビルドするKustomizeのバージョンを固定化します。 固定化のやり方は、公式ドキュメントを参考にして以下のように作業しました。 この作業は、理由がなければ事前にしておくと、問題が発生しづらいのでオススメです。 「Argo CD Applicationで使うKustomizeのバージョンを固定化する」でやったようにv4.4.0のKustomizeを使えるようにしておきます。 注意が必要なのは、各バージョンによって同じオプションでも指定できる値が異なる場合があるので、その点には注意して設定しておきます。 kzというKustomizeのバージョン管理ツールを使って、複数バージョンのKustomizeで差分がないかをチェックします。 Kustomizeでは複数行文字列（>-など）の変換結果が、バージョンによって異なるため、同じ解釈ができるけど異なるフォーマットになっている場合があります。そのため、今回はKustomizeのビルドしたマニフェストを、再度別のYAMLパーサで変換し直したマニフェストとをそれぞれ比較していくことで気にすべき差分を最小限にしています。 このスクリプト実行後に生成されるファイルを比較して、修正すべき差分をなくしていきます。 Kustomizeがビルドしたオリジナルのマニフェストを保存している理由ですが、構文として問題ないかを確認するために保存しています。 差分が判明したら、その差分を解消していきます。今回、Teachme BizのEKS基盤では、大きく分けて2つの差分がありました。 複数行文字列のフォーマットは、オリジナルマニフェストの中でも大きな差分となっていましたが、RubyのYAMLパーサ変換後では差分としては扱われませんでした。とはいえ、同じリポジトリ内でも表記ブレしていたので、これを気に統一しています。 インラインパッチ挙動変更による意図しない変更は、ごく一部で利用していた箇所でエラーになるのが見えていました。 あるServiceが以下のように、80,443ポートをそれぞれ受け付けるように定義してありました。 ただし、このServiceをとある理由でそのまま使用できなかったため、 を実現するインラインパッチを定義していました。 そして、パッチをあてた後の出力結果がv3.9.3では、 になっていたのですが、v4.4.0では という変更もできていないし、削除できていない状態になりました。ここはちゃんと調査をしきれていないですが、結論インラインパッチをやめて、kustomzation.yamlにパッチを書くように変更しました。 これで差分は解消されるようになりました。 ここまできて差分さえなければ問題ないはずなので、ステージング・本番の順にApplicationのsource.kustomize.versionをv3.9.3からv4.4.0に変更していきます。 ローカルの開発環境やCI、App of AppsパターンでのApps管理用のApplicationのバージョンもv4.4.0までバージョンアップすれば作業は完了です。 作業自体はそこまで多くなく、安全にバージョンアップができました。 複数行文字列の扱いが大きく変わるのと、JSON6902周りの挙動がいくつか変わっているように見受けられたので、これらを多用している場合は差分チェックが大変そうでした。 スタディストでは、今後さらなる事業拡大を目指すためにも、より多くの仲間を求めています。ご興味がありましたら、ぜひ一緒に働きましょう。よろしくお願いします！