エンジニアリングマネージャーがシステム障害対応訓練をやる前に、何を考えどう準備したのか

こんにちは。介護事業者向け経営支援サービス『カイポケ』でエンジニアリングマネージャー（以下EM）を担当している橋口( @gusagi )です。今回の記事は、以前に公開した記事『システム障害対応訓練をゲームライクにやってみた』で紹介した訓練を行うまでにどんなことを考え、どんな準備をしていたのかを紹介したいと思います。 tech.bm-sms.co.jp

今回の記事は、訓練の舞台裏を紹介するものとなります。どんなことをやったのかを知ってからの方がイメージしやすくなる部分もあるかと思いますので、まだ読んでいない方がいましたら先に読んでもらえると嬉しいです。

誰と、どんな風に始めたのか

まずは、システム障害対応訓練を行うことだけが決まったところから、テーブルトークRPG（TRPG）*1の形式をとってシミュレーションを行うことを決めるまでにどんな思惑があったのかを紹介したいと思います。

システム障害対応訓練を行うことが決まってからは、一緒に訓練の準備を進めてくれるメンバーを集めるところから始めました。これには幾つかの理由があります。

一つ目は、この取り組み自体の属人化をなるべく防ぐためです。訓練を行うきっかけはテックリード不在時の対応に関する不安からでしたが、システム障害対応訓練自体は一回やって終わりにするのではなく継続的に行った方が効果が出るものだと思います。この考えをベースにした場合、提案をした人物が準備から実施までを担うよりは、複数人で最初から最後までやることで知見を共有し、チーム内で改善しながら取り組める状態を作った方が良いと考えました。

二つ目は、この企画に関わるメンバーに面白い経験をしてもらいたいと思ったからです。システム障害の対応訓練はこれまでチームで取り組んだことはなく、それなりに年季の入った私のキャリアの中でもほぼ経験がないチャレンジングな取り組みでした。この取り組みをやり切ることができたなら、企画の中心となって取り組んでくれたメンバーは貢献実感を得つつキャリア的にも面白い経験を積むことができると考えました。

三つ目は、この取り組みを私一人で成功させられるイメージが浮かばなかったからです。当時の私はチームにJOINしてそこまで期間が経っておらず、訪問看護チームでシステム障害に対応する際の流れや、押さえておくべきポイントに対する理解が浅い状態でした。この状態で一人で抱え込んで進めても、実際の障害対応とはかけ離れた机上の空論となってしまい、参加者の時間というコストに見合わない成果しか得られない可能性が低くありません。それよりは、メンバーに助けてもらうことで意味のある訓練にしたいと考えました。

これらの理由から、訓練そのものをどうやって作り上げるかを考えてくれるメンバーを募り、一緒になってイメージを膨らませていきました。具体的な方法として、システム障害対応訓練のイメージを膨らませるためのテンプレートを私の方で作った上で、メンバーと一緒にテンプレートに肉付けをしていく進め方をとりました。以下は、実際のテンプレートの一部となります。当時は「防災訓練」と呼んでいたためテンプレートにおいてもそのように記載されていますが、ここは読み替えていただけると助かります。

以下のフォーマットは「確定している情報を記入する」というものではなく、フォーマットに従って必要な情報を記入していくことで、防災訓練に必要な情報が集約されている状態を作るためのものです。

その時点で決まっている or 仮置きできる内容を埋めていくだけでも意味のあることなので、適宜アップデートしながら情報を充実させていきましょう！

このフォーマットを元にして防災訓練の個々のページを作成していくことを想定しています。

作成するページ名は `FY2023.#1 XXXを目的とする防災訓練` として、何年度の何回目の訓練で、何を目的としているかがパッとみてわかるようにして欲しいと思っています。

仮に防災訓練が定着していった場合に、**いつ頃にどんな訓練を行ったのかが個別のページを見たり検索しなくてもわかるようにしたい**から、というのが最大の理由です。

# 防災訓練の概要

## 目的と期待する成果

- 目的
    - **xxxxx**
- 期待する成果
    - **xxxxx**

> エンジニアだけでなく、POや運用、QA、サポートといった人が見ても「防災訓練を行なった方が良い理由」や「やることによるメリット」がわかるように書きましょう。
> ここの説得力があるかないかで、時間を割いてでも防災訓練を行うことに対して理解・協力を得られるかが変わってきます。

## 開催時期

YYYY年MM月DD日 HH時

> いきなり日時を決めるのは難しいため、最初のうちは「YYYY年MM月くらい」のようなフワッとした情報で構いません

このようなテンプレートに肉付けをした結果で決まったのが以下の方針でした。

お客さまからのお問い合わせをトリガーとして、問題の調査や解決を進める流れとする
実際にシステム障害を起こしたりはせず、チーム内でシミュレーションを行う形とする
ただし、ログや各種メトリクスの調査は、ある程度まで実際にやってみる
そのシーンで実行できるアクションは選択肢を提示しつつも、それ以外にも参加者が考えて何をするか決めて良い
インシデント時のガイドラインに則って専用のSlackチャンネル作成なども行う
チーム外に不要な混乱が起きないよう、事前の周知を徹底する他、当日のSlackチャンネル名などにもシステム障害対応訓練であることを明記する

上記を満たす方法を検討した結果、TRPGの形式を取るのが良さそうだという話になりました。

主な理由が「リモートワークで会話しながら対応を進める実際のシステム障害対応に近しい状況での訓練ができる」、「進行役としてGMが存在する方が柔軟に対応できる」、「遊び心を入れて楽しみながら取り組めるようにしたいと思った」であることは、以前の記事にも書いたとおりとなります。

当日までにどんな準備をしていったのか

次に、どんなことを考えてTRPG形式でのシステム障害対応訓練を準備していったのかを紹介したいと思います。

この時期、ゲームマスター（GM）役を担当してくれるエンジニアとシナリオの準備を進めていたのですが、私が考えていた方針は以下の３つでした。

準備に参加しているエンジニアや私自身も目一杯楽しみながら準備を進められること
ちょっと変わった面白いと思える取り組みをやろうとしていることをチーム内外にも認知してもらうこと
チーム外、特にプロダクト開発組織の外に対して不要なハレーションが発生するのを避けること

せっかくやるのだから自分たちも楽しみながら取り組みたいですし、その取り組み自体になるべくポジティブな印象を持ってもらうことで、今後同じような取り組みをやりたいと思える人や応援してくれる人を増やしていきたいと考えていました。当時の予定の件名が「防災訓練のシナリオを悪巧みする会」「悪巧み2」などとなっていたことからも、ノリノリであれこれ考えていたことが読み取れます。

一方で、訪問看護チームのPdMやテックリードにも協力してもらい、訓練を行う際のチーム外への周知をはじめとする気をつけるべき事柄を洗い出しながら、不要なハレーションが起きないように準備をしていきました。

ただ、実際に訓練のことを周知した際の反応は、懸念していたハレーションがないだけでなく、「面白そうな取り組み」「良さそうなのでがんばって」などの後押ししてくれるものでした。こういう反応を貰えたことは、訓練の準備という実務面だけでなく心理的にも非常にありがたく、モチベーションが上がったのは言うまでもありません。

余談ですが、実施した際は「防災訓練」と呼んでいたこともあり、一番多かった反応は「防災訓練っていうから実際に避難とかするのかと思っていた」でした。命名って大事だなと思います。。。

訓練当日を迎えて

当日については、改めて書くことはほとんどありません。前回の記事に書いたように訓練の進め方（ルール）への質問が何度か発生したり、時間が押してしまったりと想定と異なる状況は発生しましたが、GM役のエンジニアが臨機応変に対応してくれたことで、参加者には楽しみながらも実際の障害のように緊張感を持ってもらえたと思います。 GMという大役を無事にこなしてくれたメンバーには感謝の気持ちでいっぱいです。

ふりかえりを効果的に行うためにやったこと

最後に、ふりかえりを行うまでの工夫について簡単に紹介したいと思います。

訓練に参加した人数が多かったこともあり、限られた時間の中で効果的にふりかえりを行うため、以下の工夫をしました。

感想や気付き、今後に対する意見をGoogleフォームで訓練の実施直後に書いてもらう
Googleフォームの回答をふりかえりで使うmiroに画像形式で貼り付けて、ふりかえりの準備の段階で見ることができるようにする
YWTベースとしつつも「Tの候補から実際のアクションを絞り込んで議論を深めること」を目的とした形に崩して実施する

この工夫の軸としては「事前にできることはなるべく事前に行う」「T（次にやること）の深掘りと意見交換にフォーカスできるようにする」となります。人数が多い状態で付箋の書き出しと読み上げを素直に実施すると、全員の思ったことの共有はできてもその次に繋げる議論をする時間が取りにくくなります。そのため、訓練を行った当日のうちにGoogleフォームで意見を出してもらうことを最初にやりました。その上で、ふりかえりを行うmiroのボードにGoogleフォームの回答を画像として貼り付けた上で、自分の意見だけでなく他の人の意見も確認しながらY（やったこと）とW（わかったこと）を事前に記入してもらいました。

結果として、思い出しや書き出し、意見の読み上げに対する時間を短縮しつつ、フォーカスしたい項目の深掘りと意見交換に時間を割くことができ、元記事にも書いたように企画した側の想像を超えて付箋がいっぱいになり、チームが主体的に取り組んで多くの気付きを得られたと考えています。