技術部ネットワーク課の若松です。
シナプスではお客様への快適なネットワーク環境を提供すべく、常にネットワークのメンテナンス作業をしています。 私はシナプスのネットワークのメンテナンス作業をかれこれ20年以上やっていますが、全く終わることがありません。 まさに横浜駅や横浜駅周辺の工事(なかなか完成しない！横浜駅が「日本のサグラダ・ファミリア」と呼ばれる理由とは )と同じですね。
さて「ネットワークのメンテナンス作業」とは何をやっているのでしょうか？具体的には以下のようなことが挙げられます。
- シナプスと上流ネットワークの増強(コスト面も常に意識しています)
- シナプスとフレッツ関連設備(NTT西日本)との接続の増強、新サービスへの対応
- ネットワーク機材(ルータ、スイッチ)の入れ替え、構成変更
- 提供終了したサービスの廃止
実際にはネットワークのメンテナンス作業に合わせてネットワーク機材の入れ替えもすることも多く、いかにそれらのタイミングを一致させるかもテクニックの1つとなっています。 なお、「ネットワークのメンテナンス作業」はちょっと長いので、以降「作業」と表記し、今回作業時に作成している作業計画書と実際の作業実施時に注意していることなどについてご紹介させていただきますね。
作業計画書
作業の際は必ず「作業計画書」というものを作成しています。 作成の目的は以下が挙げられます。
作業目的と実施項目の明確化
その作業を実施する目的と実施項目を明確化させます。簡単に言うと、何のために何を実施するのか、何が出来れば完了なのかですね。
必要な物品の明確化
「必要な物品」とはルータやスイッチ、LANケーブルや光ケーブルなどです。 シナプス内の在庫品を充当出来ればいいのですが、ルータやスイッチなら必要な機能や性能、ポート数を、ケーブル類は長さやコネクタ形状、数量などを確認し、もし在庫品にない場合は新規に購入するために見積を取得して、さらに値引き交渉をして、納期調整、作業時期の検討という経過をたどります。 そしてここを誤ると以降の作業に大きく影響しますので十分な検討が必要です。
対外的なアナウンス(サービス停止のお知らせ)の要否確認
作業時にお客様へのサービス停止(一瞬の切断を含む)が発生するか、あるいは上位接続のための回線等に警告が出るかなどを検討することです。必要に応じて停止告知をしたり回線事業者へのお知らせを準備します。
物品発送、データセンタ入館申請等の漏れ防止
県外に借りているデータセンタへの物品の発送やデータセンタへの入館申請の要否を確認します。 データセンタへ物品を発送する場合は、それだけでも数日かかりますし、先方へ受け取りの依頼と引き取り予定日の連絡をします。 当然データセンタへの入館申請もしますし、飛行機や新幹線、ホテルの手配なども必要になります。
作業計画書作成にあたっての留意点
作業計画書作成にあたっては以下の点に留意しています。
全体的な段取りを検討
まず全体的な段取りの検討から入りますが、
- お客様や関係先に停止告知を実施
- サービスに（なるべく)影響がないようにトラフィックを迂回
- 実際の作業(機器設置、回線接続、設定変更)
- トラフィック切り戻し
- サービス再開
- 試験
- 監視設定変更
- 作業終了終了連絡
というステップで実施事項を検討します(作業規模によっては省略できるステップもあります)。
実施作業をなるべく複数の手順に分割
お客様へご提供するサービスの品質やコストに影響がないものは事前に実施するなどして、作業を分割します。 もし不具合が発生したとすれば、おそらく直近で実施したことが原因でしょうし、多くの作業をまとめて実施するよりもトラブルシューティングがやりやすくなります。 そして、メインとなる(一番胃が痛い)作業に集中することができます。
事前準備出来るものは実施しておく
例えば新たに設置する機材であれば必要な設定を事前に投入しますし、設置もしておきます。そのほかLANケーブル、光ケーブルなどを敷設しておいたり、監視も設定だけ投入し、且つ監視を保留にしておくことで、作業後に すぐに監視を有効にできます。また機材やケーブル類の両端にラベルを貼りつけるなどしておきます。
こうやってなるべく精神的負担や体力的負担が作業日当日に集中しないようにします。
作業計画書の作成
実際の作業計画書作成に当たってはいくつかのドキュメントを作成します。
作業計画書フォーマットから作業計画書の作成
パワーポイントで作成してある作業計画書のフォートマットのチェックリストを埋めていきます。 前述した停止告知の要否や実施状況、必要な物品の要否、数量、手配状況、監視設定変更内容、図面修正の要否などをチェックします。 これらチェックリストは実施の際に「済み」としていき、作業完了後再度別の人にチェックしてもらいます。
作業実施手順書(仮)の作成
作業実施手順書(仮)も作業計画書の一部なのですが、よくよく考えると正式名称が決まっていないというとに気が付いたので仮名ということで(仮)としておきます。
作業実施手順書(仮)ですが、作業開始連絡から作業終了連絡までを1つの段取りとしてテキストファイルで作成します。 実際にルータやスイッチ、サーバに投入するコマンドを作って行き、作業当日は実施手順をコピー&ペーストで貼り付けて実行します。
非常に短いコマンドなとでは実際手入力したいところもありますが、コピー＆ペーストするこでIPアドレスやIF名の打ち間違いを防止できます。 またコマンドで設定変更や設定追加をした際は意図した設定になっているか確認のコマンドと良否判断基準を必ず用意します。
作業途中でLANケーブル、光ケーブルの接続や抜去をする際はその手順も逐一記述することで、手順書通りやれば一応誰ても作業出来るレベルまで 落とし込みます。
図面の修正
通常ネットワーク運用する際に必要なドキュメントとして図面があるわけですが、これらも適切に修正/更新し続ける必要があります。 当然作業実施の際にも必要があれば修正/更新します。最新じゃないとトラブルシューティング時にも役に立ちません。
主要な図面は以下のようなものがあります。
- ネットワーク図(物理的な接続構成図)
- 経路表(レイヤ3的な視点に立った図面、仮想アドレスの保持状況やダイナミックルーティングの稼働状況)
- バックボーン論理構成図(対外接続の観点、上位接続を把握するための図面)
- IPアドレス管理表(IPアドレスの使用、割り当て状況)
- ラック実装図(19インチラック内の実装図)
- 回線一覧表(当社が接続している回線のIDや開通日、回線名、接続IF、接続事業者名)
作業計画書を作成時は、図面として「作業前」と「作業後」の2種類を用意し、特に「作業後」には変更となる箇所について蛍光ペンで色を塗り明示します。
監視設定変更内容の検討
新たに機器を設置したり回線を接続した場合はそれらの監視設定を追加します。 また機材を撤去したり回線を解約した場合などは監視設定を削除します。 具体的な設定変更内容を記載し、確実に作業を反映するようにします。
クロスチェック
作業計画書や作業実施手順書(仮)、図面修正をした人は別の人がチェックします。 別の人がチェックすることにより、間違い(先入観による思い込みや勘違い)を可能な限り排除します。また不足分の追加、不明確な点の明確化などをします。 これらチェック結果の修正、再チェックを経て一冊の作業計画書が完成します(実際には数回のチェックと修正が必要となることが多いです)。 また過去の作業計画書を流用することで作業計画書作成の時間を短縮することも可能ですが、IPアドレスやIF名の修正を見逃してしまい、間違いが混入することもあります。 ひたすら同じようなコマンドの連続となる場合は、途中で抜け落ちてしまうこともありますので、その辺も重点的にチェックします。
作業計画書完成
これまでのいくつかのステップを経て作業計画書が完成しました。 実際のところ実作業は30分で済む作業でも作業計画書作成にそれ以上の時間を掛けていることもあります。 それでも精度の高い作業をするために必要なことだと思っています。
実作業
作業日当日
作業日当日は作業計画書に基づいて作業を実施します。 時間を掛けて作った作業計画書ですが、作業中に軽微な間違いや漏れに気が付くこともあります。
そして、作業中に別の懸案に気が付いたりすることもありますが、予定外作業は慎むようにしています。 「よかれと思って」や「ついでに」やった設定変更や設定追加はミスを誘発し後の障害につながります。 新たな懸案については別途協議の上作業計画書を作成、クロスチェックを経て実施します。
実際のところ大規模な作業は何度やっても慣れません。 かれこれ20年以上やってても慣れませんが、慣れる(慣れてしまう)ということは障害につながる、ミスを誘発しやすいと考えており、常に緊張感を持って取り組むようにしています。
テスト
実作業以上に大切なのはテストをきっちり実施することです。
冗長性を考慮したネットワークの場合は実際に片系停めてみて、トラフィックが健全なネットワークに迂回することを確認します。なかなかドキドキしますが、うまく行った時はやりがいを感じる場面でもあります。
また、お客様の立場と同じフレッツ回線経由でテストすることもありますし、他社ISP経由でテストをすることもあります。
テストパターンが多い場合は大変ですが、漏れなくテストするようにしています。
事後作業
実作業が終了したら、事後作業として以下のようなことも実施します。
- 監視設定変更
- 関係先に作業終了連絡
- 変更内容を課内に周知
- 図面の差し替え
- ハードウェア関係の台帳の更新(設置場所、製造番号、資産関係)
- 作業計画書の修正点があれば修正
まとめ
作業計画書を作成することの効果をまとめます。
- 目的、実施項目、必要物品の明確化
- 影響範囲の検討、対外的な関係先との調整
- 作業計画書を作った人以外がチェックすることで精度の向上、トラブル防止
- 図面を都度修正することでネットワーク構成の最新の状態を把握、共有
- 次回以降の同様の作業をする際の参考材料
- いい仕事をする(ちゃんと結果、効果を出す）ため
経験則ですが、ネットワーク周りの作業の出来は90%が作業計画書の出来(完成度)によると感じています。 大規模な作業はストレスとプレッシャーに押しつぶされそうになることも多いのですが、お客様への快適なネットワーク環境のご提供を常に念頭に置き今後も作業に当たってまいります。
