ConvivialNet

IWSC in静岡 NeGINOC L2L3(BB)チームのトラシュー備忘録

レポ
2026年6月30日～7月1日 Internet Week Showcase in 静岡 NeGINOC に参加しました。

はじめに

イベント名：　Internet Week Showcase in 静岡

主催：一般社団法人日本ネットワークインフォメーションセンター(JPNIC) https://www.nic.ad.jp

日程

NeGINOCチーム構成

  • L2L3_BBチーム　4名
  • serverチーム　2名
  • AP_Cableチーム　5名

の計11名(男女比 8:3)でした！

今回はL2L3_BBチームでConvivialNetから2名が参加しました。

IMG_9592 L2L3_BBチーム集合写真

当日までの流れ

5/28に顔合わせがあり、本番6/30までにだいたい週一の頻度で、計4回のL2L3_BBチームMTを行いました。

以下、トラシュー備忘録

ホットステージ

【ハイライト】

  • スイッチ間の光リンクがupしない
    • 症状　光信号は来てるのにリンクがupしない(L1は生きてるように見えるのにL2 downのまま)
    • 模索1　hall-sw 0/24 の SFP故障を疑う TX power -40.00dBm・Bias 0.00(どちらもアラーム=発光してない) 0/25へ挿し替え先を変えるも、改善せず
    • 模索2　ファイバー TX/RX逆刺しを疑って挿し替えるも、改善せず
    • 原因　以前入れた speed 1000 が残っていた。10G SFP に 1G を強制するもオートネゴ失敗
    • 対応　no speed で速度強制を削除し、Te0/3 up / Full / 10G / ping成功

【やっちゃった系】

  • SSH自爆BAN

    • 症状　ssh失敗。セキュリティを設定していたためBANされる。PWミスを3回繰り返したためBANされたのだと誤認し、他メンバーと何度もPWを確認するもBANされ続ける。
    • 原因　ssh ユーザー名不一致。
    • 反省　過去のNOC資料を参照して「こんなセキュリティあるんだー」と設定したが、作業日はまだ設定しなくてもよかったかも

  • スイッチ未接続

    • 症状　core-swからnoc-sw,hall-sw２台にssh接続しようとするも失敗
    • 原因　noc-sw,hall-swがそもそも物理的に挿さっていなかった
    • 対応　ケーブルを挿して解決

  • ポート重複

    • 症状　リンクが不安定だった
    • 原因　L2L3チームが急きょTailscale用に使用したポートと、サーバーチームの使用ポートが衝突していた
    • 対応　ポート割り当てを調整して解決

前日準備

【NOCチーム全体の修羅場状況】
前日20時の時点で「DNS名前解決できない」、「DHCP未取得」、「AP未起動」の3点を対応

【ハイライト】

  • スイッチとルーター間ping不通トラシューの1時間
    • 症状　L3設定は完璧(なはず)なのに疎通しない。
    • 模索　SVI・ルート散々見直した。
    • 原因　ケーブルが刺さっておらず、有線が物理的につながってなかった。
    • 大反省　物理は最初に見直す癖をつくろうと学びました。L2L3(BB)メンバー4人総出でトラシューしたので、1時間ロスは痛かったです。

【やっちゃった系】

  • スイッチ3台とルーターを光ファイバー接続するも、うち1台にpingが通らない。

    • 模索　hall-sw　IPv4ping疎通確認できた。
    • 原因　0/4の設定が0/5に入っていた。0/4に修正。

  • ルーターのIPv6疎通できないトラシュー

    • 原因　noc-swとhall-swのIPv6デフォルトルートが未設定だった。
    • 対応　設定し、core-routerとの疎通完了。

【他チームとの連携】

  • DNSのdigは通るしtracerouteも通るのにAP繋がらずDNS名前解決しないトラシュー
    • 症状　digは通るしtracerouteも通るのに、APがクラウド管理(Meraki)側に接続できず設定が反映されない。名前解決時のDNSステータスコードがREFUSED。
    • 原因　 サーバーチーム側はDNS名前解決ができるネットワークを完成させており、L2L3(BB)チーム側もWireGuard以外は疎通できていた。
    • 問題はAP(Meraki)にあった。Merakiはクラウド管理型のAPで、クラウドに到達して初めて設定が反映される仕組みだが、ホットステージ時点でNetboxに記載されていたDNSキャッシュサーバーのIP(プライマリ/セカンダリ：30.10, 30.11)をAP側に設定していた。その後、DNSキャッシュサーバーのIPが30.12に変更されたにもかかわらずAP側の設定は更新されておらず、APは存在しない古いDNSキャッシュサーバーを探し続けてクラウドに到達できていなかった。
    • そのため、通常のdig（現行DNSキャッシュサーバー宛て）やtracerouteは正常に通るが、AP自体はクラウド(Meraki)に接続できず設定が反映されない。AP設定と同じ古いDNSキャッシュサーバー(30.10/30.11)宛てにdigすると、DNSのステータスコードがREFUSEDで返ってくる状態だった。
    • 対応　AP側は設定を外部から書き換えられず、初期化(リセット)以外に復旧手段がなかったため、全AP初期化を実施。問題発生時はAP1台のみリセットできていたため設定反映に成功したが、他のAPはリセットしていなかったため正常動作しない状態だった。
    • 反省　DNSキャッシュサーバーのIPを変更した際は、AP(Meraki)側の静的DNS設定も含めて同時に見直す必要があった。

※AP_Cableチームリーダー：でっちゃ@カテ5eの妖精さん(@Cat5e_LabFairy)談

IWSC 1日目(運用中)

メンバーのPCが使えなくなり急きょ精密ドライバで解体したり、界隈で噂になったWireguardの件でトラシューしたまま6時間が過ぎました。L2L3メンバーがお昼の買い出しを代行しましたが、BBメンバーは昼食も喉を通らず胃を押さえていました。

  • WireGuard120秒瞬断トラシュー
    • 症状　2分ごとに5〜20秒、全通信が切れる。
    • ハンドシェイクは毎回成立してるのに戻りデータだけ消える矛盾。
    • Retrying handshake … because we stopped hearing back after 15 seconds が出ていた。
    • MTU・経路ループ説・ハンドシェイク失敗を全部確認した。
    • 暫定対応　rebootではなおらなかったが、鍵を再生成したらなおった。
    • 原因はまだ解明しきれておらず、BBメンバーが再現確認予定。

IWSC 2日目(運用中)

  • LINEだけ会場Wi-Fiで閲覧できないIPv6のMSS入れ忘れトラシュー

    • 症状　他は使えるのにLINEだけ開けない。
    • 原因　mss-adjust をIPv4には入れたがIPv6に入れ忘れ。v6経路でMSS過大→PMTUブラックホール→大きいパケットを使うアプリだけ詰まる。
    • 反省　特定のアプリ/サイトだけ不通ならMSS/PMTUを疑う。v4/v6両方に入れる。

  • 監視作成中のサーバーチームから『trap community を統一してほしい、SNMPをサーバから拾えるようにしたい』と依頼アリ

    • 反省　予定と異なるtrap communityを使ったことは、変更した時点でほかのチームに共有すべきだった。

感想

ご来場されていた方とお話した中で、「現場で経験を積むことはとても大事。こういう失敗しても大丈夫な環境で場数踏むことが糧になるから。仕事になると始末書があるからね～」とお言葉をいただいたのが印象に残りました。
各チームうまくいかないことにぶつかり、AIを使っていてもなお問題解決まで時間をとられたりして、みんな平等に発狂し、なんどもトライ＆エラーを繰り返す中「そもそもケーブル繋がってない！！」と視野が狭まっていたことに気づかされたり、「アドバイスもらったとおりにしたら解決した！でもなんで！？」と新たな疑問に向き合えた、学びの多い３日間でした。
大変でしたが、最後はNOCメンバー同士で「またNOCやりたいね～！」と語り合えたのもいい思い出です！ なにより、同じようにネットワーク分野を楽しいと思っている同世代との出会いも自分のモチベーションアップにつながりました(^^)
大学に戻り「こんなことがあったんですよ～」と教授や先輩に報告するところまで、とっても楽しいNeGINOC活動でした！
改めて、このような機会を設けてくださったJPNICさんに感謝です！

この記事の著者

sgwr

sgwr

ネットワーク部二年生です

関連記事

目次

最新の記事