ConoHaからのメールをきっかけに管理画面を開くと、VPSが起動しなくなっていた。コンソールには次のエラーが出ていた。
Kernel panic - not syncing: No working init found.
再起動しても同じ状態だった。最終的には、外部ISOのSystemRescueからディスクを調査し、initramfsの破損と、ルートファイルシステムの不整合を修復することで通常起動できた。さらに停止していたDockerコンテナを起動し、複数のWebサイトでHTTP 200を確認した。
この記事は2026年11月19日の作業記録。破損した箇所は確認できたが、破損が発生した時期や原因までは特定できていない。ConoHaのメンテナンスやカーネル更新が原因だった、と断定するものではない。
対象の環境と、最初に困ったこと
対象はConoHa VPS Ver.3.0、Ubuntu 22.04.4 LTS。メモリは2GB、ディスクは100GBで、起動対象のカーネルは5.15.0-203-genericだった。
最初は再起動直後にGRUBを操作して、シングルユーザーモードなどで起動できないか考えた。しかしコンソールの接続が切れ、再接続したときにはすでにkernel panicの画面になっていた。
今回は通常のOS起動とは別の環境からディスクを調べるため、外部ISOによるレスキュー起動に切り替えた。ConoHaはサービスのバージョンによってAPIの説明が異なるので、管理画面でVer.3.0であることを確認してから進めた。
SystemRescueのISOを準備する
SystemRescue公式サイトからsystemrescue-13.03-amd64.isoをダウンロードし、MacでSHA-256を確認した。
shasum -a 256 ~/Downloads/systemrescue-13.03-amd64.iso
配布元のチェックサムは、ハッシュ値とファイル名が書かれたテキストだった。コマンドの出力と照合し、一致することを確認してから使用した。別バージョンのISOを使う場合は、そのファイルに対応する値で確認する。
ConoHa側の準備は、公式の「APIでVPSにISOイメージを挿入する」を参考にした。作業の流れは次のとおり。
- APIユーザーとエンドポイントを確認し、認証トークンを取得する。
- 対象VPSのサーバーIDを確認する。
- ISO用のイメージを作成し、ISO本体をアップロードする。
- イメージが
activeになることを確認する。 - VPSを停止し、ISOを指定してレスキュー起動する。
イメージ作成直後のqueuedは、ISOのアップロード完了を意味しない。今回も作成後に本体をアップロードし、利用可能な状態になったことを確認した。
認証情報やIDを含むAPIコマンドはここでは省略する。エンドポイントは自分の環境のものを使い、トークンやAPIパスワードをブログやGitに残さない。
レスキュー環境から既存ディスクを調べる
SystemRescueが起動すると、既存のUbuntuとは別のrootシェルが使える。基本操作はSystemRescueのQuick start guideも参考にした。
今回のディスクは/dev/vda、Ubuntuのルートパーティションは/dev/vda2だった。まずlsblk -fで構成とファイルシステムを確認した。
lsblk -f
mkdir -p /mnt/target
mount -o ro,noload /dev/vda2 /mnt/target
/dev/vda2は今回の環境の値。別のサーバーでそのまま実行せず、対象を確認する必要がある。最初はext4を読み取り専用かつジャーナルを再生しない設定でマウントして調査した。
/sbin/initのリンク先を確認するとsystemdが存在し、chroot内で/bin/shとsystemd --versionも実行できた。「No working init found」という表示だけで、ディスク上のsystemd自体が消えたとは判断できなかった。
なお、ConoHaのテキスト送信ではキーボード配列が合わず記号が意図どおりに入力されない場面があった。今回のSystemRescueではloadkeys jp106で配列を合わせた。また、ブラウザーの表示領域よりコンソールが大きく、下部の出力が見切れていた。画面の一部だけを見て停止したと判断しないことも大事だった。
1つ目の問題:initramfsが壊れていた
/bootには、新しい5.15.0-203-genericと以前の5.15.0-164-genericの起動イメージが残っていた。
新しいinitramfsをlsinitramfsで検査すると、次のエラーが出た。
cpio: premature end of archive
終了コードは2だった。一方、以前のカーネルのinitramfsは正常に一覧表示できた。この比較から、新しいinitramfsの破損を修復対象とした。調査の過程ではカーネル本体と関連モジュールのパッケージ検証も行い、差分は報告されなかった。
読み取り専用でchrootから検査する際は、一時ファイルの書き込み先にも注意が必要だった。今回はレスキュー側の/tmpを対象側にbind mountし、TMPDIR=/tmpを指定した。一時ディレクトリに書き込めないエラーと、アーカイブ破損のエラーは区別する。
修復前に、元のinitramfsとgrub.cfgを保存した。その後、対象を読み書き可能にマウントし直し、/dev、/proc、/sysをchroot内から利用できるようにした上で、対象カーネルだけを指定して再生成した。
chroot /mnt/target update-initramfs -u -k 5.15.0-203-generic
-uと-kの意味はUbuntuのupdate-initramfsマニュアルで確認できる。レスキュー環境のuname -rはレスキュー側のカーネルを返すので、修復対象のバージョンを明示した。
再生成は終了コード0。もう一度lsinitramfsで確認し、initとusr/bin/shが含まれ、検査も成功することを確認した。
これで最初のkernel panicは解消した。しかし、まだ通常起動は完了しなかった。
2つ目の問題:ext4の整合性エラー
レスキュー環境に戻り、対象パーティションをアンマウントしてから、書き換えなしの検査を行った。
e2fsck -fn /dev/vda2
ファイル種別、inodeやブロックのビットマップ、空き領域の集計などに不整合が見つかり、終了コードは4だった。
まず-pによる自動修復を試したが、処理できない箇所が残った。そのため検査結果を確認して追加の修復を行い、最後にe2fsck -fnを再実行した。再検査は終了コード0になった。
ファイルシステムの修復はデータを書き換える。 実施前に、可能ならディスク全体のバックアップを別の保存先へ確保する。マウント中のファイルシステムを修復しない。今回は-zで変更前のブロックを記録したが、undoファイルはディスク全体のバックアップの代わりにはならない。
実作業では自動修復後に-fyも使用した。これは修復の問いにすべてyesと答える指定なので、一般的なコピペ手順としては勧めない。対象と検査結果を確認し、判断できなければバックアップ確保や専門家への相談を先に行う。オプションと終了コードはUbuntuのe2fsckマニュアルを参照してほしい。
修復ログとundoファイルはレスキュー環境の一時領域から既存ディスクへ保存してから再起動した。これだけではディスク故障への備えにはならない。また、lost+foundに回収された項目もあり、整合性検査が正常になったことだけで、全ファイルの内容が無傷だとは言えない。
通常起動のあと、Webサービスも確認する
書き込みを同期し、対象ディスクをアンマウントしてから、ConoHa APIでレスキューモードを解除した。
今度はUbuntuのログイン画面まで進み、既存のSSH鍵で接続できた。起動中のカーネルは5.15.0-203-genericで、systemctl --failedにも失敗したユニットはなかった。
OSの起動後は、Webアプリの状態も確認した。
docker ps -a
DBコンテナは起動していたが、Webアプリとコンテナ内のnginxは停止したままだった。停止していたコンテナの起動など、アプリ側の復旧作業も進め、ヘルスチェックとHTTP応答を確認した。
最終的に確認できた範囲は次のとおり。
- Ubuntuの通常起動とSSH接続が復旧した。
- ファイルシステムの再検査はエラーなしだった。
- 起動したWebコンテナのヘルスチェックが正常になった。
- 複数のWebサイトでHTTP 200を確認した。
これらは起動状態とHTTP応答の確認であり、アプリ内のすべての機能を検証したものではない。
今回の作業で分かったこと
最初に見えたエラーはinitの起動失敗だったが、initramfsを直すだけでは復旧しなかった。ファイルシステムの不整合を修復し、その後でアプリ側の起動状態まで確認する必要があった。
一番の反省点は、書き込みを伴う修復の前に、別の保存先へディスク全体を退避できる準備をしておくこと。修復ファイルやログを同じディスクに残すだけでは不十分だ。
また、多くのWebコンテナは再起動ポリシーがnoだった。今回は手動で起動したが、今後は運用意図に合った自動起動設定と、再起動後の確認手順を整えておきたい。

コメント
新しいコメントの受付は停止しています。