ConoHa VPSが起動しない。SystemRescueでinitramfsとファイルシステムを修復した記録

ConoHaからのメールをきっかけに管理画面を開くと、VPSが起動しなくなっていた。コンソールには次のエラーが出ていた。

Kernel panic - not syncing: No working init found.

再起動しても同じ状態だった。最終的には、外部ISOのSystemRescueからディスクを調査し、initramfsの破損と、ルートファイルシステムの不整合を修復することで通常起動できた。さらに停止していたDockerコンテナを起動し、複数のWebサイトでHTTP 200を確認した。

この記事は2026年11月19日の作業記録。破損した箇所は確認できたが、破損が発生した時期や原因までは特定できていない。ConoHaのメンテナンスやカーネル更新が原因だった、と断定するものではない。

対象の環境と、最初に困ったこと

対象はConoHa VPS Ver.3.0、Ubuntu 22.04.4 LTS。メモリは2GB、ディスクは100GBで、起動対象のカーネルは5.15.0-203-genericだった。

最初は再起動直後にGRUBを操作して、シングルユーザーモードなどで起動できないか考えた。しかしコンソールの接続が切れ、再接続したときにはすでにkernel panicの画面になっていた。

今回は通常のOS起動とは別の環境からディスクを調べるため、外部ISOによるレスキュー起動に切り替えた。ConoHaはサービスのバージョンによってAPIの説明が異なるので、管理画面でVer.3.0であることを確認してから進めた。

SystemRescueのISOを準備する

SystemRescue公式サイトからsystemrescue-13.03-amd64.isoをダウンロードし、MacでSHA-256を確認した。

shasum -a 256 ~/Downloads/systemrescue-13.03-amd64.iso

配布元のチェックサムは、ハッシュ値とファイル名が書かれたテキストだった。コマンドの出力と照合し、一致することを確認してから使用した。別バージョンのISOを使う場合は、そのファイルに対応する値で確認する。

ConoHa側の準備は、公式の「APIでVPSにISOイメージを挿入する」を参考にした。作業の流れは次のとおり。

  1. APIユーザーとエンドポイントを確認し、認証トークンを取得する。
  2. 対象VPSのサーバーIDを確認する。
  3. ISO用のイメージを作成し、ISO本体をアップロードする。
  4. イメージがactiveになることを確認する。
  5. VPSを停止し、ISOを指定してレスキュー起動する。

イメージ作成直後のqueuedは、ISOのアップロード完了を意味しない。今回も作成後に本体をアップロードし、利用可能な状態になったことを確認した。

認証情報やIDを含むAPIコマンドはここでは省略する。エンドポイントは自分の環境のものを使い、トークンやAPIパスワードをブログやGitに残さない。

レスキュー環境から既存ディスクを調べる

SystemRescueが起動すると、既存のUbuntuとは別のrootシェルが使える。基本操作はSystemRescueのQuick start guideも参考にした。

今回のディスクは/dev/vda、Ubuntuのルートパーティションは/dev/vda2だった。まずlsblk -fで構成とファイルシステムを確認した。

lsblk -f
mkdir -p /mnt/target
mount -o ro,noload /dev/vda2 /mnt/target

/dev/vda2は今回の環境の値。別のサーバーでそのまま実行せず、対象を確認する必要がある。最初はext4を読み取り専用かつジャーナルを再生しない設定でマウントして調査した。

/sbin/initのリンク先を確認するとsystemdが存在し、chroot内で/bin/shとsystemd --versionも実行できた。「No working init found」という表示だけで、ディスク上のsystemd自体が消えたとは判断できなかった。

なお、ConoHaのテキスト送信ではキーボード配列が合わず記号が意図どおりに入力されない場面があった。今回のSystemRescueではloadkeys jp106で配列を合わせた。また、ブラウザーの表示領域よりコンソールが大きく、下部の出力が見切れていた。画面の一部だけを見て停止したと判断しないことも大事だった。

1つ目の問題:initramfsが壊れていた

/bootには、新しい5.15.0-203-genericと以前の5.15.0-164-genericの起動イメージが残っていた。

新しいinitramfsをlsinitramfsで検査すると、次のエラーが出た。

cpio: premature end of archive

終了コードは2だった。一方、以前のカーネルのinitramfsは正常に一覧表示できた。この比較から、新しいinitramfsの破損を修復対象とした。調査の過程ではカーネル本体と関連モジュールのパッケージ検証も行い、差分は報告されなかった。

読み取り専用でchrootから検査する際は、一時ファイルの書き込み先にも注意が必要だった。今回はレスキュー側の/tmpを対象側にbind mountし、TMPDIR=/tmpを指定した。一時ディレクトリに書き込めないエラーと、アーカイブ破損のエラーは区別する。

修復前に、元のinitramfsとgrub.cfgを保存した。その後、対象を読み書き可能にマウントし直し、/dev、/proc、/sysをchroot内から利用できるようにした上で、対象カーネルだけを指定して再生成した。

chroot /mnt/target update-initramfs -u -k 5.15.0-203-generic

-uと-kの意味はUbuntuのupdate-initramfsマニュアルで確認できる。レスキュー環境のuname -rはレスキュー側のカーネルを返すので、修復対象のバージョンを明示した。

再生成は終了コード0。もう一度lsinitramfsで確認し、initとusr/bin/shが含まれ、検査も成功することを確認した。

これで最初のkernel panicは解消した。しかし、まだ通常起動は完了しなかった。

2つ目の問題:ext4の整合性エラー

レスキュー環境に戻り、対象パーティションをアンマウントしてから、書き換えなしの検査を行った。

e2fsck -fn /dev/vda2

ファイル種別、inodeやブロックのビットマップ、空き領域の集計などに不整合が見つかり、終了コードは4だった。

まず-pによる自動修復を試したが、処理できない箇所が残った。そのため検査結果を確認して追加の修復を行い、最後にe2fsck -fnを再実行した。再検査は終了コード0になった。

ファイルシステムの修復はデータを書き換える。 実施前に、可能ならディスク全体のバックアップを別の保存先へ確保する。マウント中のファイルシステムを修復しない。今回は-zで変更前のブロックを記録したが、undoファイルはディスク全体のバックアップの代わりにはならない。

実作業では自動修復後に-fyも使用した。これは修復の問いにすべてyesと答える指定なので、一般的なコピペ手順としては勧めない。対象と検査結果を確認し、判断できなければバックアップ確保や専門家への相談を先に行う。オプションと終了コードはUbuntuのe2fsckマニュアルを参照してほしい。

修復ログとundoファイルはレスキュー環境の一時領域から既存ディスクへ保存してから再起動した。これだけではディスク故障への備えにはならない。また、lost+foundに回収された項目もあり、整合性検査が正常になったことだけで、全ファイルの内容が無傷だとは言えない。

通常起動のあと、Webサービスも確認する

書き込みを同期し、対象ディスクをアンマウントしてから、ConoHa APIでレスキューモードを解除した。

今度はUbuntuのログイン画面まで進み、既存のSSH鍵で接続できた。起動中のカーネルは5.15.0-203-genericで、systemctl --failedにも失敗したユニットはなかった。

OSの起動後は、Webアプリの状態も確認した。

docker ps -a

DBコンテナは起動していたが、Webアプリとコンテナ内のnginxは停止したままだった。停止していたコンテナの起動など、アプリ側の復旧作業も進め、ヘルスチェックとHTTP応答を確認した。

最終的に確認できた範囲は次のとおり。

  • Ubuntuの通常起動とSSH接続が復旧した。
  • ファイルシステムの再検査はエラーなしだった。
  • 起動したWebコンテナのヘルスチェックが正常になった。
  • 複数のWebサイトでHTTP 200を確認した。

これらは起動状態とHTTP応答の確認であり、アプリ内のすべての機能を検証したものではない。

今回の作業で分かったこと

最初に見えたエラーはinitの起動失敗だったが、initramfsを直すだけでは復旧しなかった。ファイルシステムの不整合を修復し、その後でアプリ側の起動状態まで確認する必要があった。

一番の反省点は、書き込みを伴う修復の前に、別の保存先へディスク全体を退避できる準備をしておくこと。修復ファイルやログを同じディスクに残すだけでは不十分だ。

また、多くのWebコンテナは再起動ポリシーがnoだった。今回は手動で起動したが、今後は運用意図に合った自動起動設定と、再起動後の確認手順を整えておきたい。

コメント

新しいコメントの受付は停止しています。

タイトルとURLをコピーしました