個人開発で『本番障害の自動応答』を仕組み化する ― Crashlytics・Sentry・Slack 通知・段階的ロールバックの設計

// src/observability/sentry-fingerprint.ts
import * as Sentry from "@sentry/react-native";
import crashlytics from "@react-native-firebase/crashlytics";
 
type Severity = "fatal" | "error" | "warning";
 
interface IncidentContext {
  feature: "ads" | "iap" | "auth" | "core";
  buildNumber: string;
  remoteConfigVersion: string;
}
 
/**
 * Crashlytics 側の Issue cluster と Sentry の Fingerprint を揃える。
 * 同じ stack を持つ障害は、両サービスでひとつのチケットに収束する。
 */
export function reportIncident(
  err: Error,
  severity: Severity,
  ctx: IncidentContext
): void {
  const cluster = stableClusterKey(err);
 
  // 1. Crashlytics に Custom Key を付与（後で Issue Search で引ける）
  crashlytics().setAttribute("cluster_key", cluster);
  crashlytics().setAttribute("feature", ctx.feature);
  crashlytics().setAttribute("rc_version", ctx.remoteConfigVersion);
  crashlytics().recordError(err);
 
  // 2. Sentry には fingerprint として cluster_key を渡す
  Sentry.withScope((scope) => {
    scope.setFingerprint([cluster, ctx.feature, ctx.buildNumber]);
    scope.setLevel(severity);
    scope.setTag("feature", ctx.feature);
    scope.setTag("rc_version", ctx.remoteConfigVersion);
    Sentry.captureException(err);
  });
}
 
// stack trace の上位 3 フレームのみで cluster key を作る。
// インライン関数名・ライン番号の揺れを丸めて、同一原因の障害を統合する。
function stableClusterKey(err: Error): string {
  const frames = (err.stack ?? "")
    .split("\n")
    .slice(1, 4)
    .map((line) => line.replace(/:\d+:\d+/g, ":L:C").trim())
    .join("|");
  return `${err.name}::${frames}`;
}

// functions/src/incident-router.ts
import * as functions from "firebase-functions";
import fetch from "node-fetch";
 
const SLACK_CRITICAL = process.env.SLACK_CRITICAL_WEBHOOK!;
const SLACK_LOG = process.env.SLACK_LOG_WEBHOOK!;
 
interface CrashAlert {
  issue_id: string;
  app_id: string;
  fatal: boolean;
  user_count: number;
  cluster_key?: string;
  feature?: string;
}
 
export const routeCrashAlert = functions
  .region("asia-northeast1")
  .https.onRequest(async (req, res) => {
    const alert = req.body as CrashAlert;
    const target = isCritical(alert) ? SLACK_CRITICAL : SLACK_LOG;
 
    await fetch(target, {
      method: "POST",
      headers: { "Content-Type": "application/json" },
      body: JSON.stringify({
        text: formatMessage(alert),
        attachments: [
          {
            color: alert.fatal ? "#d33" : "#fc0",
            fields: [
              { title: "feature", value: alert.feature ?? "unknown", short: true },
              { title: "users", value: String(alert.user_count), short: true },
              { title: "cluster", value: alert.cluster_key ?? "—", short: false },
            ],
          },
        ],
      }),
    });
    res.status(204).send();
  });
 
function isCritical(a: CrashAlert): boolean {
  // 30 ユーザー以上に影響している Fatal、または認証/課金機能のクラッシュ
  if (a.fatal && a.user_count >= 30) return true;
  if (a.feature === "auth" || a.feature === "iap") return a.fatal;
  return false;
}
 
function formatMessage(a: CrashAlert): string {
  return `:rotating_light: *${a.feature ?? "unknown"}* — ${a.user_count} users\nissue: \`${a.issue_id}\``;
}

// scripts/rollback.ts ― ローカル CLI から実行する自動ロールバック
import { GoogleAuth } from "google-auth-library";
 
interface RollbackPlan {
  feature: string;
  // 段階的に下げる: 100 → 50 → 10 → 0
  stages: number[];
  pauseSeconds: number;
}
 
async function rollback(plan: RollbackPlan) {
  const auth = new GoogleAuth({
    scopes: "https://www.googleapis.com/auth/firebase.remoteconfig",
  });
  const client = await auth.getClient();
  const projectId = process.env.FIREBASE_PROJECT_ID!;
  const url = `https://firebaseremoteconfig.googleapis.com/v1/projects/${projectId}/remoteConfig`;
 
  for (const stage of plan.stages) {
    console.log(`[rollback] ${plan.feature} -> ${stage}%`);
    const current = await client.request({ url });
    const etag = current.headers["etag"] as string;
    const template = current.data as Record<string, unknown>;
 
    setRolloutPercentage(template, plan.feature, stage);
 
    await client.request({
      url,
      method: "PUT",
      headers: { "If-Match": etag, "Content-Type": "application/json" },
      data: template,
    });
 
    console.log(`[rollback] waiting ${plan.pauseSeconds}s before next stage`);
    await new Promise((r) => setTimeout(r, plan.pauseSeconds * 1000));
  }
}
 
function setRolloutPercentage(
  template: Record<string, unknown>,
  feature: string,
  pct: number
): void {
  // 簡略化 — 実際は conditions と parameter の組み合わせを書き換える
  const params = template["parameters"] as Record<string, { conditionalValues?: Record<string, unknown> }>;
  const entry = params[feature];
  if (!entry?.conditionalValues) throw new Error(`${feature} has no conditions`);
  entry.conditionalValues[`rollout_${pct}`] = { value: "true" };
}
 
rollback({
  feature: "feature_new_paywall",
  stages: [100, 50, 10, 0],
  pauseSeconds: 60,
});

# YYYY-MM-DD <feature> incident
 
## 何が起きたか
- 検知時刻 / 復旧時刻 / 影響ユーザー数の見積もり
 
## なぜ起きたか
- 直接原因 / 根本原因 / 同種の障害を過去に出していたか
 
## 何を変えれば二度と起きないか
- コード変更 / 監視追加 / ドキュメント追加 — 各々 issue リンク
 
## このインシデントから学んだこと（未来の自分宛て）
- 1 行