家計アプリのAI分類が『その他』に飲まれていくとき — 静かに崩れる支出仕分けを計測して立て直す運用メモ

// lib/classificationLog.ts — 分類の質を時系列で残す
import * as SQLite from 'expo-sqlite';
 
const db = SQLite.openDatabaseSync('finance.db');
 
export async function initClassificationLog(): Promise<void> {
  await db.execAsync(`
    CREATE TABLE IF NOT EXISTS classification_log (
      id TEXT PRIMARY KEY,
      expense_id TEXT NOT NULL,
      ai_category TEXT NOT NULL,
      confidence REAL NOT NULL,
      corrected_category TEXT,     -- ユーザーが直した先（直さなければ NULL）
      created_at TEXT NOT NULL
    );
    CREATE INDEX IF NOT EXISTS idx_cl_created ON classification_log(created_at);
  `);
}
 
export async function logClassification(entry: {
  id: string; expenseId: string; aiCategory: string; confidence: number;
}): Promise<void> {
  await db.runAsync(
    `INSERT INTO classification_log
     (id, expense_id, ai_category, confidence, corrected_category, created_at)
     VALUES (?, ?, ?, ?, NULL, ?)`,
    [entry.id, entry.expenseId, entry.aiCategory, entry.confidence, new Date().toISOString()]
  );
}
 
// ユーザーがカテゴリを手直ししたら、その事実を後追いで記録する
export async function recordCorrection(expenseId: string, correctedTo: string): Promise<void> {
  await db.runAsync(
    `UPDATE classification_log SET corrected_category = ? WHERE expense_id = ?`,
    [correctedTo, expenseId]
  );
}

// lib/distributionDrift.ts — カテゴリ分布のドリフトを測る
export type CategoryCounts = Record<string, number>;
 
function toRatio(counts: CategoryCounts): Record<string, number> {
  const total = Object.values(counts).reduce((a, b) => a + b, 0) || 1;
  const ratio: Record<string, number> = {};
  for (const [k, v] of Object.entries(counts)) ratio[k] = v / total;
  return ratio;
}
 
export function distributionDrift(prev: CategoryCounts, curr: CategoryCounts) {
  const pr = toRatio(prev), cr = toRatio(curr);
  const keys = new Set([...Object.keys(pr), ...Object.keys(cr)]);
  let tvd = 0;                       // total variation distance
  for (const k of keys) tvd += Math.abs((pr[k] ?? 0) - (cr[k] ?? 0));
  tvd /= 2;
 
  // 「その他」だけは単独でも見張る — 分類崩壊はここに溜まりやすい
  const otherJump = (cr['other'] ?? 0) - (pr['other'] ?? 0);
  return {
    drift: Number(tvd.toFixed(3)),
    otherRatio: Number((cr['other'] ?? 0).toFixed(3)),
    otherJump: Number(otherJump.toFixed(3)),
    suspicious: tvd > 0.15 || (cr['other'] ?? 0) > 0.25 || otherJump > 0.08,
  };
}

// lib/correctionRate.ts — ユーザー訂正率で分類精度を外側から測る
import * as SQLite from 'expo-sqlite';
const db = SQLite.openDatabaseSync('finance.db');
 
export async function monthlyCorrectionRate(month: string): Promise<{
  total: number; corrected: number; rate: number; byCategory: Record<string, number>;
}> {
  const rows = await db.getAllAsync<any>(
    `SELECT ai_category, corrected_category FROM classification_log
     WHERE created_at LIKE ?`, [`${month}%`]
  );
  const total = rows.length || 1;
  const corrected = rows.filter(r => r.corrected_category && r.corrected_category !== r.ai_category).length;
 
  // どのカテゴリが直されやすいか = どこで分類器が滑っているか
  const miss: Record<string, { n: number; wrong: number }> = {};
  for (const r of rows) {
    const c = r.ai_category;
    miss[c] ??= { n: 0, wrong: 0 };
    miss[c].n++;
    if (r.corrected_category && r.corrected_category !== c) miss[c].wrong++;
  }
  const byCategory: Record<string, number> = {};
  for (const [c, v] of Object.entries(miss)) byCategory[c] = Number((v.wrong / v.n).toFixed(2));
 
  return { total: rows.length, corrected, rate: Number((corrected / total).toFixed(3)), byCategory };
}

// lib/adviceGate.ts — 分類が信用できない月は助言を止める
interface HealthInputs {
  avgConfidence: number;   // その月の平均確信度
  drift: number;           // 分布ドリフト（total variation distance）
  otherRatio: number;      // 「その他」比率
  correctionRate: number;  // ユーザー訂正率
}
 
export function adviceGate(h: HealthInputs): { ok: boolean; reasons: string[] } {
  const reasons: string[] = [];
  if (h.avgConfidence < 0.65) reasons.push(`平均確信度が低い (${h.avgConfidence})`);
  if (h.drift > 0.15) reasons.push(`分布ドリフトが大きい (${h.drift})`);
  if (h.otherRatio > 0.25) reasons.push(`「その他」比率が高い (${h.otherRatio})`);
  if (h.correctionRate > 0.2) reasons.push(`訂正率が高い (${h.correctionRate})`);
  // 一つでも危険域なら、崩れた数字で助言を作らせない
  return { ok: reasons.length === 0, reasons };
}
 
// 使い方: ゲートを通ったときだけ助言プロンプトを組み立てる
export function buildMonthlyAdvice(gate: ReturnType<typeof adviceGate>, summary: string): string {
  if (!gate.ok) {
    return `今月は支出分類の精度が下がっているため、家計アドバイスの生成を見送りました。`
      + `設定画面から分類の見直しをおすすめします（理由: ${gate.reasons.join(' / ')}）。`;
  }
  return summary; // 実際は summary を Gemini へ渡して助言を生成
}