ユーザー投稿画像を表示前に端末内で判定する — SensitiveContentAnalysis 実装メモ

import SensitiveContentAnalysis
 
enum ScreeningResult {
    case sensitive          // 不適切と判定
    case safe               // 問題なし
    case unavailable        // 設定無効・非対応などで判定不能
}
 
struct ContentScreener {
    private let analyzer = SCSensitivityAnalyzer()
 
    /// 端末内で画像を判定する。判定不能な場合は .unavailable を返す。
    func screen(imageAt url: URL) async -> ScreeningResult {
        // 利用者が設定で機能を有効にしていなければ解析は動かない
        guard analyzer.analysisPolicy != .disabled else {
            return .unavailable
        }
        do {
            let response = try await analyzer.analyzeImage(at: url)
            return response.isSensitive ? .sensitive : .safe
        } catch {
            // 解析自体が失敗したケースも「弾けなかった」として扱う
            return .unavailable
        }
    }
}

extension ContentScreener {
    func screen(videoAt url: URL) async -> ScreeningResult {
        guard analyzer.analysisPolicy != .disabled else { return .unavailable }
        do {
            let response = try await analyzer.analyzeVideo(at: url)
            return response.isSensitive ? .sensitive : .safe
        } catch {
            return .unavailable
        }
    }
}

import ExpoModulesCore
import SensitiveContentAnalysis
 
public class ContentScreenerModule: Module {
    private let analyzer = SCSensitivityAnalyzer()
 
    public func definition() -> ModuleDefinition {
        Name("ContentScreener")
 
        // "sensitive" | "safe" | "unavailable" を文字列で返す
        AsyncFunction("screenImage") { (uri: String) -> String in
            guard let url = URL(string: uri) else { return "unavailable" }
            guard self.analyzer.analysisPolicy != .disabled else { return "unavailable" }
            do {
                let response = try await self.analyzer.analyzeImage(at: url)
                return response.isSensitive ? "sensitive" : "safe"
            } catch {
                return "unavailable"
            }
        }
    }
}

import ContentScreener from "./modules/content-screener";
 
type Verdict = "sensitive" | "safe" | "unavailable";
 
export async function shouldShowImage(uri: string): Promise<boolean> {
  const verdict = (await ContentScreener.screenImage(uri)) as Verdict;
  switch (verdict) {
    case "safe":
      return true;
    case "sensitive":
      return false; // 端末内で不適切と判定 → 表示しない
    case "unavailable":
      // 判定できなかった画像はサーバ側の判定結果に委ねる
      return await fallbackToServerVerdict(uri);
  }
}