Rork Max の Swift アプリに Foundation Models の画像入力でオンデバイス・タグ付けを実装する

import FoundationModels
import SwiftUI
 
/// オンデバイスモデルの利用可否を一元管理する観測可能オブジェクト。
/// View はこの状態を見て、機能の表示／非表示やフォールバックを決める。
@Observable
final class ModelGate {
    enum State {
        case ready
        case unavailable(reason: String)
    }
 
    private(set) var state: State = .unavailable(reason: "未確認")
 
    func refresh() {
        let model = SystemLanguageModel.default
        switch model.availability {
        case .available:
            state = .ready
        case .unavailable(.deviceNotEligible):
            state = .unavailable(reason: "この端末は Apple Intelligence に対応していません")
        case .unavailable(.appleIntelligenceNotEnabled):
            state = .unavailable(reason: "設定で Apple Intelligence を有効にしてください")
        case .unavailable(.modelNotReady):
            state = .unavailable(reason: "モデルの準備中です。しばらくお待ちください")
        case .unavailable(let other):
            state = .unavailable(reason: "利用できません: \(other)")
        }
    }
 
    var isReady: Bool {
        if case .ready = state { return true }
        return false
    }
}

import FoundationModels
 
/// 生成結果を受け取る構造化型。
/// @Guide でモデルに各フィールドの意図を伝え、出力の質を安定させる。
@Generable
struct ImageTagResult {
    @Guide(description: "画像の内容を表す日本語のタグ。3〜6個。固有名詞より一般名詞を優先する。")
    let tags: [String]
 
    @Guide(description: "次のいずれか1つ: 風景, 人物, 動物, 食べ物, 建築, 抽象, その他")
    let category: String
 
    @Guide(description: "画像を一文で説明する。20〜40文字程度の日本語。")
    let caption: String
 
    @Guide(description: "画像が壁紙として適しているかの真偽値。")
    let suitableAsWallpaper: Bool
}

import FoundationModels
import UIKit
 
enum TaggingError: Error {
    case modelUnavailable
}
 
/// 1枚の画像からタグ結果を生成する。
/// - Parameter image: PhotosPicker やカメラから受け取った UIImage
/// - Returns: 構造化された ImageTagResult
func generateTags(for image: UIImage, gate: ModelGate) async throws -> ImageTagResult {
    gate.refresh()
    guard gate.isReady else { throw TaggingError.modelUnavailable }
 
    // システム指示でモデルの役割を固定する。出力言語もここで縛る。
    let session = LanguageModelSession(
        instructions: """
        あなたは画像にメタデータを付与するアシスタントです。
        必ず日本語で、与えられたスキーマの形式に厳密に従って答えてください。
        画像に写っていないものを推測で足さないでください。
        """
    )
 
    // プロンプトに画像を添える。画像は任意のサイズ・アスペクト比を受け付けるが、
    // 大きいほどトークンとレイテンシを食うため、ここで長辺を1024pxに縮小しておく。
    let downscaled = image.downscaled(maxDimension: 1024)
 
    let response = try await session.respond(
        to: Prompt {
            "この画像にふさわしいタグ・カテゴリ・説明を生成してください。"
            downscaled   // 画像アタッチメント（プロンプトビルダーが受け取る）
        },
        generating: ImageTagResult.self
    )
 
    return response.content
}

import UIKit
 
extension UIImage {
    /// 長辺が maxDimension を超える場合のみ等比縮小する。
    func downscaled(maxDimension: CGFloat) -> UIImage {
        let longSide = max(size.width, size.height)
        guard longSide > maxDimension else { return self }
        let scale = maxDimension / longSide
        let newSize = CGSize(width: size.width * scale, height: size.height * scale)
        let renderer = UIGraphicsImageRenderer(size: newSize)
        return renderer.image { _ in
            draw(in: CGRect(origin: .zero, size: newSize))
        }
    }
}

import FoundationModels
import Vision
 
/// Vision の画像分類を、Foundation Models から呼べるツールとして公開する。
struct VisionClassifyTool: Tool {
    let name = "classifyImage"
    let description = "画像内の主要な物体を、Vision の分類器で高速に判定して上位ラベルを返す。"
 
    @Generable
    struct Arguments {
        @Guide(description: "分類対象の、現在のセッション内の画像への参照")
        let image: ImageReference
    }
 
    func call(arguments: Arguments) async throws -> String {
        // ImageReference をセッション履歴から実画像に解決する想定。
        let cgImage = try arguments.image.resolvedCGImage()
 
        let request = VNClassifyImageRequest()
        let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
        try handler.perform([request])
 
        let top = (request.results ?? [])
            .filter { $0.confidence > 0.1 }
            .prefix(5)
            .map { "\($0.identifier) (\(String(format: "%.2f", $0.confidence)))" }
 
        return top.isEmpty ? "確度の高いラベルなし" : top.joined(separator: ", ")
    }
}

// オンデバイス（既定）:
let onDevice = LanguageModelSession(instructions: systemPrompt)
 
// PCC のサーバーモデルへ切り替え（コンテキスト 4K → 32K）。
// 複数画像のバッチや長文プロンプトはこちらに逃がす。
let server = LanguageModelSession(
    model: .serverPrivateCloudCompute,
    instructions: systemPrompt
)