Gemma 4をアプリ開発に活かす：オンデバイスAIの最前線

import MediaPipeTasksGenAI
 
// LLMInferenceの初期化
// gemma-4-e2b-it.task ファイルを事前にバンドルしておく必要があります
guard let modelPath = Bundle.main.path(forResource: "gemma-4-e2b-it", ofType: "task") else {
    print("モデルファイルが見つかりません")
    return
}
 
let options = LlmInference.Options(modelPath: modelPath)
options.maxTokens = 1024
options.temperature = 0.7
 
do {
    let llmInference = try LlmInference(options: options)
    
    // テキスト生成の例
    let response = try llmInference.generateResponse(
        inputText: "このレシートの金額を合計してください：\(receiptText)"
    )
    print(response)
} catch {
    print("エラー: \(error)")
}

# Pythonスクリプト：Gemma 4をCore MLに変換（前処理）
import coremltools as ct
from transformers import AutoModelForCausalLM, AutoTokenizer
 
# HuggingFaceからモデルをロード
model_id = "google/gemma-4-e2b-it"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
 
# Core MLに変換
traced_model = ct.convert(
    model,
    inputs=[ct.TensorType(shape=(1, 512))],
    compute_units=ct.ComputeUnit.ALL  # Neural Engineを活用
)
traced_model.save("gemma4_e2b.mlpackage")

// Android Studio でのGemma 4統合例（Kotlin）
import com.google.mediapipe.tasks.genai.llminference.LlmInference
import com.google.mediapipe.tasks.genai.llminference.LlmInferenceOptions
 
class GemmaManager(private val context: Context) {
    
    private lateinit var llmInference: LlmInference
    
    fun initialize() {
        val modelPath = "${context.filesDir}/gemma-4-e2b-it.task"
        
        val options = LlmInferenceOptions.builder()
            .setModelPath(modelPath)
            .setMaxTokens(1024)
            .setTemperature(0.7f)
            .build()
        
        llmInference = LlmInference.createFromOptions(context, options)
    }
    
    // 非同期でテキスト生成
    suspend fun generateText(prompt: String): String {
        return withContext(Dispatchers.IO) {
            llmInference.generateResponse(prompt)
        }
    }
    
    // 画像を含むマルチモーダル入力
    suspend fun analyzeImage(bitmap: Bitmap, question: String): String {
        return withContext(Dispatchers.IO) {
            // MediaPipe Image を作成
            val mpImage = BitmapImageBuilder(bitmap).build()
            llmInference.generateResponse(question, listOf(mpImage))
        }
    }
    
    fun release() {
        llmInference.close()
    }
}

// Rork + Gemma 4 APIの連携例（React Native / Expo）
// ローカルサーバー（LM Studio）経由でGemma 4を呼び出す
 
const callGemma4 = async (prompt, imageBase64 = null) => {
  const messages = [
    {
      role: "user",
      content: imageBase64
        ? [
            {
              type: "image_url",
              image_url: { url: `data:image/jpeg;base64,${imageBase64}` }
            },
            { type: "text", text: prompt }
          ]
        : prompt
    }
  ];
 
  const response = await fetch("http://localhost:1234/v1/chat/completions", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({
      model: "gemma-4-e4b",
      messages,
      temperature: 0.7,
      max_tokens: 512
    })
  });
 
  const data = await response.json();
  return data.choices[0].message.content;
};
 
// 使用例：カメラで撮影した商品の説明を生成
const analyzeProduct = async (cameraPhoto) => {
  const base64Image = await photoToBase64(cameraPhoto);
  const description = await callGemma4(
    "この商品について日本語で簡単に説明してください",
    base64Image
  );
  return description;
};