これまで Rork で作るアプリの主流は『テキスト中心 + 画像表示程度のシンプルなUI』でした。しかし2026年に入り、Gemma 4 のマルチモーダル変種や NVIDIA の Nemotron 3 Nano Omni が登場し、画像・音声・テキストを統合的に扱うアプリがエッジでも現実的になりました。同時に、ユーザー側の期待値も急速に上がっています。「写真を撮ったら自動で内容を解析して家計簿に登録してほしい」「音声で話しかけたらメモを構造化してほしい」——こうした要望が当たり前になり始めています。
Rorkでこの流れに乗り遅れないためには、マルチモーダルAIをアプリに組み込む設計パターンを体系的に理解しておく必要があります。ここでは私が実際に試行錯誤してたどり着いた7つの設計パターンと、API選定、コスト最適化、UX上の落とし穴までを共有します。
マルチモーダルアプリの『3つのモダリティ』を整理する
設計の前提として、現在のマルチモーダルAIで扱える3つのモダリティを整理します。
画像（Vision）: 写真・スクリーンショット・図表。OCR、物体認識、シーン理解、表/グラフの数値抽出など。
音声（Audio）: 録音音声・リアルタイムマイク入力。音声認識（Speech-to-Text）、感情認識、話者分離、環境音認識など。
テキスト（Text）: 入力テキスト、画像から抽出したテキスト、音声認識の結果。要約、分類、構造化、翻訳、推論など。
Gemini API は3つすべてを統合的に扱える商用ベスト。Gemma 4 のマルチモーダル変種は画像とテキストが中心。Nemotron 3 Nano Omni は3つすべてをローカルで統合的に扱える点が最大の特徴です。Rorkアプリでこれらを使い分けるには、まず『どのモダリティをどう使うか』を要件レベルで明確にする必要があります。
7つの設計パターン
実プロジェクトで使われる典型パターンを7つに整理しました。
パターン1: 写真→構造化データ（OCR + 解釈）
ユーザーが撮った写真からテキストを読み取り、構造化されたデータに変換します。家計簿アプリのレシート読み取り、名刺管理アプリ、メニュー翻訳アプリなどで使われます。
実装としては、画像を Gemini API（または Gemma 4 Vision）に送り、特定のJSONスキーマで返してもらうのが鉄板。プロンプト例:
このレシートの画像から、以下のJSONを返してください:
{
"store_name": "店名",
"date": "YYYY-MM-DD",
"total": 数値,
"items": [{"name": "...", "price": 数値}]
}
読み取れない項目はnullで返してください。
レスポンスが不安定な場合、function calling や JSON mode を有効にすると安定度が上がります。
パターン2: 音声→メモ自動構造化
ユーザーが話した内容をリアルタイムまたは録音で取得し、要約・タスク化・分類を行うパターン。会議メモアプリ、日記アプリ、買い物リスト自動生成アプリなど。
このパターンでは、音声認識（STT）と構造化を分けるのではなく、Nemotron 3 Nano Omni のような統合モデルに直接音声を投げて構造化テキストを返してもらう構成が、レイテンシの観点で有利です。
パターン3: 画像 + テキストでの会話型UI
ユーザーが画像を提示しながら質問します。「この花の名前は？」「このソースコードのバグはどこ？」のような対話型UI。教育アプリ、健康アプリ、植物図鑑などで使われます。
Rorkでは、チャットUIに画像アップロード機能を追加し、Gemini APIの multi-turn 会話に画像を含めて送信します。会話履歴を維持するため、画像を毎回送るのではなく、初回送信した画像のリファレンスIDを保持する設計が一般的です。
パターン4: リアルタイム動画解析
カメラ映像をリアルタイムで解析します。AR系アプリ、運動フォーム解析、料理ガイドなど。
リアルタイム性が必要な場合、クラウドAPI往復ではレイテンシが厳しいため、ローカルモデル（Gemma 4 Vision または Nemotron 3 Nano Omni）でフレームを処理する構成が現実的。Rorkでは React Native + ネイティブモジュール経由でローカル推論ライブラリを呼び出すことになりますが、まだ難易度は高い領域です。
パターン5: 音声＋画像のオムニモーダル（環境理解）
カメラと音声を同時に取得し、両方を統合した環境理解を行う。視覚障害者支援アプリ、安全監視アプリ、子どもの行動学習アプリなど。
このパターンこそ Nemotron 3 Nano Omni のような『真のオムニモーダル』モデルが活きる領域。視覚と音声を別々に処理して後で統合するのではなく、最初から統合的に解釈することで、文脈理解の精度が大きく向上します。
パターン6: 画像生成と編集
ユーザーがテキストで指示して画像を生成・編集します。SNS投稿補助、グッズデザインアプリ、子どもの想像力支援アプリなど。
このパターンでは Gemini Imagen など画像生成APIを使うのが一般的。Gemma 4 系には画像生成機能はないので、生成系はクラウドAPI一択になります。
パターン7: 多モーダル検索（Search by Voice / Image）
写真や音声で検索します。商品検索、レシピ検索、楽曲検索など。Google Lens のような体験を Rork アプリで実現する場合に該当します。
実装的には『画像/音声を埋め込みベクトル化 → ベクトル検索』のパイプラインが必要で、Vertex AI の multimodal embedding モデル + Vector Search の組み合わせが定石。Rorkからは普通のREST API として呼び出します。
API選定フレームワーク
7つのパターンのどれを採用しても、必ず『どのAPIを使うか』の判断が必要になります。私が使っているフレームワークを示します。
問い1: ユーザー数の規模は？ 月間アクティブユーザー1,000人未満なら、迷わず Gemini API。コスト・運用・品質のバランスがベスト。1万人を超えるあたりからローカル推論を併用する設計を考え始めます。
問い2: オフライン動作は必須か？ 必須なら、Gemma 4 を React Native に組み込む（または Nemotron 3 Nano Omni をオンデバイス）。必須でないなら Gemini API 中心。
問い3: データの機密性は？ ユーザーの個人情報を扱う場合、クラウド送信を最小化する設計が必要。画像から個人情報部分（顔・住所など）を端末側でマスキングしてからクラウドに送る構成が現実的。
問い4: レイテンシ要件は？ リアルタイム性が必要（500ms以内）なら、ローカル推論を検討する必要があります。3秒以内で十分なら Gemini API が現実的。
コスト最適化の3つのテクニック
マルチモーダルAPIは、テキストのみの処理より数倍〜十数倍コストが高くなりがちです。月額数千円を超えてくると、収益化前のアプリにとっては死活問題。コスト最適化の3テクニックを紹介します。
テクニック1: 画像の事前リサイズと圧縮
Gemini APIは画像のピクセル数に応じてトークンが消費されます。3000x4000の写真をそのまま送るより、768x1024程度にリサイズして送るほうが、品質をほぼ落とさずコストを5分の1にできます。Rorkからは React Native の react-native-image-resizer などで簡単に処理できます。
テクニック2: キャッシュレイヤを置く 同じ画像・音声に対する処理結果はキャッシュすべきです。画像のハッシュをキーに Cloudflare KV などにキャッシュしておけば、同じユーザーが同じ写真で何度も操作しても、APIは1回しか呼ばれません。
テクニック3: 段階的処理 最初は軽量モデル（Gemini Flash）で粗い判定をし、必要な場合のみ重量モデル（Gemini Pro）に投げる。家計簿レシート読み取りなら、まず Gemini Flash で『これはレシートか？』を判定し、レシートのときだけ Pro で詳細抽出。コストが3〜5割削減できます。
UX上の3つの落とし穴
最後に、マルチモーダルAIを組み込む際にユーザー体験を損ねがちなポイントを3つ。
落とし穴1: ローディング時間の処理 画像解析や音声認識は数秒〜10秒以上かかることがあります。スピナーだけ表示すると、ユーザーは『止まった』と感じます。代わりに、進捗状況を文章で示す（「画像を解析しています...」「テキストを抽出しています...」）と体感時間が大きく短縮されます。
落とし穴2: 失敗時のフォールバック APIが失敗したり、結果が想定と違ったときの動線を必ず設計してください。「写真を撮り直す」「手動で入力する」「結果を編集する」のいずれかが必ず提供されているべきです。AIが完璧でないことを前提にしたUI設計が、結果的にユーザー満足度を高めます。
落とし穴3: プライバシー説明の不足 画像や音声をクラウドに送る場合、ユーザーがそれを認識できるUIにする必要があります。最初の使用時にダイアログで明示する、設定画面で常時確認できるようにするなど、透明性を担保する設計が信頼につながります。
締めくくり
マルチモーダルAIは、もはや『大企業だけが扱える技術』ではなくなりました。Rork のような AI 駆動の開発ツールと、Gemini API・Gemma 4・Nemotron 3 Nano Omni のような選択肢の充実によって、個人開発者でも十分に高品質なマルチモーダルアプリを作れる時代です。
ただし、技術が使えるようになったからといって、すべてのアプリがマルチモーダル化すべきわけではありません。あなたのアプリにとって本当に価値のあるユースケースを1つ選び、そこに集中するのが、結果として最も良いユーザー体験を生みます。
次の一歩としておすすめなのは、上で紹介した7つのパターンの中から、いま作っているアプリ（または作りたいアプリ）に最も合うものを1つ選び、最小実装を作ってみること。1つのモダリティをきちんと組み込めれば、複数モダリティへの拡張は意外と難しくありません。マルチモーダルAI時代のRorkアプリ開発を、ぜひ楽しんでください。