Cloudflare Workers AIでVision Language ModelのMoondream 3.1が利用可能になった。モデルIDは@cf/moondream/moondream3.1-9B-A2Bで、9B総パラメータのうち2BをactiveにするMixture-of-Experts構成、32K token contextを持つ。画像への質問、caption、座標指定、物体検出を一つのモデルで扱える。

何が変わったか

Workers AI bindingのenv.AI.run()またはREST APIの/ai/runからMoondream 3.1を呼び出せる。AI Gatewayも利用可能である。taskは、画像へ自由質問するquery、長さを変えられるcaption、対象語に対応する座標を返すpoint、bounding boxを返すdetectに分かれる。

変更前後の差

従来はcaption、VQA、物体検出を別モデルや外部サービスへ分け、Workerから複数endpointを呼ぶ構成が多かった。Moondream 3.1では同一model interfaceで複数のvision taskを処理できる。Cloudflareは単純な単一被写体画像で、point約145ms、detect約160ms、caption約480ms、query約770msのclient-observed p50を公表しているが、画像と質問によって変動する。

誰に影響するか

ユーザー投稿画像の事前検査、ライブ映像のframe分析、書類画像の項目抽出、ロボティクス、画面操作エージェント、検索用caption生成をWorkersで実装する開発者が対象である。特に同期request内でvision推論を完了したい処理では、edge配置と小さいactive footprintが選択肢になる。

期限

強制移行期限はない。新規modelとして追加されたため、既存vision pipelineを維持したままshadow evaluationできる。previewやmodel lifecycleの状態は利用前にmodel pageとdashboardで再確認する。

必要な対応

用途をquery、caption、point、detectへ分解し、taskごとに正解データを用意する。画像サイズ、被写体数、文字量、照明、遮蔽、言語を変えた難例を含める。安全判断や決済・本人確認など高リスク用途では単独判定を避け、rule、人手確認、別modelによる再検証を組み合わせる。

実装・移行手順

  1. 現行vision taskと期待出力schemaを定義する
  2. 代表画像、難例、否定例の評価datasetを作る
  3. Workers AI bindingまたはRESTでtask別prototypeを作る
  4. AI Gatewayでrequest、latency、errorを観測する
  5. pointとdetectの座標系を既存UIへ正しく変換する
  6. captionとqueryの出力長・構造を制約する
  7. 誤検出、見逃し、幻覚、費用を既存modelと比較する
  8. 低risk trafficから段階導入し、fallbackを維持する

失敗しやすい点

Cloudflareの公表latencyを自社環境の保証値とみなす、単一被写体の結果を混雑画像へ一般化する、pointの座標とdetectのbounding boxを同じschemaで扱う、captionを事実抽出として無検証で保存する、といった問題が起きやすい。画像内の小文字、密集物体、遮蔽、抽象図は別に評価する。

リスク

誤ったモデレーション、物体の見逃し、存在しない内容の説明、座標ずれ、画像に含まれる個人情報の処理、Neuron消費増加がある。Workers AIは日次free allocationを超えると課金され、上限超過時には処理が失敗し得るため、traffic急増へのfallbackが必要である。

評価方法

  • task別accuracy、precision、recall
  • pointの距離誤差とdetectのIoU
  • captionの事実一致率
  • queryの根拠一致率
  • p50、p95、p99 latency
  • 画像1件当たりNeuron消費
  • timeout・rate limit率
  • 人手確認へ回した割合
  • 既存modelへのfallback率

ロールバック

model IDをfeature flagで切り替え、精度やlatencyが閾値を下回った場合は既存vision modelへ戻す。出力schemaをadapterで統一し、Moondream固有taskが失敗した場合はtask別serviceへ分岐する。推論結果を保存する場合はmodel IDとversionを記録し、再評価可能にする。

編集部分析

Moondream 3.1の価値は、複数のvision taskを低遅延でedge applicationへ組み込みやすい点にある。ただし小型・高速であることと、業務判断に十分な精度であることは別問題である。導入判断は宣伝された平均latencyではなく、自社の難例と誤りコストで行うべきである。

実務チェックリスト

  • [ ] task別の正解datasetを作った
  • [ ] 単純画像と難例を分けて評価した
  • [ ] pointとdetectの座標変換を確認した
  • [ ] 高リスク判断に人手確認を入れた
  • [ ] Neuron予算と上限を確認した
  • [ ] AI Gatewayで観測できるようにした
  • [ ] fallback modelを残した
  • [ ] model IDを結果へ記録した

一次情報