MoQ Camera Detection

カメラ映像についての質問に、pipecat の bot が djev-vision で答える

使い方

Cloud Run の djev-vision は停止後の最初の判定に約 3 分かかります

BrowserCamera Cloud RelayMoQT pipecat botCloud VM Cloud Rundjev-vision

  1. カメラを配信する

    Relay URL は既定の Cloud relay-1 のまま Join します

BrowserCamera Local RelayMoQT pipecat botPython Cloud Rundjev-vision

  1. djev-run を Cloud Run にデプロイする

    https://github.com/nttcom/moq-wasm/blob/master/examples/python/djev-run-on-cloud-run.md

  2. relay を起動する

    Cloud relay-1 には Cloud の bot がつながっているため、手元の bot はローカルの relay につなぎます。各コマンドは別々のターミナルで実行します 

    make relay

  3. pipecat bot を起動する

    cd examples/python/moq-camera-detection
uv run python -m moq_camera_detection.bot --insecure \
  --djev-url "$(gcloud run services describe djev-vision --region asia-southeast1 --format 'value(status.url)')/v1/chat/completions" \
  --gcloud-auth

    gcloud のアカウントに roles/run.invoker が必要です

  4. カメラを配信する

    make chrome で起動した Chrome でこのページを開き、Local relay-a を選んで Join します

Relay

Preset:
未接続 bot 未接続

Camera

判定待ち