Skip to main content
Open In Colab
最新のチュートリアルについては、Google Cloud上のWeights & Biasesをご覧ください。
セットアップなしでWeave上のGoogle AIモデルを試してみたいですか?LLM Playgroundをお試しください。
このページでは、W&B WeaveをGoogle Vertex AI APIおよびGoogle Gemini APIで使用する方法について説明します。 Weaveを使用して、Google GenAIアプリケーションを評価、監視、および反復することができます。Weaveは以下のトレースを自動的にキャプチャします:
  1. Google GenAI SDK(Python SDK、Node.js SDK、Go SDK、およびRESTを介してアクセス可能)
  2. Google Vertex AI API(GoogleのGeminiモデルおよびvarious partner modelsへのアクセスを提供)
また、非推奨のGoogle AI Python SDK for the Gemini APIもサポートしています。このサポートも非推奨であり、将来のバージョンで削除される予定であることに注意してください。

はじめに

WeaveはGoogle GenAI SDKのトレースを自動的にキャプチャします。追跡を開始するには、weave.init(project_name="<YOUR-WANDB-PROJECT-NAME>") を呼び出し、通常通りライブラリを使用します。
dspy_trace.png WeaveはまたVertex APIsのトレースも自動的にキャプチャします。追跡を開始するには、weave.init(project_name="<YOUR-WANDB-PROJECT-NAME>") を呼び出し、通常通りライブラリを使用します。

独自のオペレーションを追跡する

関数を@weave.opでラップすると、入力、出力、アプリのロジックのキャプチャが開始され、アプリを通じてデータがどのように流れるかをデバッグできます。オペレーションを深くネストして、追跡したい関数のツリーを構築できます。また、実験中にコードを自動的にバージョン管理し、gitにコミットされていないアドホックな詳細をキャプチャします。 単に@weave.opでデコレートされた関数を作成します。 以下の例では、recommend_places_to_visitという関数があり、これは@weave.opでラップされた、都市で訪れるべき場所を推薦する関数です。
dspy_trace.png

より簡単な実験のためにModelを作成する

多くの要素が動いている場合、実験を整理することは難しいです。Modelクラスを使用することで、システムプロンプトや使用しているモデルなど、アプリの実験的な詳細をキャプチャして整理できます。これにより、アプリの異なるイテレーションを整理して比較するのに役立ちます。 コードのバージョン管理と入出力のキャプチャに加えて、Modelはアプリケーションの動作を制御する構造化されたパラメータをキャプチャし、どのパラメータが最も効果的だったかを簡単に見つけることができます。また、Weave Modelsをserve、およびEvaluationと一緒に使用することもできます。 以下の例では、CityVisitRecommenderを実験できます。これらのいずれかを変更するたびに、新しいバージョンCityVisitRecommenderが得られます。