Skip to main content

Instructor

Open In Colab Instructor は、LLMからJSONなどの構造化データを簡単に取得できる軽量ライブラリです。

トレーシング

開発中および本番環境の両方で、言語モデルアプリケーションのトレースを中央の場所に保存することが重要です。これらのトレースはデバッグに役立ち、アプリケーションの改善に役立つデータセットとしても機能します。 WeaveはInstructorのトレースを自動的にキャプチャします。追跡を開始するには、weave.init(project_name="<YOUR-WANDB-PROJECT-NAME>") を呼び出し、通常通りライブラリを使用します。

独自のオペレーションを追跡する

関数を@weave.op でラップすると、入力、出力、およびアプリケーションロジックのキャプチャが開始され、データがアプリケーションをどのように流れるかをデバッグできます。オペレーションを深くネストし、追跡したい関数のツリーを構築できます。これにより、実験時にコードの自動バージョン管理も開始され、gitにコミットされていないアドホックな詳細がキャプチャされます。 単に@weave.opでデコレートされた関数を作成します。 以下の例では、extract_person 関数は@weave.opでラップされたメトリック関数です。これにより、OpenAIチャット完了呼び出しなどの中間ステップを確認できます。

Model を作成して実験を容易にする

多くの要素が動いている場合、実験の整理は困難です。Model クラスを使用することで、システムプロンプトや使用しているモデルなど、アプリの実験的な詳細をキャプチャして整理できます。これにより、アプリのさまざまな反復を整理して比較するのに役立ちます。 コードのバージョン管理と入出力のキャプチャに加えて、Model はアプリケーションの動作を制御する構造化パラメータをキャプチャし、どのパラメータが最適に機能したかを簡単に見つけることができます。Weave Modelsをserve (以下を参照)、およびEvaluation と一緒に使用することもできます。 以下の例では、PersonExtractor で実験できます。これらのいずれかを変更するたびに、新しいversionPersonExtractorが得られます。

Weave Modelの提供

weaveリファレンスであるweave.Model オブジェクトを使用して、fastapiサーバーをスピンアップしてserve することができます。 ターミナルで次のコマンドを使用してモデルを提供できます: