Tenstorrent社のAIアクセラレーター Blackhole™ p150 上でLlama 3.1-8B-Instructモデルを動作させる環境を構築します。
Tenstorrent社が用意したプリビルドのDockerイメージを使用して、TT-Metalバックエンドを使用したvLLMサーバーをコンテナで立ち上げ、OpenAI互換のAPIエンドポイントを提供する手順を解説します。