Messwerte für die Modellüberwachung

Generative AI in Vertex AI bietet ein vordefiniertes Dashboard zur Modellbeobachtung, mit dem Sie das Verhalten, den Zustand und die Leistung vollständig verwalteter Modelle abrufen können. Vollständig verwaltete Modelle, auch als „Model as a Service“ (MaaS) bezeichnet, werden von Google bereitgestellt. Dazu gehören die Gemini-Modelle von Google und Partnermodelle mit verwalteten Endpunkten. Messwerte aus selbst gehosteten Modellen sind nicht im Dashboard enthalten.

Mit generativer KI in Vertex AI werden Aktivitäten von MaaS-Modellen automatisch erfasst und gemeldet, damit Sie Latenzprobleme schnell beheben und die Kapazität überwachen können.

Beispiel für ein Dashboard zur Modellbeobachtung in der Cloud Console
Beispiel für ein Dashboard zur Modellbeobachtung

Verfügbare Monitoring-Messwerte

Das Dashboard für die Modellbeobachtung enthält eine Teilmenge der Messwerte, die von Cloud Monitoring erfasst werden, z. B. Modellanfragen pro Sekunde (QPS), Tokendurchsatz und Latenz des ersten Tokens. Rufen Sie das Dashboard auf, um alle verfügbaren Messwerte zu sehen.

Anwendungsfall

Als App-Entwickler können Sie sehen, wie Ihre Nutzer mit den von Ihnen freigegebenen Modellen interagieren. Sie können sich beispielsweise ansehen, wie sich die Modellnutzung (Modellanfragen pro Sekunde) und die Rechenintensität von Nutzerprompts (Latenzen bei der Modellaufrufung) im Zeitverlauf entwickeln. Da diese Messwerte mit der Modellnutzung zusammenhängen, können Sie auch die Kosten für die Ausführung der einzelnen Modelle schätzen.

Wenn ein Problem auftritt, können Sie es direkt über das Dashboard beheben. Sie können prüfen, ob die Modelle zuverlässig und zeitnah reagieren, indem Sie sich die API-Fehlerraten, die Latenzen für das erste Token und den Tokendurchsatz ansehen.

Beschränkungen

In Vertex AI werden Dashboard-Messwerte nur für API-Aufrufe an den Endpunkt eines Modells erfasst. Google Cloud Console-Nutzung, z. B. Messwerte aus Vertex AI Studio, werden dem Dashboard nicht hinzugefügt.

Dashboard aufrufen

  1. Rufen Sie in der Google Cloud Console im Bereich „Vertex AI“ die Seite Dashboard auf.

    Zu Vertex AI

  2. Klicken Sie im Bereich Modellbeobachtung auf Alle Messwerte anzeigen, um das Dashboard für die Modellbeobachtung in der Google Cloud Observability Console aufzurufen.

  3. Wenn Sie Messwerte für ein bestimmtes Modell oder an einem bestimmten Standort aufrufen möchten, legen Sie oben auf der Dashboard-Seite einen oder mehrere Filter fest.

    Beschreibungen der einzelnen Messwerte finden Sie im Abschnitt „aiplatform“ auf der Seite Google Cloud Messwerte.

Zusätzliche Ressourcen