Integration · Entwicklertools

Claude & ChatGPT mit LangSmith verbinden

Frage deine KI, wie es um ein Tracing-Projekt steht. Sie ruft Anzahl der Läufe, Latenz, Tokens, Kosten und Fehler aus LangSmith ab, der Plattform von LangChain für Tracing und Evaluation. Sie kann Beispiele zu Datensätzen hinzufügen, Feedback zu Läufen erfassen, Prompt-Versionen lesen und speichern sowie dir zugewiesene Annotationswarteschlangen finden.

LangChain (LangSmith) kostenlos verbinden

Kostenloser Tarif, keine Kreditkarte erforderlich. Dauert etwa eine Minute.

Fragen Sie zum Beispiel

“Wie viele Läufe im Projekt support-bot hatten in den letzten 24 Stunden Fehler, und was haben sie gekostet?”
Die KI ruft die Laufstatistiken für das Projekt im angegebenen Zeitraum ab: Anzahl, Fehler, Latenz, Tokens und Kosten.
“Füge diese Frage und die erwartete Antwort zum Regressionsdatensatz hinzu.”
Sie findet den Datensatz und fügt ein Beispiel mit den Eingaben, der erwarteten Ausgabe und, falls angegeben, einem Split hinzu.
“Zeige mir die neueste Version unseres summarizer-Prompts.”
Sie liest den Inhalt des Prompts beim neuesten Commit. Sie kann auch frühere Versionen zum Vergleich auflisten.

Was Ihre KI tun kann

Tracing-Projekte und Feedback

Rufe Laufstatistiken pro Projekt ab, sieh dir die Läufe eines Gesprächsverlaufs in einer Vorschau an und erstelle, liste und aktualisiere Feedback.

Datensätze und Beispiele

Suche, erstelle und aktualisiere Datensätze, füge Beispiele hinzu, bearbeite und lösche sie und exportiere einen Datensatz als CSV.

Prompts und Annotationswarteschlangen

Durchsuche den Prompt-Hub, lies und speichere Prompt-Versionen, erstelle Prompts und erstelle oder suche Annotationswarteschlangen.

“Markiere Lauf 4f2a als inkorrekt und füge einen Kommentar mit der Begründung hinzu.”
Sie erfasst Feedback zum Lauf mit dem Schlüssel correctness, einer Bewertung und deinem Kommentar.
“Exportiere den eval-Datensatz als CSV.”
Sie lädt die Beispiele des Datensatzes als CSV herunter, wahlweise auch mit dem Stand eines früheren Datums.
“Welche Annotationswarteschlangen sind mir zugewiesen?”
Sie sucht nach dir zugewiesenen Annotationswarteschlangen und kann eine davon öffnen, um deren Bewertungsrichtlinien und Einstellungen anzuzeigen.

26 Tools für LangChain (LangSmith)

Diese Tools werden beim Verbinden aktiviert. Sie können jedes einzelne deaktivieren oder festlegen, dass es vor der Ausführung Ihre Freigabe benötigt.

create_annotation_queueÄndert DatenErstelle eine Annotationswarteschlange mit einem `name`, einer optionalen Beschreibung, Bewertungsanweisungen und Einstellungen für Prüfende.
create_datasetÄndert DatenErstelle einen Datensatz mit einem `name`, einer optionalen `description` und einem `data_type` (kv, llm oder chat).
create_exampleÄndert DatenFüge einem Datensatz ein Beispiel hinzu: `dataset_id` und `inputs`, optional `outputs`, `metadata` und `split`.
create_feedbackÄndert DatenErfasse Feedback zu einem Lauf: einen Feedback-`key` (z. B. correctness) mit `score` oder `value`, optional `comment` und `run_id`.
create_promptÄndert DatenErstelle einen neuen Prompt anhand von `repo_handle` und `is_public`, optional mit Beschreibung, Readme und Tags.
delete_exampleLöscht DatenLösche ein Datensatzbeispiel anhand von `example_id` endgültig. Dies kann nicht rückgängig gemacht werden.
download_dataset_csvLade die Beispiele eines Datensatzes anhand von `dataset_id` als CSV herunter, optional mit dem Stand einer früheren Version (`as_of`).
get_annotation_queueRufe eine Annotationswarteschlange anhand von `queue_id` ab, einschließlich ihrer Bewertungsrichtlinien und Einstellungen.
get_datasetRufe einen Datensatz anhand von `dataset_id` ab, einschließlich seiner Beschreibung und der Anzahl der Beispiele.
get_exampleRufe ein Datensatzbeispiel anhand von `example_id` ab, einschließlich seiner Eingaben und Ausgaben.
get_feedbackRufe einen Feedback-Eintrag anhand von `feedback_id` ab.
get_promptRufe die Details eines Prompts anhand von `owner` (Mandantenkennung oder '-' für deinen eigenen Mandanten) und `repo` (Prompt-Kennung) ab.
get_prompt_versionRufe den Inhalt (Manifest) einer Prompt-Version anhand von `owner`, `repo` und `commit` (Hash oder 'latest') ab.
get_run_statsÄndert DatenRufe aggregierte Laufstatistiken (Anzahl, Latenz, Tokens, Kosten, Fehler) für ein oder mehrere Tracing-Projekte in `session` ab, optional mit Zeitraum und Filtern.
get_threadZeige eine Vorschau der Läufe eines Gesprächsverlaufs anhand von `thread_id` an.
get_tracing_projectRufe ein Tracing-Projekt anhand von `session_id` ab, optional mit Laufstatistiken (`include_stats`).
list_feedbackListe Feedback auf, gefiltert nach `run`, `source`, Bewertung oder Vorhandensein eines Kommentars, mit Datumsbereich und Seitennavigation.
list_prompt_commitsListe die gespeicherten Versionen (Commits) eines Prompts anhand von `owner` und `repo` auf.
save_prompt_versionÄndert DatenSpeichere eine neue Version eines Prompts: `owner`, `repo` und das Prompt-`manifest`, optional mit `parent_commit`.
search_annotation_queuesSuche Annotationswarteschlangen nach Name, Datensatz oder Zuweisung (`assigned_to_me`).
search_datasetsSuche LangSmith-Datensätze nach `name_contains`, `name`, `id`, `data_type` oder Metadaten, mit Seitennavigation über limit/offset.
search_examplesListe Beispiele in einem Datensatz auf (`dataset` angeben), optional mit `splits`, `metadata`, `full_text_contains` und Seitennavigation.
search_promptsSuche Prompts im LangSmith-Prompt-Hub nach `query`, Tags, Eigentümer oder Sichtbarkeit.
update_datasetÄndert DatenAktualisiere `name`, `description` oder Metadaten eines Datensatzes anhand von `dataset_id`.
update_exampleÄndert DatenAktualisiere `inputs`, `outputs`, `metadata` oder `split` eines Beispiels anhand von `example_id`.
update_feedbackÄndert DatenAktualisiere `score`, `value`, `comment` oder `correction` eines Feedback-Eintrags anhand von `feedback_id`.

In drei Schritten einrichten

1
App auswählen
Erstellen Sie ein kostenloses PipMCP-Konto und wählen Sie LangChain (LangSmith) aus der App-Liste.
2
Schlüssel einfügen
Füge einen LangSmith-API-Schlüssel ein. Öffne in LangSmith Settings > API Keys und klicke auf Create API Key. Du kannst einen Personal Access Token oder einen auf einen Workspace beschränkten Service Key verwenden. Kopiere den Schlüssel sofort, da er nur einmal angezeigt wird.
3
Link zu Ihrer KI hinzufügen
Sie erhalten einen persönlichen MCP-Link. Fügen Sie ihn in Claude, ChatGPT oder Cursor hinzu:
1. Klicken Sie auf Ihren Namen und dann auf Einstellungen › Konnektoren › Benutzerdefinierten Konnektor hinzufügen.
2. Fügen Sie Ihren Link als URL des Remote-MCP-Servers ein.
3. Aktivieren Sie den Konnektor über das +-Menü in einem Chat.

Fragen

Was kann die KI in LangSmith tun?

Sie kann Laufstatistiken für Tracing-Projekte lesen, Gesprächsverläufe in einer Vorschau anzeigen und Datensätze, Beispiele, Feedback, Prompts und Annotationswarteschlangen lesen. Sie kann Datensätze, Beispiele, Feedback, Prompts, Prompt-Versionen und Annotationswarteschlangen erstellen, Datensätze, Beispiele und Feedback aktualisieren sowie Beispiele löschen, wenn du dieses Tool aktivierst.

Kann die KI meinen LangSmith-API-Schlüssel sehen?

Nein. Dein LangSmith-API-Schlüssel wird verschlüsselt gespeichert und der KI niemals angezeigt. Nach dem Speichern wird er nicht erneut angezeigt, auch dir nicht. Die KI sieht nur die Ergebnisse der Tools, die sie aufruft.

Kann ich steuern, was die KI tun darf?

Ja. Du entscheidest, welche Tools aktiviert sind, und kannst zunächst nur Lesezugriff erlauben. Das Löschen eines Datensatzbeispiels ist endgültig und kann vor der Ausführung deine Freigabe erfordern. Jeder Tool-Aufruf wird protokolliert.

Funktioniert das mit ChatGPT?

Ja. Gehe in ChatGPT zu Settings › Apps & Connectors › Advanced, aktiviere den Entwicklermodus und füge deinen PipMCP-Link hinzu. Der Entwicklermodus erfordert einen kostenpflichtigen ChatGPT-Tarif: Plus, Pro, Business oder Enterprise. Derselbe Link funktioniert auch in Claude (Settings › Connectors › Add custom connector), Cursor und anderen MCP-Clients.

Was kostet das?

PipMCP bietet einen kostenlosen Tarif ohne Kreditkarte. Bei kostenpflichtigen Tarifen wird pro abgeschlossener Aufgabe abgerechnet. Außerdem benötigst du ein eigenes LangSmith-Konto.

Sollte ich einen Personal Access Token oder einen Service Key verwenden?

Beides funktioniert. Ein Personal Access Token handelt in deinem Namen. Ein Service Key ist auf einen Workspace beschränkt und eignet sich für eine gemeinsam genutzte Einrichtung, bei der der Zugriff nicht von einer einzelnen Person abhängen soll. Beide erstellst du in LangSmith unter Settings > API Keys.