Integration · Udviklerværktøjer

Forbind Claude og ChatGPT med LangSmith

Spørg din AI, hvordan et tracing-projekt klarer sig, så henter den antal kørsler, svartider, tokens, omkostninger og fejl fra LangSmith, LangChains platform til tracing og evaluering. Den kan tilføje eksempler til datasæt, give feedback på kørsler, læse og gemme promptversioner og finde de annotation queues, du er tildelt.

Forbind LangChain (LangSmith) gratis

Gratis plan uden kreditkort. Det tager cirka et minut.

Prøv at spørge

“Hvor mange kørsler fejlede i support-bot-projektet det seneste døgn, og hvad kostede de?”
AI'en henter statistik for projektet i den periode: antal, fejl, svartider, tokens og omkostning.
“Tilføj det her spørgsmål og det forventede svar til regressionsdatasættet.”
Den finder datasættet og tilføjer et eksempel med input, forventet output og et split, hvis du nævner et.
“Vis mig den nyeste version af vores summarizer-prompt.”
Den læser promptens indhold i den seneste commit. Den kan også vise tidligere versioner, så du kan sammenligne.

Det kan din AI

Tracing-projekter og feedback

Hent kørselsstatistik pr. projekt, se kørslerne i en samtaletråd, og opret, vis og ret feedback.

Datasæt og eksempler

Søg, opret og ret datasæt, tilføj, ret og slet eksempler, og eksportér et datasæt som CSV.

Prompts og annotation queues

Søg i prompt hub, læs og gem promptversioner, opret prompts, og opret eller slå annotation queues op.

“Marker kørsel 4f2a som forkert, og skriv en kommentar om hvorfor.”
Den giver feedback på kørslen med nøglen correctness, en score og din kommentar.
“Eksportér eval-datasættet som CSV.”
Den henter datasættets eksempler som CSV, eller som datasættet så ud på en tidligere dato.
“Hvilke annotation queues er tildelt mig?”
Den søger i de annotation queues, du er tildelt, og kan åbne en af dem med rubrik og indstillinger.

26 værktøjer til LangChain (LangSmith)

Værktøjerne er slået til, når du forbinder. Du kan slå dem fra enkeltvis eller kræve din godkendelse, før de kører.

create_annotation_queueÆndrer dataOpret en annoteringskø med et `name` samt valgfri beskrivelse, bedømmelsesvejledning og indstillinger for bedømmere.
create_datasetÆndrer dataOpret et datasæt med et `name` samt valgfri `description` og `data_type` (kv, llm eller chat).
create_exampleÆndrer dataTilføj et eksempel til et datasæt: `dataset_id` og `inputs` samt valgfri `outputs`, `metadata` og `split`.
create_feedbackÆndrer dataRegistrer feedback på en kørsel: en feedbacknøgle i `key` (f.eks. correctness) med `score` eller `value` samt valgfri `comment` og `run_id`.
create_promptÆndrer dataOpret en ny prompt med `repo_handle` og `is_public` samt valgfri beskrivelse, readme og tags.
delete_exampleSletterSlet et enkelt eksempel fra et datasæt permanent ud fra `example_id`. Kan ikke fortrydes.
download_dataset_csvDownload eksemplerne i et datasæt som CSV ud fra `dataset_id`, eventuelt fra en tidligere version (`as_of`).
get_annotation_queueHent en enkelt annoteringskø ud fra `queue_id`, inklusive dens bedømmelseskriterier og indstillinger.
get_datasetHent et enkelt datasæt ud fra `dataset_id`, inklusive beskrivelse og antal eksempler.
get_exampleHent et enkelt eksempel fra et datasæt ud fra `example_id`, inklusive input og output.
get_feedbackHent en enkelt feedbackpost ud fra `feedback_id`.
get_promptHent oplysninger om en prompt ud fra `owner` (tenantens identifikator eller '-' for din egen) og `repo` (promptens identifikator).
get_prompt_versionHent indholdet (manifestet) af en enkelt promptversion ud fra `owner`, `repo` og `commit` (hash eller 'latest').
get_run_statsÆndrer dataHent samlede kørselsstatistikker (antal, latenstid, tokens, omkostninger og fejl) for et eller flere sporingsprojekter i `session`, eventuelt med tidsinterval og filtre.
get_threadSe en forhåndsvisning af kørslerne i en samtaletråd ud fra `thread_id`.
get_tracing_projectHent et sporingsprojekt ud fra `session_id`, eventuelt med kørselsstatistikker (`include_stats`).
list_feedbackVis feedback med filtrering efter `run`, `source`, score eller tilstedeværelse af kommentarer samt datointerval og sideinddeling.
list_prompt_commitsVis de gemte versioner (commits) af en prompt ud fra `owner` og `repo`.
save_prompt_versionÆndrer dataGem en ny version af en prompt: `owner`, `repo` og promptens `manifest` samt eventuelt `parent_commit`.
search_annotation_queuesSøg efter annoteringskøer ud fra navn, datasæt eller tildeling (`assigned_to_me`).
search_datasetsSøg efter datasæt i LangSmith ud fra `name_contains`, `name`, `id`, `data_type` eller metadata med sideinddeling via limit/offset.
search_examplesVis eksempler i et datasæt (angiv `dataset`) med valgfri `splits`, `metadata`, `full_text_contains` og sideinddeling.
search_promptsSøg efter prompts i LangSmiths prompthub ud fra `query`, tags, ejer eller synlighed.
update_datasetÆndrer dataOpdater et datasæts `name`, `description` eller metadata ud fra `dataset_id`.
update_exampleÆndrer dataOpdater et eksempels `inputs`, `outputs`, `metadata` eller `split` ud fra `example_id`.
update_feedbackÆndrer dataOpdater en feedbackposts `score`, `value`, `comment` eller `correction` ud fra `feedback_id`.

Klar i tre trin

1
Vælg systemet
Opret en gratis PipMCP-konto, og vælg LangChain (LangSmith) på listen.
2
Indsæt din nøgle
Indsæt en LangSmith API-nøgle. Åbn Settings > API Keys i LangSmith og klik på Create API Key. Du kan bruge et Personal Access Token eller en Service Key, der er afgrænset til et workspace. Kopiér nøglen med det samme, den vises kun én gang.
3
Tilføj linket i din AI
Du får et personligt MCP-link. Tilføj det i Claude, ChatGPT eller Cursor:
1. Klik på dit navn, og vælg Settings › Connectors › Add custom connector.
2. Indsæt dit link som Remote MCP server URL.
3. Slå det til fra +-menuen i en chat.

Spørgsmål

Hvad kan AI'en gøre i LangSmith?

Den kan læse kørselsstatistik for tracing-projekter, se samtaletråde og læse datasæt, eksempler, feedback, prompts og annotation queues. Den kan oprette datasæt, eksempler, feedback, prompts, promptversioner og annotation queues, rette datasæt, eksempler og feedback og slette eksempler, hvis du slår det værktøj til.

Kan AI'en se min LangSmith-API-nøgle?

Nej. Din LangSmith-API-nøgle gemmes krypteret og vises aldrig for AI'en. Når du har gemt den, bliver den ikke vist igen, heller ikke for dig. AI'en ser kun resultaterne af de værktøjer, den bruger.

Kan jeg styre, hvad AI'en må?

Ja. Du vælger, hvilke værktøjer der er slået til, så du kan starte med kun at læse. Sletning af et eksempel i et datasæt er permanent og kan kræve din godkendelse, før det udføres. Alle kald bliver logget.

Virker det med ChatGPT?

Ja. I ChatGPT går du til Settings › Apps & Connectors › Advanced og slår Developer mode til. Derefter tilføjer du dit PipMCP-link. Developer mode kræver et betalt ChatGPT-abonnement: Plus, Pro, Business eller Enterprise. Samme link virker også i Claude (Settings › Connectors › Add custom connector), Cursor og andre MCP-klienter.

Hvad koster det?

PipMCP har en gratis plan, og du skal ikke bruge betalingskort. Betalte planer afregnes pr. gennemført opgave. Du skal også selv have en LangSmith-konto.

Skal jeg bruge et Personal Access Token eller en Service Key?

Begge dele virker. Et Personal Access Token handler som dig. En Service Key er afgrænset til et workspace og passer til en fælles opsætning, hvor adgangen ikke skal hænge på én person. Du opretter begge under Settings > API Keys i LangSmith.