Obtenha visibilidade profunda e compreensão dos seus workflows de IA com o LangSmith – uma plataforma poderosa para rastrear, depurar e monitorar aplicações e automações baseadas em LLM. Integre o LangSmith aos seus processos para capturar traces detalhados de execução, registrar dados de entrada/saída, anexar metadados e otimizar seus workflows por meio de observabilidade orientada a dados.
Com a integração LangSmith, você pode:
- Rastrear e depurar execuções: Encaminhe execuções de workflow, ferramenta ou modelo para o LangSmith, registre detalhes hierárquicos de execução e identifique gargalos ou falhas rapidamente.
- Anexar metadados ricos: Enriqueça seus traces registrando entradas, saídas, tags, metadados personalizados, motivos de falha e muito mais para insights e análises aprofundados.
- Monitorar o desempenho do workflow: Visualize execuções, monitore taxas de erro, durações e métricas de sucesso ao longo do tempo para melhorar a confiabilidade e a eficiência.
- Colaborar e auditar: Habilite a depuração em equipe e o rastreamento de mudanças, permitindo auditoria transparente e iteração rápida em workflows encadeados de LLM.
- Automatizar a observabilidade: Conecte de forma contínua os traces do LangSmith às suas automações de workflow para monitoramento sempre ativo e sem esforço, sem instrumentação manual.
O LangSmith capacita engenheiros, cientistas de dados e equipes de produto a iterar mais rápido, detectar problemas mais cedo e construir aplicações baseadas em LLM mais robustas — seja orquestrando agentes, chains ou workflows de ponta a ponta.
Impulsione melhor observabilidade, insights acionáveis e maior qualidade de produto integrando o LangSmith aos seus processos automatizados hoje.
Usage Instructions
Send run data to LangSmith to trace executions, attach metadata, and monitor workflow performance.
Actions
langsmith_create_run
Forward a single run to LangSmith for ingestion.
Input
| Parameter | Type | Required | Description |
|---|---|---|---|
apiKey | string | Yes | LangSmith API key |
id | string | No | Unique run identifier |
name | string | Yes | Run name |
run_type | string | Yes | Run type (tool, chain, llm, retriever, embedding, prompt, parser) |
start_time | string | No | Run start time in ISO-8601 format |
end_time | string | No | Run end time in ISO-8601 format |
inputs | json | No | Inputs payload |
run_outputs | json | No | Outputs payload |
extra | json | No | Additional metadata (extra) |
tags | json | No | Array of tag strings |
parent_run_id | string | No | Parent run ID |
trace_id | string | No | Trace ID |
session_id | string | No | Session ID |
session_name | string | No | Session name |
status | string | No | Run status |
error | string | No | Error details |
dotted_order | string | No | Dotted order string |
events | json | No | Structured events array |
Output
| Parameter | Type | Description |
|---|---|---|
accepted | boolean | Whether the run was accepted for ingestion |
runId | string | Run identifier provided in the request |
message | string | Response message from LangSmith |
langsmith_create_runs_batch
Forward multiple runs to LangSmith in a single batch.
Input
| Parameter | Type | Required | Description |
|---|---|---|---|
apiKey | string | Yes | LangSmith API key |
post | json | No | Array of new runs to ingest |
patch | json | No | Array of runs to update/patch |
Output
| Parameter | Type | Description |
|---|---|---|
accepted | boolean | Whether the batch was accepted for ingestion |
runIds | array | Run identifiers provided in the request |
message | string | Response message from LangSmith |
messages | array | Per-run response messages, when provided |
langsmith_update_run
Patch an existing LangSmith run with outputs, status, or timing once it completes.
Input
| Parameter | Type | Required | Description |
|---|---|---|---|
apiKey | string | Yes | LangSmith API key |
runId | string | Yes | ID of the run to update |
name | string | No | Corrected run name |
Output
This tool does not produce any outputs.
langsmith_get_run
Retrieve a single LangSmith run by ID.
Input
| Parameter | Type | Required | Description |
|---|---|---|---|
apiKey | string | Yes | LangSmith API key |
runId | string | Yes | ID of the run to retrieve |
Output
| Parameter | Type | Description |
|---|---|---|
id | string | Run ID |
runId | string | Run ID (alias of id, for consistency with other operations) |
name | string | Run name |
runType | string | Run type (tool, chain, llm, retriever, embedding, prompt, parser) |
status | string | Run status |
startTime | string | Run start time (ISO) |
endTime | string | Run end time (ISO) |
inputs | json | Run inputs payload |
outputs | json | Run outputs payload |
error | string | Error details, if the run failed |
tags | array | Tags attached to the run |
sessionId | string | Project (session) ID the run belongs to |
traceId | string | Trace ID |
parentRunId | string | Parent run ID |
totalTokens | number | Total tokens consumed by the run |
totalCost | string | Total cost of the run |
langsmith_create_feedback
Attach a score, correction, or comment to a LangSmith run.
Input
| Parameter | Type | Required | Description |
|---|---|---|---|
apiKey | string | Yes | LangSmith API key |
runId | string | Yes | ID of the run to attach feedback to |
key | string | Yes | Feedback metric name (e.g. "correctness", "user_score") |
score | number | No | Numeric score for the feedback metric |
value | string | No | Categorical value for the feedback metric |
comment | string | No | Free-text comment explaining the feedback |
correction | json | No | Corrected output for the run |
feedbackSourceType | string | No | Origin of the feedback (api, app, or model) |
Output
| Parameter | Type | Description |
|---|---|---|
id | string | Feedback ID |
key | string | Feedback metric name |
runId | string | ID of the run the feedback was attached to |
score | number | Score recorded for the feedback |
value | string | Categorical value recorded for the feedback |
comment | string | Comment recorded for the feedback |
createdAt | string | When the feedback was created (ISO) |