AI 智能体明明说“任务完成了”，实际却什么都没做，您怎么在成千上万条记录里把它揪出来？小编先给结论：LangChain 在 LangSmith 里推出了 AI Search，让开发者用自然语言描述某种行为，就能检索智能体的 trace（执行记录），关键词搜索和元数据过滤找不到的问题，它有机会找出来。目前是公测，免费，不过它对超长会话有“只看一部分”的限制，下面咱们细说。
据 LangChain 的公告，AI Search 会审查已记录的智能体交互，找出符合描述的 trace，比如智能体错误地汇报任务完成、给出不想要的回复，或暴露了个人敏感信息（PII）。它用一个决策模型检查 trace 内容，而不是只靠文本相似度；也可以把自然语言查询和现有过滤器组合，把范围缩小到带错误或特定标签的 trace。
为什么需要它？OpenTelemetry 的错误记录规范建议通过异常或上报的错误来识别失败的操作，但一个操作可以没有任何执行错误，智能体却没有完成用户的请求。比如智能体成功调用了外部工具，却声称已完成实际没做的工作。这种情况只能通过检查交互历史和智能体的动作发现，不能只看错误属性。
AI Search 怎么工作
智能体 trace 包含用户请求、模型回复、工具调用和中间执行步骤。以前想找某种具体行为，开发者要逐条检查，或配置评估器去检测预设条件。
- 统一格式：LangChain 的智能体可观测性数据库 SmithDB，会把进来的 trace 转成标准化的“轨迹”，按时间顺序包含消息、工具调用和结果，同时去掉重复的对话历史。
- 多框架支持：支持 LangChain、LangGraph、OpenAI、Anthropic、Vercel AI SDK 和 OpenTelemetry 等框架或 SDK 产生的 trace。
- 先过滤再判断：提交查询后，SmithDB 先用结构化过滤器缩小候选轨迹，再由决策模型判断指定行为是否发生。
- 判断“是否真的做了”：LangChain 称，这有助于区分“真的完成任务”和“只是声称完成”的智能体。
- 并行与流式：系统并行处理多条轨迹，找到匹配结果就边找边返回，不用等整个搜索结束。
长会话怎么办：8000 token 预算
长时间运行的智能体会话可能包含上千条消息和工具输出，尤其是编码智能体执行 shell 命令、读文件或把任务委派给子智能体时。LangChain 检查了其开源编码智能体 Open SWE 随机抽取的 150 段对话，发现少数对话超过 100 万 token，中位数约为 7.2 万 token；中位数对话里，用户消息和智能体回复只有约 2000 token，工具输出约占 85%，主要是读文件和 shell 命令。
为此，AI Search 在把每条轨迹交给决策模型前，会套用 8000 token 的预算：用户消息和智能体回复优先，其次是中间模型消息、工具结果和系统消息。超出预算的消息会被截断，后面的消息被排除。也就是说，对更长的会话，决策模型不会看遍每一个细节，尤其是关键信息藏在低优先级的工具输出里时。
LangChain 承认，要检测“智能体无视工具报错”这类行为，需要看到对应的工具结果，公司正在研究按查询内容选取上下文，以及在模型信息不足时增加额外检查。AI Search 建立在 9 月推出的 LangSmith Trajectories 之上，后者按时间顺序展示智能体的交互、工具调用和子智能体活动。找到匹配的会话后，开发者可以回看其轨迹，并深入底层 trace 查看单个操作、重试和执行细节。
它在分布式追踪里的位置
OpenTelemetry 提供标准化的插桩，用来跨分布式应用收集和关联 trace、指标和日志，官方文档解释了 trace 和 span 标识符如何把跨服务的操作串联起来。它的生成式 AI 语义约定还涵盖模型交互、工具调用与结果和 token 用量。LangSmith 的 AI Search 则专注于用自然语言描述行为来查询已记录的轨迹；据 LangChain 说，SmithDB 能处理来自 OpenTelemetry 和其他受支持框架的 trace，先转成通用格式再按查询评估。
要提醒的是敏感信息：OpenTelemetry 的生成式 AI 约定涉及输入消息、输出消息和工具调用参数，这些都可能包含个人或机密信息，记录时需要有相应的采集和处理管控。LangChain 把检测 PII 暴露列为 AI Search 的一种用途，但在 trace 里“搜出”泄露的信息，和“从一开始就不记录”敏感数据，是两回事。
可用性方面，AI Search 目前在 LangSmith Cloud 公测，覆盖 Google Cloud 的美国、欧盟和亚太区域，该功能不额外收费，组织管理员可以在 LangSmith 设置里启用。
常见问题（FAQ）
AI Search 和普通关键词搜索有什么不同？
它不只是匹配文字或语义相似度，而是用决策模型判断记录的交互是否符合您描述的行为。
需要额外付费吗？
据 LangChain 说，公测期间该功能不额外收费。
它能看完很长的会话吗？
不能完全看完。每条轨迹有 8000 token 预算，超出的部分会被截断。
能防止 PII 被记录吗？
不能，它只能帮您在记录里搜出泄露，预防仍要靠采集环节的管控。
支持哪些框架的 trace？
LangChain、LangGraph、OpenAI、Anthropic、Vercel AI SDK 和 OpenTelemetry 等。