让黑盒透进光：我们如何为每一次模型调用，留下可循的足迹

你有没有过这样的时刻？

深夜，一条用户反馈弹了出来：「你们那个 AI，刚才说话有点怪。」你点开后台，翻了翻调用记录——只有一行冷冰冰的 200 OK。至于它到底回了什么、为什么这么回、卡在了哪一步、花了多少钱、是哪一个用户、用的哪把密钥——你一无所知。

那一刻你会明白，所谓「接入了 AI」，往往只是把一段不可知的黑盒，悄悄放进了你的产品里。

我们做 OntoRoute 的初衷，是让 400+ 模型像水电一样，一接即用。但用得越久，越发现一个朴素的真理：能调用的 AI 不稀奇，能看清的 AI 才让人安心。 于是，我们做了「会话追踪」——一个建立在 Langfuse 之上的、属于你每一次调用的「行车记录仪」。

为什么我们执着于「看得见」

AI 的调用，天生是「流」的：一个请求进来，可能串联起多次模型调用、工具调用、检索召回。它不像传统接口那样，一个入参一个出参就完了。当你试图用「日志」去理解它时，会发现日志是碎的、断的、对不上的。

我们想做的，不是更多日志，而是一条线——把同一次对话、同一次任务、同一次用户旅程，串成一条可以回放、可以审视、可以归因的链路。

会话追踪，到底追踪什么

一句话：从一次用户对话，到每一行 token 的来龙去脉。

它建立在三层数据之上，由 LiteLLM Proxy 在运行时自动上报，再由我们搬运进专属的 Langfuse 项目：

你不需要改一行业务代码。只要你的请求带着 OntoRoute 的虚拟密钥，追踪就自动发生了。

它替你回答了四个问题

会话，像书一样可翻

我们刻意把「会话」做成了可以翻阅的东西。因为对大多数产品团队而言，需要的不是 raw 数据，而是「那天张三和 AI 聊了什么」这样一句人话。

链路，把黑盒拆开

这是最让我们骄傲的部分。每一次调用，在后台其实可能是一场「接力赛」：先调一次模型做意图识别，再调一次做生成，中间还插了一次工具调用。传统日志会把这些拆成三行互不相干的记录。

链路视图把它们重新接成一棵树：

用户视角，看见真实的人

聚合到「会话」和「链路」之后，我们还想再往上走一层：人。

用户追踪（Users）把散落在各处的调用，重新归到真实的个体身上。你能看到：

• 某个用户今天调了多少次、花了多少 token、花了多少钱
• 他偏爱的模型、常走的链路、异常的频率
• 哪些「用户」其实是脚本、是刷量、是攻击

成本告警，守住底线

做 AI 产品最怕的不是贵，是贵得不知不觉。

监控（Monitors）让你为成本、token、调用次数设置阈值，并在越过边界时，通过邮件或 Webhook 主动通知你。它不替你省钱，但保证你永远不会在月底才发现自己破产。

它如何与你的密钥绑定

会话追踪不是「全局开关」式的粗糙功能。它精细到每一把虚拟密钥：

• 你可以在账户层面订阅「会话追踪」能力，选择保留时长（7 天 / 90 天 / 180 天 / 365 天）
• 再为每一把密钥单独决定：这把密钥，要不要追踪？

这意味着：生产密钥全程留痕，测试密钥随心开关。掌控感，始终在你手里。

未来：让「看见」变成「理解」

今天，会话追踪让你看见每一次调用。但我们的野心不止于此：

• 异常自动聚类：同样类型的报错，自动归并，不再淹没在告警里
• 质量评分：结合护栏的评审结果，为每次对话打上「体验分」
• 可回溯的重放：不只看，还能把那次调用在沙箱里重新跑一遍

看见，是理解的第一步；理解，才是信任的开始。

写在最后

我们做会话追踪，不是因为它「先进」，而是因为它「必要」。

当 AI 走进你的产品，它就不再只是你的一段代码，而是你递给用户的一双手。你有权知道这双手做过什么、做得好不好。 这关乎责任，也关乎尊严。

如果你也想让自己的 AI 从黑盒变成窗口，欢迎来体验会话追踪。你的每一次调用，都值得被认真对待。