From f43109f6e7ac6d5d75ee20f36a274f17906fe854 Mon Sep 17 00:00:00 2001 From: 8ga Date: Fri, 7 Nov 2025 16:37:32 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20=E4=BD=BF=E7=94=A8OpenRest?= =?UTF-8?q?y=E5=8F=8D=E5=90=91=E4=BB=A3=E7=90=86.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 使用OpenResty反向代理.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/使用OpenResty反向代理.md b/使用OpenResty反向代理.md index 692ea64..fa2fabd 100644 --- a/使用OpenResty反向代理.md +++ b/使用OpenResty反向代理.md @@ -1,6 +1,6 @@ ## 为什么要写这一篇 -因为当时 vLLM 部署的 gpt-oss-120b 的模型，总是造成 vLLM 宕机，分析宕机时的崩溃日志是由于 vLLM 根据模型的回复内容调用**结构化输出**的工具，然后模型回复的内容跟结构后输出函数不兼容所以抛了 ValueError 导致 vLLM 的引擎进程退出，APIServer 与引擎的进程有心跳机制，发现引擎宕机了，所以自杀了。但是没有请求参数日志，不知道啥样的请求参数触发了结构化输出的功能。在 Open AI API 层面是有校验 response_format 的参数合法性的，不合法会直接拒绝。所以当务之急是先捕获请求参数，结合 vLLM 的宕机时间，尝试复现宕机的参数。 +因为当时 vLLM 部署的 gpt-oss-120b 的模型，总是造成 vLLM 宕机，分析宕机时的崩溃日志是由于 vLLM 根据模型的回复内容调用结构化输出的工具，然后模型回复的内容跟结构后输出函数不兼容所以抛了 ValueError 导致 vLLM 的引擎进程退出，APIServer 与引擎的进程有心跳机制，发现引擎宕机了，所以自杀了。但是没有请求参数日志，不知道啥样的请求参数触发了结构化输出的功能。在 Open AI API 层面是有校验 response_format 的参数合法性的，不合法会直接拒绝。所以当务之急是先捕获请求参数，结合 vLLM 的宕机时间，尝试复现宕机的参数。 ## 踩了很多坑