更新 使用OpenResty反向代理.md

使用OpenResty反向代理.md

@@ -1,6 +1,6 @@
 ## 为什么要写这一篇
 
-因为当时 vLLM 部署的 gpt-oss-120b 的模型，总是造成 vLLM 宕机，分析宕机时的崩溃日志是由于 vLLM 根据模型的回复内容调用**结构化输出**的工具，然后模型回复的内容跟结构后输出函数不兼容所以抛了 ValueError 导致 vLLM 的引擎进程退出，APIServer 与引擎的进程有心跳机制，发现引擎宕机了，所以自杀了。但是没有请求参数日志，不知道啥样的请求参数触发了结构化输出的功能。在 Open AI API 层面是有校验 response_format 的参数合法性的，不合法会直接拒绝。所以当务之急是先捕获请求参数，结合 vLLM 的宕机时间，尝试复现宕机的参数。
+因为当时 vLLM 部署的 gpt-oss-120b 的模型，总是造成 vLLM 宕机，分析宕机时的崩溃日志是由于 vLLM 根据模型的回复内容调用结构化输出的工具，然后模型回复的内容跟结构后输出函数不兼容所以抛了 ValueError 导致 vLLM 的引擎进程退出，APIServer 与引擎的进程有心跳机制，发现引擎宕机了，所以自杀了。但是没有请求参数日志，不知道啥样的请求参数触发了结构化输出的功能。在 Open AI API 层面是有校验 response_format 的参数合法性的，不合法会直接拒绝。所以当务之急是先捕获请求参数，结合 vLLM 的宕机时间，尝试复现宕机的参数。
 
 ## 踩了很多坑