add
This commit is contained in:
parent
47ae1fd985
commit
89973bfa80
@ -1,3 +1,5 @@
|
|||||||
|
# vllm 崩溃问题排查
|
||||||
|
|
||||||
## 问题原因
|
## 问题原因
|
||||||
|
|
||||||
vllm在处理请求时,调用了 get_structured_output_key 函数,在处理 structured_outputs 参数时,由于不满足所有的情况,导致了抛出**No valid structured output parameter found**异常,该异常未被 EngineCore 捕获导致引擎崩溃,APIServer 发现引擎死了,自己也退出了进程。
|
vllm在处理请求时,调用了 get_structured_output_key 函数,在处理 structured_outputs 参数时,由于不满足所有的情况,导致了抛出**No valid structured output parameter found**异常,该异常未被 EngineCore 捕获导致引擎崩溃,APIServer 发现引擎死了,自己也退出了进程。
|
||||||
|
|||||||
@ -1,3 +1,5 @@
|
|||||||
|
# 常用的 Docker 镜像脚本和命令
|
||||||
|
|
||||||
## 安装 DPanel
|
## 安装 DPanel
|
||||||
|
|
||||||
```shell
|
```shell
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user