152 lines
6.3 KiB
Markdown
152 lines
6.3 KiB
Markdown
# 2025年第48周 LLM 动态汇总
|
||
|
||
## VLLM
|
||
|
||
- 质量更新 [v0.11.1](https://github.com/vllm-project/vllm/releases/tag/v0.11.1)
|
||
- 最新版本（4个bug修复）[v0.11.2](https://github.com/vllm-project/vllm/releases/tag/v0.11.2)
|
||
|
||
### 核心特性
|
||
|
||
升级至 PyTorch 2.9.0 + CUDA 12.9.1，默认启用 FlashInfer，强化 batch-invariant torch.compile 支持（覆盖 Hopper/Blackwell GPU），并改进异步调度稳定性，预计下版本默认开启 --async-scheduling。同时新增 Anthropic /v1/messages API 兼容。
|
||
|
||
### 关键 Bug 修复
|
||
|
||
Qwen3-VL 多模态推理、DeepSeek 系列模型 MoE/MLA 内核与权重加载、FlashInfer 与 Cascade Attention 兼容性、异步调度与优先级调度组合下的正确性问题、多节点部署中 KV 缓存同步异常，以及 FP8/INT8 量化在 Blackwell GPU 上的精度与兼容性问题。此外还修复了 LoRA、CPU 后端、ROCm 平台等多个模块的稳定性问题。
|
||
|
||
### 对 GPT-OSS 模型的支持
|
||
|
||
- 修复 gpt-oss + 推测解码（speculative decoding）的流式生成器问题
|
||
- 禁用工具服务器初始化（当请求中无工具时），避免不必要的开销或错误
|
||
- 在 CI 中启用 Python 工具测试，提升 gpt-oss 工具调用的可靠性
|
||
- 使用 vLLM 类型替代 OpenAI 类型进行流式响应，提升类型一致性与兼容性
|
||
- 修复 DP/EP 模式下使用 Marlin 内核运行 gpt-oss 的支持问题
|
||
|
||
|
||
## Spring AI 1.1.0 版本解读
|
||
|
||
### 增强对 MCP 的支持
|
||
|
||
改进了原本的 @Tool 实现**统一工具、资源、提示模板**的注册与调用方式，通过三个核心注解简化
|
||
|
||
```java
|
||
@McpTool
|
||
public String getCurrentWeather(String location) {
|
||
return weatherService.fetch(location); // 调用外部天气 API
|
||
}
|
||
|
||
@McpResource
|
||
public String getDatabaseSchema() {
|
||
return dbConnector.getSchema(); // 获取数据库结构
|
||
}
|
||
|
||
@McpPrompt
|
||
public String generateSqlQuery(String userIntent) {
|
||
return sqlGenerator.create(userIntent); // 根据用户意图生成 SQL
|
||
}
|
||
```
|
||
|
||
**支持3种协议**
|
||
|
||
- STDIO：本地进程通信（适合 CLI 工具）
|
||
- SSE：实时流式交互
|
||
- Streamable：支持状态保持的复杂会话
|
||
|
||
### 支持 Prompt 缓存
|
||
|
||
该功能主要适配**Anthropic、AWS Bedrock**模型提供商最新提出的**在模型侧缓存提示词**的能力，**适合系统提示词，或工具的定义**，降低客户的 token 使用成本，模型响应速度也会更快一些。Spring AI 遵循 Anthropic 官方最佳实践，支持 **TTL 配置**（5 分钟 / 1 小时）支持 **5 种缓存策略** 比如：仅缓存系统消息、工具定义等。详见[官方文档](https://docs.spring.io/spring-ai/reference/index.html)
|
||
|
||
### 多厂商推理模式原生支持
|
||
|
||
无需额外封装，即可调用主流模型的高级参数。
|
||
|
||
| 模型提供商 | 新增能力 |
|
||
|-------------|--------|
|
||
| Ollama | `effort` 参数控制（兼容 OpenAI 接口） |
|
||
| 智谱 | `thinking` 和 `response_format` 参数 |
|
||
| Anthropic/OpenAI | 流式推理 + `ReasoningContent` API（可观察模型“思考过程”） |
|
||
|
||
### Recursive Advisor
|
||
|
||
递归式 Advisor 支持 **链式调用**，可构建多步骤工作流，支持 **监控与调试**，可实现 **LLM-as-a-Judge** 自动评估系统，迭代优化输出质量，有点类似于**反思智能体的意思**
|
||
|
||
### 新增2个模型提供商支持
|
||
|
||
- **Google GenAI SDK**
|
||
- 支持 **Gemini Pro / 1.5 Pro / 2.0 Flash**
|
||
- 双认证：API Key + Google Cloud 凭证
|
||
- 提供聊天、文本嵌入、缓存内容 API
|
||
- **ElevenLabs（语音合成）**
|
||
- 流式音频生成
|
||
- 多音色、多格式（MP3/WAV/OGG）
|
||
- 与 OpenAI TTS 共享 `TextToSpeechModel` 接口，API 风格一致
|
||
|
||
### 增强对现有模型提供商的支持
|
||
|
||
| 模型提供商 | 新增支持 |
|
||
|------|--------|
|
||
| **OpenAI** | GPT-5 / GPT-5-mini / GPT-5-nano；文件上传；TTS/转录 |
|
||
| **Anthropic** | Claude Sonnet 4.5 / Opus 4.1；引用 API；工具调用精细控制 |
|
||
| **智谱 AI** | GLM-4.6 / 4.5 / Z1；推理模式；国际站点 |
|
||
| **Mistral AI** | OCR（图片/文档文字提取）；Codestral Embed 向量模型 |
|
||
|
||
|
||
### 向量存储增强（RAG 场景优化）
|
||
|
||
- **MariaDB Vector Store**：完整支持相似度评分
|
||
- **OpenSearch**：性能优化的近似 k-NN 搜索
|
||
- **GemFire**：支持元数据过滤的相似度搜索
|
||
- **Weaviate**：增强字段自定义（如 `meta_prefix`, `content_field`）
|
||
|
||
### 新增三种聊天记忆持久化存储方案
|
||
|
||
- **MongoDB**
|
||
- **Oracle JDBC**
|
||
- **Azure Cosmos DB**
|
||
|
||
### 可观测性提升
|
||
|
||
- 集成 **Micrometer Observability**
|
||
- 优化上下文传播与日志记录
|
||
- 提供 **Prometheus + OpenTelemetry** 指标映射指南
|
||
|
||
### 未来规划
|
||
|
||
- 短期：维护 `1.1.1-SNAPSHOT`，修复关键 bug
|
||
- 长期：主干升级至 **Spring AI 2.0.0-SNAPSHOT**，适配 **Spring Framework 7 + Spring Boot 4.0**
|
||
|
||
## Spring AI Alibaba
|
||
|
||
暂未发布 1.1.0.0 正式版，目前最新版本仍是2周前发布的 1.1.1.0-M5 版本。
|
||
|
||
### 1.1.0.0 的主要特性
|
||
|
||
聚焦基于 **ReactAgent** 的 **Agentic AI** 智能体开发：
|
||
|
||
- Agent Framework：构建 **Agentic** 或 **Workflow** 范式的智能体编排框架
|
||
- Graph：智能体编排框架的底层支持
|
||
|
||
> 💡目前社区正在围绕 Spring AI 1.1.0 的新特性与 Higress 网关进行开发与适配，关于 nacos 的 mcp 与 a2a 注册发现，也在同步适配当中。
|
||
|
||
### 社区提供的一些文档
|
||
|
||
- [SAA-1.1版本全面解读](https://mp.weixin.qq.com/s/JO3Ao7k5jonalsccnMm5JA)
|
||
- [SAA核心开发者之一的个人笔记，此人也是官方文档撰写者之一](https://ai.feishu.cn/wiki/TClTwpZJViSUq8krjrJcxAx7ngf)
|
||
- [RocketMQ-面向异步化 Agent 的事件驱动架构](https://www.bilibili.com/video/BV16GUaB5Evp)
|
||
|
||
### SAA未来的规划
|
||
|
||
将 **Agentic** 智能体的 **Runtime** 从 **Graph** 替换成**通义实验室**开源的 **AgentScope**。
|
||
|
||
## AgentScope
|
||
|
||
| SAA | AgentScope |
|
||
|:-----|:-----|
|
||
| 基于 Spring AI | 阿里巴巴自主研发 |
|
||
| 支持 Workflow 和 Agentic 两种范式的智能体编排 | 以 Agentic 为核心理念 |
|
||
|
||
支持与下面三个智能体开发框架集成
|
||
- [Ango](https://github.com/agno-agi/agno)
|
||
- [autogen](https://github.com/microsoft/autogen)
|
||
- [LangGraph](https://github.com/langchain-ai/langgraph)
|
||
|
||
> 💡SAA 的团队正在基于 **AgentScope** 构建 [agentscope-java](https://github.com/agentscope-ai/agentscope-java/blob/main/README_zh.md) |