2.4 KiB
2.4 KiB
构建企业级 LLM 应用，主流的、开源的 SDK 或框架
💡SAA 是 Spring AI Alibaba 的官方简称。SAA 在对 MCP 工具、提示词模板的管理具有明显优势，尤其适合企业级 LLM 应用的构建。
| 对比项 | SAA | Spring AI | LangChain4J | LangChain |
|---|---|---|---|---|
| 语言 | Java | Java | Java | Python |
| 聊天模型 | ✅ 可扩展 | ✅ 可扩展 | ✅ 扩展性不强❌ | |
| 嵌入模型 | ✅ | ✅ | ✅ | ✅ |
| 图片、音视频模型 | ✅ | ✅ | ✅ | ✅ 国内只有百度千帆、百川智能支持了多模态，阿里百炼没有支持，也没有提供相关API❌ |
| RAG | ✅ | ✅ | ✅ | ✅ |
| 向量数据库 | 主流的都支持，还支持了阿里云 AnalyticDB (ADB)、OpenSearch | 主流的都支持 | 主流的都支持 | |
| MCP | ✅ Nacos MCP Registry | ✅ | ✅ | ✅ |
| 函数调用 | ✅ | ✅ | ✅ | ✅ |
| 提示词模板 | 硬编码、通过文件配置、通过Nacos管理 | 硬编码、通过文件配置 | 硬编码、通过文件配置 | 硬编码、通过文件配置 |
| 聊天记忆 | JDBC、Redis、ES 等多种实现适配 | JDBC、Neo4J、Cassandra 等多种实现适配 | 多种实现适配 | 多种实现适配 |
| 模型评估 | ✅ | ✅ | ✅ | ✅ |
可观测性
💡SAA 可以利用
| 对比项 | Spring AI | SAA | LangChain4J | LangChain |
|---|---|---|---|---|
| 工具组件 | OpenTelemetry | 除了 OpenTelemetry 官方还提供了 javaagent 可以无缝集成到阿里云 ARMS 平台 | 官方提供了一系列监听器，可以自行导出或处理数据 | 官方提供的 LongSmith 组件，并且适配了 OpenTelemetry，虽然 LongSmith 是 OTel 的终点，但是也可以导出到第三方 |
与LLM提供商之间的适配
💡随着构建大语言模型应用的工具链越来越多，各个LLM提供商对于各个工具链的适配程度都不一样。因为字节的方舟模型平台，官方是没有参与这些框架的生态建设的，所以没有列出来，国外和国内各选了2个。
| 对比项 | Open AI | Anthropic | 阿里百炼 | 百度千帆 | |:-----|:-----|:-----|:-----| | SAA | ✅ | ✅ | ✅ 深度适配 | ✅ | | Spring AI | ✅ | ✅ | ✅ | ✅ | | LangChain4J | ✅ | ✅ | ✅ | ✅ | | LangChain | ✅ | ✅ | ✅ 仅支持聊天模型、嵌入模型、重排序模型，不支持 | ✅ |