UseOpen LLM Server
UOLLM 是一款使用Java语言开发 AI 应用的中间件产品， 集成使用 LLM大语言模型服务器和向量数据库。
概述:
支持业内领先的Java AI开发框架，集成先进的LLM模型和向量数据库。 管理聊天会话、提示词和返回结果。 管理业务文档，导入数据，通过多人协作更好的完成 RAG 功能。 有效管理业务代码，提供 tools工具能力。 实现全方位应用管理，如安全、监控、日志等。
产品功能:
- 集成国内外业内领先的大语言模型，如OpenAI等
- 对LLM能力进行标注，应用层次化选择合适的调用
- 对话管理，记录Chat和Emabedding交互式过程
- 提供提示词维护工具。模板分片、协作、版本管理、隐私管理
- 传入传出参数和结果序列化和验证功能
- 函数和方法管理，定义代码执行引擎。对服务进行治理，业务代码集成
- 文档集导入和管理，提供搜索功能
- RAG交互管理
- 向量数据库管理
- 服务器通信安全，用户授权和应用认证管理
- 应用性能管理，系统监控
- Java通用开发框架的支持
- 使用记录，审计和计费功能