UOLLM 大语言模型中间件

UseOpen LLM Server

UOLLM 是一款使用Java语言开发 AI 应用的中间件产品, 集成使用 LLM大语言模型服务器和向量数据库。

概述:

支持业内领先的Java AI开发框架,集成先进的LLM模型和向量数据库。 管理聊天会话、提示词和返回结果。 管理业务文档,导入数据,通过多人协作更好的完成 RAG 功能。 有效管理业务代码,提供 tools工具能力。 实现全方位应用管理,如安全、监控、日志等。

产品功能:

  1. 集成国内外业内领先的大语言模型,如OpenAI等
  2. 可以引入管理开源大模型,并对其能力进行标注,选择合适的应用调用
  3. Chat对话和Emabedding交互式记录
  4. 提示词维护工具
  5. 传入传出参数和结果序列化和验证功能
  6. 业务代码集成,函数方法服务治理
  7. 文档集导入和管理,搜索功能
  8. RAG交互管理
  9. 服务器通信安全,认证和授权
  10. 应用性能管理,系统监控
  11. Java通用开发框架的支持
  12. 使用记录,审计和计费功能