智能调度核心:系统完整链接的调度核心,多模式一键配置全码库分析:仓库级代码理解、项目文件级代码编写和生成文档分析增强:知识图谱搜索结合推理的文档知识库- 增强垂直类目独家知识:DevOps专用知识库、垂直知识库自助式一键构建垂直模型兼容性:兼容DevOps空间中的小规模模型,智能调度核心DevOps周边平台
在处理复杂问题时,可以通过ReAct流程选择、调用和执行工具反馈,从而实现多轮工具使用和多步骤执行。
然而,对于更复杂的场景,例如开发复杂的代码,单个LLM代理很难处理。
研究团队旨在构建一个可扩展且易于使用的多智能体框架,通过简单的配置即可完成日常办公、数据分析、开发和运维等多种常见任务。
该项目的多代理框架利用了多个框架的最佳设计,包括metaGPT的消息池和autogen的代理选择器。
DevOps-ChatBot多智能体框架的核心要素包括六个方面:
座席沟通:座席之间有效的信息交换对于上下文管理和提高问答效率至关重要。包括两种通信模式:简单、直观且易于理解的链式对话和基于metaGPT的消息池框架:定义代理输入/输出范围以及定义规划、编码、标准化分析和工具等工具的SOP标识符。处理法学硕士生成的结果,包括回复和终止。规划器和执行器:增加大规模模型、代理调度以及长期和短期内存管理工具的使用。 (长期记忆和短期记忆的管理):具体负责内容概括,模拟人类团队的协作过程,总结长期记忆,提取更有效的信息进行沟通。会议助理)至Agent交互(人与代理交互):面对复杂场景,人类介入代理交互过程并提供反馈,帮助大规模模型准确理解人类意图,让您更有效地完成任务。 快速控制和管理:负责协调。它还管理代理之间的快速交互,以提高系统复杂性控制和交互效率。输入和输出采用Markdown结构设计,实现清晰规范的结果显示,方便阅读和分析。在实际操作中,通过组合需求链(CEO)、产品演示链(CPO、CFO、CTO)、工程组链(选择者、开发者1)等多个主体,完整、复杂的项目设置是可以实现的。开发场景(开发阶段)。 ~N)、部署链(开发人员、部署人员)等。
整个代码库分析
现阶段,大规模模型主要用于代码生成、修复和组件理解任务,面临以下挑战:
代码训练数据存在滞后性,频繁更新的开源/私有仓库包含及时的数据信息。大型模型不知道代码上下文和代码库依赖结构。在开发过程中,研究团队花费了大量的时间了解现有的代码库、依赖包、代码检索、元信息查询等,如下图所示。
针对上述问题,团队通过程序分析捕获了代码的逻辑结构,并将其存储在知识图谱中。然后,我们通过RAG 迭代查询扩展获得必要的上下文信息,并将其与多代理角色相结合。发挥并实现大型模型和代码库的有机组合。
这部分的总体框架是:
代码结构分析:清理并删除原始代码中的重复项并保留有价值的代码片段。然后通过静态分析从代码库中提取代码到代码的依赖图,同时利用大型模型的理解能力来解释代码,作为生成的结构化信息的重要补充。地图。代码获取生成:提供三种不同的获取模式。密码搜索生成主要旨在帮助用户理解代码库的结构(例如,查询类的数量),而图检索主要旨在帮助用户理解代码库的结构(例如,通过查询类的数量)类),而图检索主要是为了帮助用户理解代码库的结构(例如,通过查询类的数量),目的是获取代码(如果包含)。同时,团队还在考虑多代理模型,反复搜索代码仓库以获取上下文信息。同时,其他智能体负责其他任务,例如逐步协调和汇总信息并产生结果。
增强的文档分析
如果一个大模型包含来自专业领域(例如医学、通信)的知识问题答案和私有知识问题答案(私有领域数据),则很可能会出现幻觉,并且生成的答案将不可靠。
最直观的解决方案是训练特定/私有领域的数据来丰富模型的知识,但训练大型模型的成本很高。
因此,研究团队开发了一种知识库插件的方法,从知识库中检索与问题相关的数据,并将其作为附加知识输入到大规模模型中,以确保可靠性和实时性。方法。分析结果,同时避免培训开销。
如何进行更精准的搜索和检索是本模块要解决的中心问题。为此,研究团队提出了如下架构。
整个DocSearch包含三个搜索链接,用户可以选择自己的搜索链接或选择全部三个以获得不同的结果。
传统文档向量数据库查询:文档向量数据库是目前最流行的构建知识库的方法。使用文本嵌入模型对文档进行矢量化并将其保存到矢量数据库。这个项目结合情境学习的结果,可以让你选择不同的搜索策略来提取知识库中相应的知识。知识图谱查询:该项目使用星云图数据库来存储和管理知识图谱,并支持导入现有的知识图谱进行知识搜索。它还支持自动提取实体和与大型模型的关系,以挖掘各种复杂数据。数据内的关系。知识图谱推理+向量数据查询:该项目还提供了两者的集成搜索。首先,从每个文档中提取标签,并根据用户的问题构建图表中的相关标签。最后,根据标签集从文档向量数据库中检索与原始问题相关的文档。知识库建设和DevOps知识库
如前所述,专有/私有领域知识问答的问题可以通过知识库插件和增强的搜索生成来成功解决。下一个核心问题是如何更好地构建知识库。
在构建知识库时,您经常会遇到以下问题:
不同的数据源格式不一致,质量也各不相同。如何自动识别并删除错误、重复或不相关的数据必须依赖于专业知识。为了保持您的信息的准确性和及时性,您必须定期更新您的知识库。因此,研究团队提出了这样的整体架构。
爬虫:提供数据采集,保证数据更新的及时性。 文档加载器(Loader):实现多源异构数据导入,灵活应对多样化数据需求。 清洗过滤(过滤功能):实现数据过滤。 TextAnalyzer:实现数据的智能分析,将复杂的文本数据转化为结构化、易于理解的信息(包括知识图谱)。管道:连接整个流程。实现从数据输入到干净输出的端到端自动化。研究团队接下来将重点收集和构建DevOps领域的数据,希望获得这部分的标准化数据。清洁功能的智能处理过程有助于建立更多的私人知识库。
平台和型号兼容性
大规模语言模型(LLM)的出现改变了解决问题的方式。例如,智能客户服务系统已经从依赖小型模型调整和固定规则转向更灵活的座席交互。
研究团队希望能够兼容周边的开源DevOps平台,并能够通过API注册、管理和执行来实现对话式交互,方便完成各种特定任务(数据查询、容器操作等)。
为了快速让本项目兼容相关开源组件和运维平台,在Python中注册一个模板BaseToolModel类,其中包含Tool_name、Tool_description、ToolInputArgs、ToolOutputArgs、run等相关写入属性和方法,以便快速兼容。访问工具:
您可以通过FastChat启动私有模型和其他Restful风格的API(Qwen2.0、文心一言等)的推理服务,并完成LLM注册,以便调度和使用。您还可以注册Ant API。该集团相关的开源项目和运维平台。与LLM轻松交互,完成相关运维任务。目前的打包工具列表是: k-sgima异常检测、代码搜索、文档搜索、duckduckgo搜索。百度OCR识别,股票信息查询,天气查询,时区查询。
前景
当前的DevOps 框架仍处于起步阶段,仍然存在许多缺陷。接下来,研究团队计划在以下方面取得核心进展:
多Agent调度核心:自动构建Agent链路。 增强文档分析:提供多种修复方法和知识图谱检索方法。 代码库分析:改进代码分析和提取能力,帮助构建代码图模式知识库。 为不同行业打造。领域知识库数据平台模型:对接相关开源项目和运维平台的API
解决通用大模型缺陷
在这五个核心模块的驱动下,DevOps-ChatBot 具备以下能力:
首先是文本知识库管理。
知识库文本加载、文本向量化服务、向量搜索服务,除文本知识库外,还支持爬虫进行实时URL内容爬取功能,并提供创建、管理、下载多个知识库等功能。还支持知识图谱、代码知识库文件上传和管理。
此外,研发团队还封装了chatPhase、docChatPhase、searchChatPhase、codeChatPhase等代理场景,可以支持知识库问答、代码问答、工具调用、代码执行等功能。
DevOps-ChatBot不仅可以应用于DevOps,还可以应用于其他领域。
在多智能体调度下,DevOps-ChatBot 可以扩展很多有趣的玩法。
通过组装和构建该项目的模块,您可以完成您的下一个游戏。
代码解释器
只要您上传数据文件,DevOps-ChatBot 就会自动执行数据分析。
工具使用
示例:查询特定服务器的基本时序,传递给监控工具进行分析。
3D" alt="a3c864668009459097da7d7d4832940b~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1728834962&x-signature=I8fCkSU16ZhYiPKX5SYHO1bQvq8%3D" />智能股票分析(工具+代码解释器) 用户通过简单的自然语言查询,就可以获取特定股票的详细信息,包括历史股价图表、市场表现和可能的市场走向。