coze

一.Coze做智能体AGENT

1.什么是coze

官方介绍：

Coze 是新一代一站式 AI Bot 开发平台。无论你是否有编程基础，都可以在 Coze 平台上快速搭建基于 AI 模型的各类问答 Bot，从解决简单的问答到处理复杂逻辑的对话。并且，你可以将搭建的 Bot 发布到各类社交平台和通讯软件上，与这些平台/软件上的用户互动。

个人理解：

Coze是一个智能体（Agent），它是由OpenAI开发的一种人工智能技术。

Coze旨在与用户进行对话，并提供各种功能和服务。

Coze是字节针对AI Agent这一领域的初代产品，在Coze中将AI Agent称为bot。

国内外两个版本：

国内：

网址：https://www.coze.cn/

文档：https://www.coze.cn/docs/guides/welcome

大模型：云雀大模型（字节）+月之暗面Kimi大模型

发布平台：飞书，微信客服，微信服务号&订阅号

国外：

网址：https://www.coze.com/

文档：https://www.coze.com/docs/guides/welcome?_lang=zh

大模型：GPT-4 \GPT-3.5

发布平台：Discord,Instagram,Slack

产品总览：
  • Bot商店
  • 使用别人的Bot
参考视频：

https://www.youtube.com/@CozeHQ/featured

【这可能是全网目前最全的Coze入门教程了！】https://www.bilibili.com/video/BV1YM4m167zP?vd_source=edc55aafc64a16d1ce06a1e4a760e83d

2.coze有什么功能

集成了丰富的插件工具，可以极大地拓展 Bot 的能力边界:

  • 内置插件：目前平台已经集成了超过 60 款各类型的插件，包括资讯阅读、旅游出行、效率办公、图片理解等 API 及多模态模型。 你可以直接将这些插件添加到 Bot 中，丰富 Bot 能力。例如使用*新闻插件，打造一个可以播报最新时事新闻的 AI 新闻播音员。
  • 自定义插件：扣子平台也支持创建自定义插件。 你可以将已有的 API 能力通过参数配置的方式快速创建一个插件让 Bot 调用。

实现功能举例：

  • 对话交互：Coze可以与用户进行对话，回答问题，提供信息和建议。
  • 语言理解：Coze能够理解自然语言并解释用户的意图。
  • 任务执行：Coze可以执行各种任务，如查询信息、发送邮件、创建日历事件等。
  • 情感识别：Coze可以识别和理解用户的情感，并作出相应的回应。
  • 学习能力：Coze可以通过与用户的对话不断学习和改进。

3.什么是智能体

智能体是指能够感知环境、进行决策并采取行动的实体或系统。智能体可以是人工智能系统、机器人、虚拟助手、应用程序等。智能体能够通过对环境的感知和与环境的交互来实现任务，并根据事先设定的目标进行决策。

Agent是指帮助我们完成某一类功能的实体，可以是人，可以是机器，也可以是应用程序。

AI Agent是应用了大模型能力的agent，因大模型的超高性能，能力被提高到前所未有的高度。

AI Agent = LLM（大模型） + Planning（规划） + Memory （记忆）+ Tools（工具）

注：前三部分类似人类的大脑，工具类似人类的四肢。

4.使用知识库

举例：如QA智能客服通过QA文档取代传统人工客服回答客户的问题。

RAG（知识库的核心技术）

5.目前该方向的研究成果

  • 自然语言处理（Natural Language Processing, NLP）：NLP的研究使得智能体能够理解和生成自然语言，从而实现更自然、流畅的对话交互。
  • 强化学习（Reinforcement Learning）：强化学习的研究使得智能体能够通过与环境的交互来学习最优的行为策略，实现更高效的决策和任务执行能力。
  • 对话系统（Dialogue Systems）：对话系统的研究致力于构建能够进行自然对话的智能体，使其能够与用户进行深入、有意义的交流。
  • 多模态智能体（Multimodal Agents）：多模态智能体能够处理多种输入和输出模态，如文本、语音、图像等，从而实现更丰富、多样化的交互和应用场景。
  • 社交智能体（Social Agents）：社交智能体通过模拟人类社交行为和情感表达，使得与人类用户的交互更加自然、亲密，具有更好的用户体验。

二.安全大模型

1.什么是大模型

大模型是指具有大规模参数和复杂结构的机器学习模型。它们通常由数十亿到数万亿个参数组成，能够处理大规模的数据集和复杂的任务。大模型的训练需要大量的计算资源和数据，但它们在许多领域中展现出了出色的性能和效果。

大模型一般可以分为通用大模型和垂直领域大模型。

通用大模型很好理解，就是使用大量通用数据进行预训练的大模型，通常会具备两种特点：跨任务的通用性和跨域的通用性。

而垂直领域大模型有很多别名，如领域大模型，行业大模型，垂直大模型，说的都是一个意思。垂直领域大模型是指在特定的领域或行业中经过训练和优化的大型语言模型。与通用大模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。

2.垂直领域大模型

垂直领域大模型是指针对特定领域或行业进行训练和优化的大模型。与通用大模型相比，垂直领域大模型更加专注于特定领域的任务和需求，能够提供更准确、高效的解决方案。在安全领域，垂直领域大模型可以应用于威胁检测与分析、安全运营、应用程序安全等方面，提升安全团队的工作效率和安全防护能力。

与通用大模型相比，垂直领域大模型具有以下优势和劣势：

优势：

  • 领域专业性：垂直领域大模型经过专门的训练，能够更好地理解和处理特定领域的知识、术语和上下文。
  • 高质量输出：由于在特定领域中进行了优化，垂直领域大模型在该领域的输出质量通常比通用大模型更高。
  • 特定任务效果更好：对于特定领域的任务，垂直领域大模型通常比通用大模型表现更好。

劣势：

  • 数据需求和训练成本：垂直领域大模型需要大量的特定领域数据进行训练，这可能会面临数据收集和标注的挑战。
  • 适应性限制：垂直领域大模型在特定领域中的适应性较强，但在其他领域的表现可能相对较弱。
  • 更新和维护成本：由于特定领域的知识和要求经常变化，垂直领域大模型需要定期更新和维护，以保持与新发展的同步。

垂直领域大模型有以下几种形式：

  • 基于垂直领域数据对通用大模型的微调，也使用垂直领域数据通过某些微调方式（如LoRA、P-Tuning等）对通用大模型进行微调；当然，也有基于垂直领域数据在通用大模型的基础上进行继续预训练；
  • 只使用垂直领域数据预训练大模型；
  • 使用垂直领域数据和通用数据的混合数据预训练大模型，如BloombergGPT；
  • 使用领域知识库结合通用大模型完成知识问答，例如使用Langchain +ChatGLM完成知识问答，具体就是先使用词向量模型找到文档中和问题相似的文本，利用大模型的总结能力对文本进行汇总作为输出；

以上是4种不同的垂直领域数据大模型，目前比较主流的是第1种和第4种。

而除了上述4种外，构造垂直领域的prompt 算是通用模型在垂直领域的一种应用：例如直接用in context learning的方法，通过构造和领域相关的prompt，由通用大模型直接生成回复。

知名度较高的垂直领域大模型：

医疗

DoctorGLM：

地址：https://github.com/xionghonglin/DoctorGLM

简介：基于 ChatGLM-6B的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括lora、p-tuningv2等微调及部署

BenTsao：

地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

简介：开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，并在此基础上对LLaMA进行了指令微调，提高了LLaMA在医疗领域的问答效果。

BianQue：

地址：https://github.com/scutcyr/BianQue

简介：一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于ClueAI/ChatYuan-large-v2作为底座，使用中文医疗问答指令与多轮问询对话混合数据集进行微调。

HuatuoGPT：

地址：https://github.com/FreedomIntelligence/HuatuoGPT

简介：开源了经过中文医学指令精调/指令微调(Instruct-tuning)的一个GPT-like模型

Med-ChatGLM：

地址：https://github.com/SCIR-HI/Med-ChatGLM

简介：基于中文医学知识的ChatGLM模型微调，微调数据与BenTsao相同。

QiZhenGPT：

地址：https://github.com/CMKRG/QiZhenGPT

简介：该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。

ChatMed：

地址：https://github.com/michael-wzhu/ChatMed

简介：该项目推出ChatMed系列中文医疗大规模语言模型，模型主干为LlaMA-7b并采用LoRA微调，具体包括ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集；ChatMed-TCM : 基于中医药指令数据集ChatMed_TCM_Dataset，以开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。

XrayGLM，首个会看胸部X光片的中文多模态医学大模型：

地址：https://github.com/WangRongsheng/XrayGLM

简介：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。

法律

LaWGPT：基于中文法律知识的大语言模型

地址：https://github.com/pengxiao-song/LaWGPT

简介：该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。

LexiLaw：中文法律大模型

地址：https://github.com/CSHaitao/LexiLaw

简介：LexiLaw 是一个基于 ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。

Lawyer LLaMA：中文法律LLaMA

地址：https://github.com/AndrewZhe/lawyer-llama

简介：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。Lawyer LLaMA 首先在大规模法律语料上进行了continual pretraining。在此基础上，借助ChatGPT收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。

金融

Cornucopia（聚宝盆）：基于中文金融知识的LLaMA微调模型

地址：https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese

简介：开源了经过中文金融知识指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对LLaMA进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用GPT3.5 API构建高质量的数据集，另在中文知识图谱-金融上进一步扩充高质量的指令数据集。

BBT-FinCUGE-Applications

地址：https://github.com/ssymmetry/BBT-FinCUGE-Applications

简介：开源了中文金融领域开源语料库BBT-FinCorpus，中文金融领域知识增强型预训练语言模型BBT-FinT5及中文金融领域自然语言处理评测基准CFLEB。

XuanYuan（轩辕）：首个千亿级中文金融对话模型

地址：https://huggingface.co/xyz-nlp/XuanYuan2.0

简介：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。

教育

桃李（Taoli）：

地址：https://github.com/blcuicall/taoli

简介：一个在国际中文教育领域数据上进行了额外训练的模型。项目基于目前国际中文教育领域流通的500余册国际中文教育教材与教辅书、汉语水平考试试题以及汉语学习者词典等，构建了国际中文教育资源库，构造了共计 88000 条的高质量国际中文教育问答数据集，并利用收集到的数据对模型进行指令微调，让模型习得将知识应用到具体场景中的能力。

数学

chatglm-maths：

地址：https://github.com/yongzhuo/chatglm-maths

简介：基于chatglm-6b微调/LORA/PPO/推理的数学题解题大模型, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu部署，开源了训练数据集等。

文化

Firefly：

地址：https://github.com/yangjianxin1/Firefly

简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，以提升模型这方面的表现，如对联、作诗、文言文翻译、散文、金庸小说等。

参考博客：

https://www.bilibili.com/read/cv24371590/?login=from_csdn

https://blog.csdn.net/weixin_42645636/article/details/131311879

浅谈垂直领域大模型_人工智能_dzysunshine-开放原子开发者工作坊 (csdn.net)

垂直领域大模型的一些思考及开源模型汇总 - 知乎 (zhihu.com)

3.现有安全领域大模型

安全大模型是指在计算机安全领域应用的大型机器学习模型，用于检测和防御各种安全威胁和攻击。这些模型通常通过训练大量的数据来学习和识别恶意行为模式、异常活动和潜在的安全漏洞。

安全大模型可以应用于多个方面，包括以下几个方面：

  1. 威胁检测：安全大模型可以通过学习已知的威胁模式和恶意软件的行为特征来检测新的威胁。它们可以分析网络流量、日志数据和恶意代码，识别潜在的攻击行为，并及时采取相应的防御措施。
  2. 异常检测：安全大模型可以学习正常的系统行为模式，并检测出与之不符的异常活动。通过监控网络流量、用户行为和系统操作等数据，模型可以发现可能的入侵行为、未经授权的访问和异常操作。
  3. 漏洞分析：安全大模型可以通过学习软件和系统中已知的漏洞模式，帮助发现潜在的安全漏洞。它们可以分析代码、配置和系统设置，识别出可能存在的漏洞，并提供相应的修复建议。
  4. 恶意代码检测：安全大模型可以学习已知的恶意代码特征，并用于检测新的恶意软件。通过分析文件、内存和网络数据，模型可以识别潜在的恶意代码，并及时采取措施进行隔离或删除。
  5. 威胁情报分析：安全大模型可以处理和分析大量的威胁情报数据，识别出潜在的攻击来源、攻击组织和攻击手段。这有助于及时采取针对性的防御策略，提高网络安全的整体水平。

4.现有安全大模型举例

  1. DeepLocker：DeepLocker 是 IBM 研究团队开发的一种安全大模型，它利用深度学习技术将恶意软件隐藏在合法的应用程序中。DeepLocker 使用神经网络来判断何时以及在何种情况下释放恶意功能，以避免被传统的恶意软件检测方法所发现。
  2. DEFCON：DEFCON 是由 OpenAI 开发的一个用于网络安全的安全大模型。它可以分析和预测网络攻击、漏洞利用和恶意代码行为，并提供相应的防御建议和对策。
  3. MalwareGuard：MalwareGuard 是由 Symantec 公司开发的一种安全大模型，用于检测和防御恶意软件。它使用机器学习算法来分析和识别恶意代码的行为特征，以及对抗新型和未知的恶意软件。
  4. CylancePROTECT：CylancePROTECT 是一种利用机器学习和人工智能技术进行终端安全保护的安全大模型。它可以检测和阻止恶意软件、勒索软件和高级持续性威胁（APT）等各种安全威胁。
  5. Microsoft Azure Sentinel：Azure Sentinel 是 Microsoft Azure 平台上的一种安全信息和事件管理（SIEM）解决方案，它利用大数据和机器学习技术来分析和检测潜在的安全威胁。Azure Sentinel 可以集成各种数据源，包括网络流量、日志数据、威胁情报等，以提供全面的安全监控和分析。
  6. Google发布了Sec-Palm2，它针对安全应用场景进行了微调，并整合了大量威胁情报数据，提供了快速分析恶意代码行为和安全运营等能力[1]。

  7. 微软发布了Security Copilot，它结合了OpenAI的GPT-4模型和微软自身的安全数据，提供了恶意脚本分析、安全事件报告撰写、威胁狩猎等多重能力[1]。

  8. SecCorpus: 构建安全领域大模型数据的技术实践 | 腾讯科恩实验室官方博客

  9. 微步在线-数字时代网络威胁应对专家
  10. IDC：破土萌芽—大模型在网络安全领域的应用市场洞察报告发布

三.360AI浏览器

简介

360AI搜索是360公司推出的一款AI驱动的搜索引擎，它具有“自学习、自进化”能力和发现用户最需要的搜索结果，提供更全面的答案，保护网络安全。
360AI浏览器是360公司推出的一款AI智能浏览工具，它集成了AI技术，使浏览网页更流畅，具有换肤和应用盒子功能，增加便利和乐趣。

可以通过如下链接进入360AI搜索主页：360AI搜索

体验视频：

360AI浏览器，浏览器界的未来已来_哔哩哔哩_bilibili

有问题 就用360AI搜索_哔哩哔哩_bilibili

360搜索直接能够给出你想要的答案，较为全面，会给出你相关的搜索链接，当你需要进一步对问题做探索和深入了解的时候，再去点这些链接去看详细内容，改变了原有搜索方式的步骤。更有延伸阅读功能，既能总结关键点，也提供链接能够让你点击进去深入的了解。

四.学习文件：

1、LLM Powered Autonomous Agents
2、Communicative Agents for Software Development
3、The Rise and Potential of Large Language Model Based Agents: A Survey