智能客服聊天机器人技术架构设计思路（26页PPT精华版）

微信扫码，打开到小程序

智能客服 —— 聊天机器人 问题解决型 实现技术 解决方案 架构及开发流程 小 Y （智能机器人） 问题解决型机器人 问题解决型机器人，存在的目的是为了帮用户解决具体问题， 例如：售前咨询、售后报修、订机票、酒店、餐厅座位等等 需要提供给用户自己都不知道的信息 -- 知识库 1. 理解用户问题，知道用户在问什么 2. 将用户的问题转化为对知识库的查询 问题理解 查询知识库 构建知识库查询 多轮对话的上下文管理 提问：今天北京多少度啊？ 回答： 35 度 提问：有雾霾吗？ （北京有雾霾吗？） 回答：空气质量优。 提问：那上海呢？（上海有雾霾吗？） 回答：空气质量也是优。 结合上下文 聊天机器人解决方案 自然语言处理、文本挖掘、知识图谱 知识库中存储的是一对对的“问题 - 答案”对（ QA Pair ）。这些 Pair 可以是 人工构建的，源于客户系统或者旧有知识库的，也可以是从互联网上爬取下 来的。当用户输入问题后，将其和知识库现有的标准问题进行一一比对，寻 找与用户问题最相近的标准问题，然后将该问题组对的答案返回给用户。 用户问题 -> 标准问题 -> 答案 解决方案一 用户问题 -> 标准问题的匹配方法可以是关键词匹配（包括正则表达式匹配）；也可以是先将 用户问题和标准问题都转化为向量，再计算两者之间的距离（余弦距离、欧氏距离、交叉熵、 Jaccard 距离等），找到距离最近且距离值低于预设阈值的那个标准问题，作为查找结果。 但关键字匹配覆盖面太小。距离计算的话，在实践中比对出来的最近距离的两句话，可能在 语义上毫无关联，甚至满拧（比如一个比另一个多了一个否定词） “ 关键词” 解决方案二 知识库中存储的不是问题 - 答案对，而仅存储答案（文档）。 当接收到用户问题后，直接拿问题去和知识库中的一篇篇文档比对，找到在 内容上关联最紧密的那篇，作为答案返回给用户。 用户问题 -> 答案 解决方案三 从用户的问题当中识别出用户的意图，并抽取这个意图针对的实体。 相应的，知识库内存储的知识，除了包含知识内容本身之外，还应该在结构 上能够表示知识之间的关联关系。 在提取了意图和实体后，构造出对知识库的查询（ Query ），实施查询，得 出结果后生成回答，回复给用户。 用户问题 -> 语义理解 -> 知识库查询 -> 查询结果生成答案 聊天机器人实现技术 语义理解 NLU 意图识别 实体抽取 用来识别用户所提问题 的意图，也就是用户希 望做一件什么事 用于提取用户对话中所 提供的和意图相关的参 数 ( 实体 ) ，例如时间、 地点等 Case1 ：有粉色的手机壳吗？—— 意图：商品推荐；实体：商品类型 - 手机，商品颜色 - 粉色 。 Case2 ： 00183 号商品快递到伊犁邮费多少？—— 意图：查询邮费；实体：目的地 - 伊犁，商品 Id-00183 。 Case3 ： 02465 号商品有保修吗？——意图：保修查询；实体：商品 Id-02465 。 举个例子，小明是一家小淘宝店主，他要为自己的淘宝店开发一款客服机器人，主要回答和商品属性（品牌、价格、邮费、 售后等）相关的问题。 Case2’ ： 00183 号商品快递到伊犁邮费多少？—— 意图：商品查询；实体：目的地 - 伊犁，商品 Id-00183 ，商品属性 - 邮费。 Case3’ ： 02465 号商品有保修吗？——意图：商品查询；实体：商品 Id-02465 ，商品属性 - 保修。 具体怎么定义，要与知识库的结构及中间控件（语义理解 + 对话管理）结合起来决 定，怎么简单怎么来 意图识别 - 分类模型 分类模型和 seq2seq 判别模型的训练都属于有监督学习， 因此，所有的训练数据都是标注数据。 因此，在进入训练阶段前必须要经过一个步骤：人工标注。 如果大家真的在工作中应用机器学习，标注就是无法逾越的 脏活累活。 实体抽取 -Seq2Seq 判别模型 人工标记 语料 (Utterance) 意图 (Intent) [00183]{ 商品 Id} 号商品快递到 [ 伊犁 ]{ 目的地 }[ 邮费 ]{ 商品属性 } 多少？ 商品查询 [02465]{ 商品 Id} 号商品有 [ 保修 ]{ 商品属性 } 吗？ 商品查询 订 [ 一张 ]{ 数量 }[2018.12.1] 号 { 时间 }[ 北京 ]{ 出发地 } 到 [ 南京 ]{ 目的地 } 的机票 订机票 知识库、知识查询和结果返回 知识库用于存储知识，本身可以是各种形式：数据库， API ，或者文本文件等。用户的问 题经过语义理解，被提取成了意图和若干实体。 知识库类型 构造查询 回答生成 关系型数据库 根据意图和实体，确定 tabmeName,where 条件，和目标 column 等要素，构建 SQL Query 将 SQL Query 的结果填注到答案 模板中，生成回答问题的自然语言 API 根据意图和实体，确定要调用的 API 类型和 参数，构造 Http Request 将 API 返回的结果填注到答案模板 中，生成回答问题的自然语言 文本文件 (json/xml 等 ) 根据意图和实体，确定对应的文件路径和对 其中存储数据结构的查询 将获取的内容填注到模板中，生成 回答问题的自然语言 例如，我们选择 MySQL 作为小明的淘宝店小助手的知识库。则商品相关数据都存储在 table 中。知识库 里有一个 Table ，名字叫 product_query ，其中每一个 row 对应一种产品，每个 column 对应一个属性。 Case2’ ： 00183 号商品快递到伊犁邮费多少？—— 意图：商品查询；实体：目的地 - 伊犁，商品 Id-00183 ，商品属性 - 邮费。 Case3’ ： 02465 号商品有保修吗？——意图：商品查询；实体：商品 Id-02465 ，商品属性 - 保修。 table_name: product_query column: 目的地 ->destination 商品 Id->product_id 邮费 ->postage 保修 ->guarantee Case2’ ： SELECT postage FROM product_query WHERE product_id = '00183' AND destination= ' 伊犁 ' Case3’ ： SELECT guarantee FROM product_query WHERE product_id = '02465' Query 在 MySQL 中运行的结果（比如是 26 元），被放到一个预置的针对商品查询的答案模板里，生成答案。 预置模板 : ${ 商品 Id} 号商品的 ${ 商品属性 } 是 ${Query_Result} 。 生成答案 : 00183 号商品的邮费是 26 元。 上下文管理 例如：在商品查询的目标属性为邮费时，目的地缺失，这时候就需要主动要求用户输入对应的值。 思路： 1. 在配置意图和实体模板时，需设置 [ 邮费 ] 相依赖的实体（商品 ID 、目的地） 2. 创建意图表，实体表，建立意图表与实体表间的关系，实体与实体间的关系 3. 识别出意图后，提取实体，如果发现缺失，则一个接一个提示用户输入对应的指（配置回答模板） 机器人反问 每次用户新输入的信息都要先进行语言理解，再结合目前已经存储的上下文信息，或更新 Context ，或读取 之前的 Context 作为补充信息。 可以将意图，和几种实体类型对应的实体值存储在 Context 中。 当新的用户语句输入后，若能从中提取出新的意图或实体值，则用新值更新 Context ，否则，读入现有的对 应实体值，作为本次语言理解的补充。 架构及开发流程 问答咨询 ...... 知识主力 销售引导 业务办理 Web 微信 APP 聊天工具 ...... 应用场景 接入渠道 中控 调度策略 第三方系统 行业知识 互联网数据 用户画像 搜索引擎（语义检索 / 文档检 索 ... ） 静态知识 FAQ FAQ 管理 动态知识 KG KG 构建管理 意图训练 实体抽取 流程设计 高频问题 突增问题 满意度 NLP 知识包 智能知识库 会话管理 数据监控 客服大脑 产品架构 用 户 问 题 AIML 格式 常见问题 模板匹配 构建查询 意图识别 实体抽取 语义理解 查询知识库 填注模板 答案处理 关键词提取 自然语言处理 ES 文档查询 构造 Jena 查 询 构建知识图谱 语料获取 网络爬取 开源语料库 用户日志语料 人工编写 语料预处理 人工标记 模板配置 业务咨询 阅读用户日志 模型训练 分词 Word2Vec 卷积神经网络 Keras 文本分类 命名实体识别 词性标注 TensorFlow 语义理解 NLU 保存模型 知识图谱 Knowledge Graph 本体构建 网络爬取 客户文档 本体库 实体词典 语义解析 本体查询 查询陈述 构造查询语句 执行查询语句 谓语消歧陈述 本体库 命名实体识别 歧义陈述构建 依存句法分析 实体消歧陈述 语义图构建 语义图陈述构建 谓语消歧陈述 语义理解 ( 意图识别、实体抽取 ) ： Python+TensorFlow+RNN 等 知识图谱： Java+NLP 知识库存储：数据库 + 文本文件 (json/xml 等 ) API 接口调用： Java+HttpRequest(RESTful) 前端：知识库的整理 ( 以什么格式 ) 、意图创建、实体创建、常见问题、模板配置、人工标记 完毕，谢谢大家！