智能客服系统的构建与算法迭代（32页PPT-贝壳）

微信扫码，打开到小程序

1 2019 KE.COM ALL COPYRIGHTS RESERVED 贝壳智能客服的进化之路 ? 客服 业务价值 100 万经纪 人 10 万门 店 2019 KE.COM ALL COPYRIGHTS RESERVED 3 问题反债 打电话 人工客服 离开客服 智能客服 IM 人工咨询 解决 客服系统如何工作？ 形成工单 经纪人 2019 KE.COM ALL COPYRIGHTS RESERVED 未解决 4 我们如何做智能客服？ 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 5 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 6 问题挖掘 知 识 管 理 系 统 客服工单 政策法规 职能部门 知识库 知识图谱 知识生产流程 知识质检 2019 KE.COM ALL COPYRIGHTS RESERVED 7 内容推荐 拓展问题推荐 推荐关键词 推荐标签 推荐分类体系 知识生产提效 热门问题发现 kmeans 聚类 句子向量 问题去重 同义聚类 2019 KE.COM ALL COPYRIGHTS RESERVED 8 如何 / 怎么 + 【事件动词】 + 【实体词】 < 实体，属性，属性值 > < 实体， 关系， 实体 > 知识的挖掘 2019 KE.COM ALL COPYRIGHTS RESERVED 9 示例 entity type property 什么是房源录入 ? 房源录入 what 定义 怎么提取公积金 ? 公积金 how 提取 楼盘对应商圈不对如何 修 改 ? 楼盘 对应 商圈 不对 how 修改 不动产抵押登记是什么 ? 不动产 ep 抵押登记 如何判断暂真房源和强 疲房源 ? 暂真房源 强疲房源 which 区别 为什么备案经纪人需要 是本店的 ? 备案 经纪人 需要 本店 why 为什么 知识的挖掘 2019 KE.COM ALL COPYRIGHTS RESERVED 10 用户问题数据分布 8% 3% 22% 工具使用 知识咨询 闲聊型 其 它 2019 KE.C0M ALL C0PYRIGHTS RESERVED 11 67% 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 12 知识的组织 2019 KE.COM ALL COPYRIGHTS RESERVED 13 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 14 句型识别 意图识别 任务分发 响应合并 回答生成 session 管 理 智能 CPC 智能解决率 转人工率 准确率 召回率 有结果率 知识覆盖率 贝壳智能客服系统架构 置信度 计算 拓展问题 KB 知识准确率 KG 语义匹配 相似检索 意图过滤 问题聚类 数据标注 动作响应 图谱挖掘 标准问题 数据运营 精准解析 槽位填充 情感分析 任务层 数据层 接入层 中控层 miss 知识发 现 指标 2019 KE.COM ALL COPYRIGHTS RESERVED 纠错 15 …. 智能客服系统核心模块 QABot TaskBot ChatBot NLU DM > 闲聊 > 不解决实际问题 > 多轮对话 > 面向任务型 > 单轮对话 > 上下文无关 闲聊 知识咨询 工具使用 2019 KE.COM ALL COPYRIGHTS RESERVED 16 改进版 fasttext fasttext NLU- 意图识 别 2019 KE.COM ALL COPYRIGHTS RESERVED svm 17 算法 准确率 召回率 F1-score svm 0.88032 0.85182 0.86583 fasttext 0.96132 +0.081 0.873 +0.02118 0.9150 +0.04917 改进版 fasttext 0.96828 +0.00696 0.88206 +0.00906 0.92316 +0.00816 NLU- 意图识 别 2019 KE.COM ALL COPYRIGHTS RESERVED 18 字 bigram 特征 v n 一 1 … … hidden layer 什 么 NLU- 意图识 别 hierachical softmax 2019 KE.COM ALL COPYRIGHTS RESERVED … 么是 录入 什么 特征层 字特征 词特征 房源 录入 19 v1 v3 v4 v6 什 v5 v2 vn 是 v n 一 2 房 录 入 源 么 是 关键词召回 候选集 意图过滤 语义召回 QABot 工作 流 模糊查询 是否精 准匹配 能够精准回答？ 都有哪些相似问法？ 过滤掉不可能候选 找出最有可能候选 query return 意图识别 return 生成图谱查询 三元组提取 DSSM 排序 2019 KE.COM ALL COPYRIGHTS RESERVED 20 是 否 租金怎么交？ 支付宝可以交房租吗？ 房屋租赁的钱怎么交？ 内存索引 QABot-faiss 语义召 回 房租如何交？ aTgmini=1,n x — yi 2 y1 ， y2 ，… ， yn 2019 KE.COM ALL COPYRIGHTS RESERVED 21 x1 … … … … … … … … 消息 fasttext 人事 品控 fasttext … … fasttext … … 人事制度 真房源 … … 申诉 训练 fasttext 二级分类模 型 滤除与消息无关的候选 QABot- 意图过 滤 按照知识体系构建分类体 系 员工福利 2019 KE.COM ALL COPYRIGHTS RESERVED 22 带看房源录入错误 经纪人录带看不小 心录错怎么办 cos QABot-DSSM 0.9265 semantic feature semantic feature 2019 KE.COM ALL COPYRIGHTS RESERVED 23 产品效果 2019 KE.COM ALL COPYRIGHTS RESERVED 24 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 25 如何评价系统效果 . 业务指标 - 线上咨询量占比、智能解决率、转人工率 智能场景解 决问题比例 线上咨询 问题比例 智能场景 转人工率 2019 KE.C0M ALL C0PYRIGHTS RESERVED 26 48% 54% 9% 问题 智能回答 有结果 有召回 准确 知识覆盖 知识准确 经纪人带看录 入错误怎么办 带看录入错误 1 1 1 1 1 服务费支付方 式中支票支付 的方式 租赁服务费可 以用支付宝扫 码支付吗 1 0 0 0 0 如何评价算法效果 . 技术指标 - 有结果率、召回率、准确率、知识的准确率、知识覆盖率 2019 KE.COM ALL COPYRIGHTS RESERVED 27 数据决定选代目标 模糊提问 45.6% 排序原因 9.7% 召回原因 8.9% 纠错问题 0.3% 知识缺失 8.3% 未匹配 5.4% 算法原因 18.7% 意图识别 1% 精准提问 46.7% 解决 25.1% DSSM 排序 8.9% 同义扩展 1.1% 匹配 40.2% 未解决 21.6% 语义召回 5.3% 核心词典 2.1% 无效 query 7.7% 评测数据 n 有效 query 92.3% 2019 KE.COM ALL COPYRIGHTS RESERVED 28 总结 2019 KE.COM ALL COPYRIGHTS RESERVED 29 2019 KE.COM ALL COPYRIGHTS RESERVED 30