导读：在 2023 世界人工智能创新大赛（Artificial Intelligence World Innovations，简称AIWIN）中，网易智企旗下易盾 AI 实验室数据挖掘团队（AI-DM团队）以卓越的技术优势，经过初赛、复赛、终选答辩，一路过关斩将，从 601 支参赛队伍中脱颖而出，获得“中文网页自动导航”赛道的季军，准确率达到 94.8%，初赛、复赛均排名第2。
文 |
网易易盾
本次竞赛成功吸引了来自清华大学、上海交通大学、复旦大学、香港大学、帝国理工、MIT 等高校以及国内外一批来自 AI 企业及场景企业，累计 2000+ 的开发者参与到赛事之中。易盾 AI-DM 团队利用知识图谱【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.、深度学习等方法训练一个预测算法模型：基于数据-知识协同的中文网页自动导航算法。
该算法可以根据用户输入的自然语言指令，在网页中规划（输出）一条动作序列，自动化实现指令中包含的用户意图。AI-DM 团队将大模型 ChatGLM 作为模型底座，在多场景数据上进行微调，经由深度优先遍历图（DFS）算法在知识图谱上生成连通可达的导航路径，查询结果返回给用户。
在保险、金融行业中，该技术有利于网页流程自动导航，克服传统方法只能解决单一网页下具有固定操作步骤的流程的缺点，提升对复杂、陌生网页的处理能力，大大降低在机器人流程自动化（RPA）场景对人工配置网页查询规则的依赖，实现企业降本增效目标。
赛题背景
传统的【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.网页流程自动导航任务，通过熟练的业务人员配置低代码工具提供的原子能力，完成一整套规则化流程。该方案只能解决某一单一网页下具有固定操作步骤的流程，当网页发生变化或任务发生变化时，已有配置流程无法使用，需要重新配置新的流程。随着业务需求的增加，不仅需要有专业背景的人员维护，同时，流程繁琐的配置方式问题也凸显。针对上述问题，一种可迁移至相同场景不同流程的自动化导航技术亟待研究。
数据说明
本次建模数据包含 20 个仿真页面，覆盖金融、法律、医疗、教育、交通、电商类（购票、订餐、购物、出行等）等多个领域，每个领域收集 6～15 个不同页面。A 榜每个网页提供 150 条不同的指令（指令涵盖不同的任务），包【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.含训练集与测试集，其中，每个网页包含训练集 120 条，测试集 30 条；B 榜每个网页提供 50 条不同的指令的测试集。
模型构建
模型构建分为三个部分，分别是 Prompt 多样性扩增、用户意图理解、基于知识图谱的导航路径生成。
Prompt 多样性扩增
在实际场景中，用户提出的 Prompt 在表达方式、语境、语法存在多样性，如果训练集中未包含测试集中的 Prompt 句式，那么会导致下游模型无法精确提取用户意图实体，因此需要通过多样的 Prompt 扩增方法，来提高查询句式的覆盖范围和生成结果准确性，从而满足用户的需求。本次比赛主要通过修改提示词和修改语序两种策略完成 Prompt 多样性扩增【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.，具体扩增方式如下图所示。
图1 Prompt 多样性扩增示意图
用户意图理解
模型选型
在 GLM 模型出现之前，NLP 预训练模型的架构大致可以分为三类：自编码模型（Bert）、自回归模型（GPT）、encoder-decoder架构（T5），这三类架构无法将自然语言理解（NLU）和自然语言生成（NLG）问题做到较好统一。GLM 出现之后，以一种空白填充的方式进行自回归建模，较好地对 NLU 和 NLG 任务做了统一（见下图），故本次比赛选用开源的 ChatGLM 模型作为大模型底座，利用 p-tuning 微调技术，在 Few-Shot Learning 的垂直领域以一种低廉成本的方式快速训练出【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.模型，精准理解用户查询意图及生成导航路径的关键槽位节点序列。
图2 现有语言模型优缺点对比
GLM 是一种基于自回归空白填充的预训练框架。按照自动编码的思想，从输入文本中随机设置连续的 spans of tokens ，并按照自回归预训练的思想训练模型按顺序重建跨度(见下图)。根据经验，在相同数量的参数和计算成本下，GLM 在 SuperGLUE 基准测试中以 4.6% – 5.0% 的大幅优势显著优于 BERT，并且在相似大小（158GB）的语料库上进行预训练时，GLM 优于 RoBERTa 和 BART。GLM 在 NLU 和较少参数和数据的生成任务上也显著优于 T5。
GLM 模型原理
1）自回【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.归空白填充
假设文本原始输入为 [x1, x2, x3, x4, x5, x6]，如下图（a）所示。
随机筛选部分跨度的 token 进行 mask，将原始输入文本分为两段分别是 PartA 和 PartB 部分，PartA 为 [x1, x2, M, x4, M]，PartB 部分为 [S, x5, x6, S, x3]，其中 M 为 Mask 标记、S 为起始位置标记，如下图（b）所示。拼接 PartA 和 PartB 部分得到 [x1,x2,M,x4,M,S,x5,x6,S,x3]，并结合字符的 2D 位置编码作为模型的输入，其中 Position1 表示 token 在原始句子中的位置，P【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.osition2 表示 token 在跨度中的位置，如下图（c）所示。采用自注意力掩码（self-attention mask）方式约束 token 之间的关注度。如下图（d）所示，灰色区域被屏蔽，Part A 的 tokens 可以关注自己（蓝色框），但不能关注 B。Part B 的 tokens 可以关注 A 和 B 中的前代（黄色和绿色框分别对应两个范围）。图3 GLM 模型自回归空白填充原理图
2）多任务预训练
为了兼顾模型对 NLU 和 NLG 任务的优化能力，考虑以下两个目标：
句子级别。限制 mask span 必须是完整的句子。对多个句子级的 span 进行采样，以覆盖 15% 的原【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.始标记。这一目标针对的是 seq2seq 任务，其预测通常是完整的句子或段落。文档级别。对单个跨度进行采样，其长度是从原始长度的 50%-100% 的均匀分布中采样。目标是生成长文本。基于知识图谱的导航路径生成
在网页导航的导航路径中，导航树节点存在多级下拉框的节点，用户意图理解模型无法做到精准预测，如下图所示，模型只能预测到导航树下拉框节点“国标行业”的槽位信息为“房屋建筑业”，在无先验的网页连通图谱情况下，用规则直接生成的导航路径是不连通、不可达的，无法在网页上查询到任何结果，意味着模型在此类导航树下拉选项任务不具备泛化能力。因此，我们预先建立了以全局槽位为节点的有向连通图谱，并通过 DFS【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业. 算法生成槽位节点“国标行业”到槽位信息“房屋建筑业”的可达子路径，可以保障最终的导航路径满足连通可达性和完整性，从而返回正确的结果给到用户，如图3所示。
该方法优势在于：
导航路径完整且可执行。由于预建了整个网页上各个槽位节点的有向顺序，使得具备上帝视角对相邻槽位节点不可达的连接边进行关系补全，且保证指令可执行性。通用性、泛化能力强。用户意图理解模型只要抽取槽位节点的，与导航路径生成高度解耦，路径生成则由预先创建的知识图谱完成，结果高可信，并且迁移能力强，不会受到训练、测试数据之间的导航路径差异性影响。排查失败节点便利。如果直接采用端到端模型生成导航路径，当结果出现错误时，无法排查错误原因，但是【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.知识图谱是有可视化路径对比图，便于和正确路径对比结果，排查失败节点。图4 基于知识图谱驱动的连通可达导航路径生成示意图
算法整体流程图
算法总体流程分为四个步骤：
用户输入 Prompt，模型自动补充待提取的槽位节点 keys；微调后的 ChatGLM 理解用户意图及输出槽位节点序列；通过 DFS 算法在知识图谱上得到连通可达的导航路径；第三方插件 Selenium 控制仿真网页，实现页面操作可视化从而对结果验证，并返回结果给用户。算法总体流程图如下所示。图5 算法整体流程图
总结
本次比赛从初赛到复赛阶段，我们的排名就一直处于 top2 以内，主要依靠以下 3 点：
通过多样的 Prompt 扩增方法，【我.爱.线.报.网.】52xbw .cn 每日持.续更新.可.实操.的副.业.来提高查询句式的覆盖范围和生成结果准确性；选用开源的 ChatGLM 模型作为大模型底座，利用 p-tuning 微调技术，在 Few-Shot Learning 的垂直领域以一种低廉成本的方式快速训练出模型，精准理解用户查询意图及生成导航路径的关键槽位节点序列；利用知识图谱和 DFS 算法生成连通可达导航路径，保证导航路径完整性、可执行性，提升算法的通用性、泛化能力。最后，感谢主办方能够提供机会让我们磨练自己的技术。
推荐阅读
友情提醒： 请尽量登录购买，防止付款了不发货！
QQ交流群：226333560 站长微信：qgzmt2
