开云优惠体育网页版入口

专利名称：关系抽取联合模型训练方法、关系抽取方法、设备及介质

专利类型：发明专利

专利申请号：CN202210503511.X

专利申请（专利权）人：携程旅游信息技术(上海)有限公司
权利人地址：上海市浦东新区张江高开云优惠体育网页版入口园区碧波路518号302室

专利发明（设计）人：连明杰,刘嘉伟,鞠建勋,李健

专利摘要：本发明公开了一种关系抽取联合模型训练方法、关系抽取方法、设备及介质，包括以下步骤：获取公告文本信息，将文本信息预处理以得到文本序列，利用预训练模型提取文本序列的特征向量，特征向量包括训练向量；利用训练向量训练得到文本二分类模型、关系抽取模型，联合文本二分类模型与关系抽取模型以得到联合模型，联合模型以分类结果及主语语义结果为中间输出，将分类结果与主语语义结果相乘以得到主语结果，以主语结果为条件，对输入的文本信息进行条件层归一化，得到第二关系结果及第二客体结果，联合模型以主语结果、第二关系结果、第二客体结果为最终输出。可以减少抽取结果中与目标关键信息无关的信息，提升关系抽取结果的精确性。

主权利要求：
1.一种关系抽取联合模型训练方法，其特征在于，具体包括以下步骤：
获取公告文本信息，将所述文本信息预处理以得到文本序列，所述文本序列包括有效文本序列与无效文本序列，所述有效文本序列包括有效标记与指定关系标记，所述无效文本序列包括无效标记；
利用预训练模型提取所述文本序列的特征向量，所述特征向量包括训练向量；
利用所述训练向量分别对第一模型、第二模型进行训练以得到文本二分类模型、关系抽取模型，所述文本二分类模型以文本信息为输入，以分类结果为输出，所述分类结果包括有效结果与无效结果；所述关系抽取模型以文本信息为输入，得到主语语义结果，以所述主语语义结果为条件，对输入的文本信息进行条件层归一化，得到第一关系结果及第一客体结果，所述关系抽取模型以所述主语语义结果、所述第一关系结果、所述第一客体结果为输出；
联合所述文本二分类模型与所述关系抽取模型以得到联合模型，所述联合模型以文本信息为输入，以分类结果及主语语义结果为中间输出，将所述分类结果与所述主语语义结果相乘以得到主语结果，以所述主语结果为条件，对输入的文本信息进行条件层归一化，得到第二关系结果及第二客体结果，所述联合模型以所述主语结果、所述第二关系结果、所述第二客体结果为最终输出。
2.如权利要求1所述的一种关系抽取联合模型训练方法，其特征在于，所述将所述分类结果与所述主语语义结果相乘以得到所述主语结果的具体步骤包括：将每个所述主语语义结果与对应的所述分类结果相乘以得到所述主语结果，当所述主语结果大于主语预设阈值时，输入的文本信息与有效文本信息相对应，所述有效文本信息包含目标关系，且所述有效文本信息中对应位置的文本为文本信息的主语。
3.如权利要求1所述的一种关系抽取联合模型训练方法，其特征在于，所述将所述文本信息预处理的具体步骤包括：将英文字母进行大小写转化；
将中文的字体进行繁简体转化。
4.如权利要求1所述的一种关系抽取联合模型训练方法，其特征在于，所述将所述文本信息预处理的具体步骤包括：将所述文本信息按照预设长度进行截断以得到所述文本序列，所述预设长度不超过所述预训练模型适配的最大长度。
5.如权利要求4所述的一种关系抽取联合模型训练方法，其特征在于，所述将所述文本信息按照预设长度进行截断以得到所述文本序列的具体步骤包括：所述关系抽取模型预期抽取的关系为目标关系，筛取所述文本信息中与所述目标关系相关联的关键词，以所述关键词的位置为中间位置对所述文本信息进行截断以得到所述文本序列；
和/或，对于截断后不满足所述预设长度的文本序列，提取前一文本序列的相邻字符至符合所述预设长度。
6.如权利要求1所述的一种关系抽取联合模型训练方法，其特征在于，所述第一模型的输出设置有第一评估指标，所述第二模型的输出设置有第二评估指标，所述特征向量包括测试向量，所述测试向量与所述训练向量皆由所述特征向量随机分配得到，所述利用所述训练向量分别对第一模型、第二模型进行训练以得到文本二分类模型、关系抽取模型的具体步骤包括：利用所述测试向量对经过训练的所述第一模型、所述第二模型进行测试，若所述第一模型的测试结果没有达到所述第一评估指标，则调整所述第一模型的参数，进行再训练；
若所述第二模型的测试结果没有达到所述第二评估指标，则调整所述第二模型的参数，进行再训练。
7.如权利要求2所述的一种关系抽取联合模型训练方法，其特征在于，所述主语预设阈值的设定步骤包括：设定一个主语初始阈值，依照所述文本信息记载对应的联合模型输出的主语结果中应当大于所述主语初始阈值或小于所述主语初始阈值的位置以得到预期位置序列，将所述预期位置序列与对应的主语结果进行比较以得到误差位置与误差数量，记载所述误差位置对应的主语结果为误差结果；
将所述主语初始阈值向所述误差结果的平均数方向进行逐级调整，并重复测试主语结果所对应的误差数量，当所述误差数量最小时，以对应的主语初始阈值为所述主语预设阈值。
8.一种关系抽取方法，其特征在于，所述关系抽取方法基于权利要求1?7中任一项所述的关系抽取联合模型训练方法训练得到的联合模型实现，所述关系抽取方法包括：输入公告文本信息至联合模型；
所述联合模型识别所述文本信息并输出分类结果，所述分类结果包括有效结果与无效结果，所述有效结果所对应的文本信息存在目标关系；
所述联合模型识别所述文本信息并输出主语语义结果，所述主语语义结果与文本信息的主语相对应，将所述分类结果与所述主语语义结果相乘以得到主语结果；
所述联合模型以所述主语结果为条件，向对应的所述文本信息进行条件层归一化，得到第二关系结果和第二客体结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1?7中任一项所述的关系抽取联合模型训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1?7中任一项所述的关系抽取联合模型训练方法。 说明书 : 关系抽取联合模型训练方法、关系抽取方法、设备及介质技术领域[0001] 本发明属于自然语言处理技术领域，具体涉及一种关系抽取联合模型训练方法、关系抽取方法、设备及介质。背景技术[0002] 许多场所因受环境、天气、计划等因素的影响需要向外界发布公告，公告内容如缩短营业时间，恢复营业时间等，尽管场所向外发出的公告内容易于收集，但公告的内容常常包含各种信息，且目标关键信息出现的位置并不固定，因此要从这些冗长杂乱的公告当中提取出目标关键信息需要耗费较多的时间，且容易对信息的理解产生错误，尤其在对多项公告进行信息提取的情形下。现有的关系抽取方法可以对公告的目标关键信息进行提。勘旯丶畔ㄓ胫付ü叵刀杂Φ闹魈、客体以及关系本身，指定关系如场所的开闭、营业时间的调整、价格的升降。然而，现有的关系抽取方法需要先对公告的主体进行抽。笠灾魈逦谰荽佣槿」叵导翱吞，在主体的抽取过程中，不但会抽取目标关键信息的主语，而且会抽取与目标关键信息无关的主语，这会导致最终的关系抽取结果中存在干扰信息，降低关系抽取的精确性，从而降低关系抽取的效率。发明内容[0003] 本发明要解决的技术问题是为了克服现有技术的抽取结果中存在与指定关系无关的信息，降低关系抽取精确性的缺陷，提供一种关系抽取联合模型训练方法、关系抽取方法、设备及介质，可以减少抽取结果中与目标关键信息无关的信息，提升关系抽取结果的精确性。[0004] 本发明是通过下述技术方案来解决上述技术问题：[0005] 一种关系抽取联合模型训练方法，其特征在于，具体包括以下步骤：[0006] 获取公告文本信息，将所述文本信息预处理以得到文本序列，所述文本序列包括有效文本序列与无效文本序列，所述有效文本序列包括有效标记与指定关系标记，所述无效文本序列包括无效标记；[0007] 利用预训练模型提取所述文本序列的特征向量，所述特征向量包括训练向量；[0008] 利用所述训练向量分别对第一模型、第二模型进行训练以得到文本二分类模型、关系抽取模型，所述文本二分类模型以文本信息为输入，以分类结果为输出，所述分类结果包括有效结果与无效结果；所述关系抽取模型以文本信息为输入，得到主语语义结果，以所述主语语义结果为条件，对输入的文本信息进行条件层归一化，得到第一关系结果及第一客体结果，所述关系抽取模型以所述主语语义结果、所述第一关系结果、所述第一客体结果为输出；[0009] 联合所述文本二分类模型与所述关系抽取模型以得到联合模型，所述联合模型以文本信息为输入，以分类结果及主语语义结果为中间输出，将所述分类结果与所述主语语义结果相乘以得到主语结果，以所述主语结果为条件，对输入的文本信息进行条件层归一化，得到第二关系结果及第二客体结果，所述联合模型以所述主语结果、所述第二关系结果、所述第二客体结果为最终输出。[0010] 较佳地，所述将所述分类结果与所述主语语义结果相乘以得到所述主语结果的具体步骤包括：[0011] 将每个所述主语语义结果与对应的所述分类结果相乘以得到所述主语结果，当所述主语结果大于主语预设阈值时，输入的文本信息与有效文本信息相对应，所述有效文本信息包含目标关系，且所述有效文本信息中对应位置的文本为文本信息的主语。[0012] 较佳地，所述将所述文本信息预处理的具体步骤包括：[0013] 将英文字母进行大小写转化；[0014] 将中文的字体进行繁简体转化。[0015] 较佳地，所述将所述文本信息预处理的具体步骤包括：[0016] 将所述文本信息按照预设长度进行截断以得到所述文本序列，所述预设长度不超过所述预训练模型适配的最大长度。[0017] 较佳地，所述将所述文本信息按照预设长度进行截断以得到所述文本序列的具体步骤包括：[0018] 所述关系抽取模型预期抽取的关系为目标关系，筛取所述文本信息中与所述目标关系相关联的关键词，以所述关键词的位置为中间位置对所述文本信息进行截断以得到所述文本序列；[0019] 和/或，对于截断后不满足所述预设长度的文本序列，提取前一文本序列的相邻字符至符合所述预设长度。[0020] 较佳地，所述第一模型的输出设置有第一评估指标，所述第二模型的输出设置有第二评估指标，所述特征向量包括测试向量，所述测试向量与所述训练向量皆由所述特征向量随机分配得到，所述利用所述训练向量分别对第一模型、第二模型进行训练以得到文本二分类模型、关系抽取模型的具体步骤包括：[0021] 利用所述测试向量对经过训练的所述第一模型、所述第二模型进行测试，若所述第一模型的测试结果没有达到所述第一评估指标，则调整所述第一模型的参数，进行再训练；[0022] 若所述第二模型的测试结果没有达到所述第二评估指标，则调整所述第二模型的参数，进行再训练。[0023] 较佳地，所述主语预设阈值的设定步骤包括：[0024] 设定一个主语初始阈值，依照所述文本信息记载对应的联合模型输出的主语结果中应当大于所述主语初始阈值或小于所述主语初始阈值的位置以得到预期位置序列，将所述预期位置序列与对应的主语结果进行比较以得到误差位置与误差数量，记载所述误差位置对应的主语结果为误差结果；[0025] 将所述主语初始阈值向所述误差结果的平均数方向进行逐级调整，并重复测试主语结果所对应的误差数量，当所述误差数量最小时，以对应的主语初始阈值为所述主语预设阈值。[0026] 一种关系抽取方法，其特征在于，所述关系抽取方法基于上述任一项所述的关系抽取联合模型训练方法训练得到的联合模型实现，所述关系抽取方法包括：[0027] 输入公告文本信息至联合模型；[0028] 所述联合模型识别所述文本信息并输出分类结果，所述分类结果包括有效结果与无效结果，所述有效结果所对应的文本信息存在目标关系；[0029] 所述联合模型识别所述文本信息并输出主语语义结果，所述主语语义结果与文本信息的主语相对应，将所述分类结果与所述主语语义结果相乘以得到主语结果；[0030] 所述联合模型以所述主语结果为条件，向对应的所述文本信息进行条件层归一化，得到第二关系结果和第二客体结果。[0031] 一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的关系抽取联合模型训练方法。[0032] 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的关系抽取联合模型训练方法。[0033] 本发明的积极进步效果在于：通过将关系抽取模型与文本二分类进行联合，使得抽取结果减少了与指定关系无关的信息，提升了抽取结果的精确度，从而减少了对结果进行复筛的劳动成本，提升了关系抽取的效率；并通过对结果设定阈值，进一步提升了抽取结果的精确度。附图说明[0034] 图1为本发明实施例1的关系抽取联合模型训练方法流程图[0035] 图2为本发明实施例2的关系抽取联合模型训练方法流程图[0036] 图3为本发明实施例3的关系抽取方法流程图[0037] 图4为本发明实施例4的电子设备的结构示意图具体实施方式[0038] 下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。[0039] 实施例1[0040] 如图1所示，本实施例提供一种关系抽取联合模型训练方法，本实施例的关系抽取联合模型训练方法包括：[0041] S1、收集目标领域的公告文本。目标领域包括公司、学校、景点等，途径包括论坛、网页、微信公众号等，将收集来的每项公告文本分段排列，每段公告文本单独作为样本进行标记。[0042] S2、将公告文本转变为文本序列。[0043] 首先将公告文本信息进行预处理；[0044] 其次对经过预处理的文本信息添加标记，标记包括有效标记、无效标记以及指定关系标记；[0045] 添加标记后可得到文本序列，文本序列包括有效文本序列以及无效文本序列，有效的文本序列对应的文本信息存在目标关系，目标关系为预期抽取的目标关键信息当中可能存在的关系。有效文本序列设置有效标记以及指定关系标记，无效文本序列仅设置有无效标记。[0046] 指定关系标记包括主体标记、关系标记以及客体标记。主体标记为目标领域的主体名称，例如：目标领域为景点时，公告当中的景点名称即为公告的主体，因而应当对应该公告文本中的景点名称添加主语标记；关系标记为目标抽取的关键信息中包括的关系，例如：若目标抽取公告当中与场所开闭相关的信息，则开闭可作为关系，当公告文本中存在与场所对应的开业或关闭时，对公告文本中的开业或关闭添加关系标记；客体标记为目标抽取的关键信息中与主体及关系相对应的客体，例如：若目标抽取公告当中与场所开闭相关的信息，且公告文本信息中的主体为场所名称、公告文本信息中的关系为开业或关闭，则公告文本信息中的客体即为场所开业或关闭的时间。[0047] S3、构建预训练模型，预训练模型可选区中文BERT预训练模型，将文本序列输入至预训练模型当中，预训练模型的输出结果即为文本序列所对应的特征向量，特征向量中的一定比例被划分为训练向量，训练向量占特征向量的比例可以为0.8。[0048] S4、构建第一模型与第二模型，第一模型用于区分输入的文本序列为有效文本序列还是无效文本序列，第二模型用于识别文本序列中的主体、关系以及客体。[0049] 利用训练向量对第一模型进行训练以得到文本二分类模型，利用训练向量对第二模型进行训练以得到关系抽取模型。[0050] 文本二分类模型以文本信息为输入，以分类结果为输出，所述分类结果包括有效结果与无效结果。有效的分类结果对应的文本信息存在目标关系，目标关系为联合模型预期抽取的目标关键信息当中可能存在的关系。[0051] 关系抽取模型以文本信息为输入，以主语语义结果、所述第一关系结果、所述第一客体结果为输出。将文本信息输入关系抽取模型后，关系抽取模型首先获得主语语义结果，主语语义结果与输入文本信息的主语相对应，随后，以所述主语语义结果为条件，对输入的文本信息进行ConditionalLayerNormalization(条件层归一化)，得到第一关系结果及第一客体结果。[0052] S5、联合文本二分类模型与关系抽取模型以得到联合模型。联合模型以文本信息为输入，以分类结果和主语语义结果为中间输出，以主语结果、所述第二关系结果、所述第二客体结果为最终输出。[0053] 将文本信息输入联合模型，联合模型首先获得分类结果和主语语义结果，将分类结果与主语语义结果相乘以得到主语结果，以主语结果为条件，对输入的文本信息进行ConditionalLayerNormalization(条件层归一化)，得到第二关系结果及第二客体结果。[0054] 实施例2[0055] 如图2所示，在实施例1的基础上，本实施例提出一种关系抽取联合模型训练方法，本实施例的关系抽取联合模型训练方法还包括：[0056] 步骤S2中将文本信息进行预处理包括：[0057] S21、将大写英文字母转化为小写英文字母、将繁体中文转化为简体中文、删除与语义无关的字符，如空格、乱码等，保留与语义相关的标点符号。[0058] S22、将文本信息按照预设长度进行截断以得到文本序列，预设长度不超过预训练模型适配的最大长度，具体步骤包括：[0059] 筛取文本信息中与目标关系相关联的关键词，以关键词的位置为中间位置对文本信息进行截断以得到文本序列；[0060] 和/或，对于截断后不满足预设长度的文本序列，提取前一文本序列的相邻字符至符合预设长度。[0061] S4包括：[0062] 第一模型的输出设置有第一评估指标，第二模型的输出设置有第二评估指标，特征向量包括测试向量，测试向量与训练向量皆由特征向量随机分配得到，测试向量与训练向量的比例为2：8。[0063] 利用测试向量对经过训练的第一模型、第二模型进行测试，若第一模型的测试结果没有达到第一评估指标，则调整第一模型的参数，进行再训练；[0064] 若第二模型的测试结果没有达到第二评估指标，则调整第二模型的参数，进行再训练。[0065] 若第一模型达到第一评估指标，则可将第一模型作为文本二分类模型部署上线，若第二模型达到第二评估指标，则可将第二模型作为关系抽取模型部署上线。[0066] S5包括：[0067] 主语语义结果的位数与输入文本信息中文本的数量及位置相对应，主语语义结果的输出范围为0与1之间，当主语语义结果大于0.5时，对应位置的文本为文本信息中主语的头部或尾部字符，即相邻的两个大于0.5的主语语义结果对应的文本之间为文本信息的主语。[0068] 为主语结果设定预设阈值，当主语结果大于预设阈值时，输入的文本信息与有效文本信息相对应，有效文本信息包含目标关系，且相邻的两个大于0.5的主语结果对应的文本之间为文本信息的主语。[0069] 设定预设阈值的具体步骤包括：[0070] 设定0.5为初始阈值，依照文本信息记载对应的联合模型输出的主语结果中应当大于初始阈值或小于初始阈值的位置以得到预期位置序列，将预期位置序列与对应的主语结果进行比较以得到误差位置与误差数量，记载误差位置对应的主语结果为误差结果；[0071] 将主语初始阈值向误差结果的平均数方向进行逐级调整，并重复测试主语结果所对应的误差数量，当所述误差数量最小时，以对应的初始阈值为主语预设阈值。[0072] 实施例3[0073] 如图3所述，本实施例提供一种关系抽取方法，基于实施例1与实施例2所训练得到的联合模型实现，本实施例的关系抽取方法包括：[0074] S1、输入公告文本信息至联合模型；[0075] S2、联合模型识别文本信息并输出分类结果，分类结果包括有效结果与无效结果，有效结果所对应的文本信息存在目标关系；[0076] S3、联合模型识别文本信息并对应输出主语语义结果，主语语义结果与文本信息的主语相对应，将分类结果与主语语义结果相乘以得到主语结果；[0077] S4、联合模型以主语结果为条件，对输入的文本信息进行ConditionalLayerNormalization(条件层归一化)，得到第二关系结果和第二客体结果。[0078] 实施例4[0079] 图4为本实施例提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1或实施例2的关系抽取联合模型训练方法。图4显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。[0080] 如图4所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。[0081] 总线33包括数据总线、地址总线和控制总线。[0082] 存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。[0083] 存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。[0084] 处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或实施例2的关系抽取联合模型训练方法。[0085] 电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。[0086] 应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。[0087] 实施例5[0088] 本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或实施例2的关系抽取联合模型训练方法的步骤。[0089] 其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。[0090] 在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或实施例2的关系抽取联合模型训练方法的步骤。[0091] 其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。[0092] 虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。[0093] 虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

专利地区：上海

专利申请日期：2022-05-09

专利公开日期：2024-11-29

专利公告号：CN114781398B