• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
成果搜索

author:

杨三和 (杨三和.) [1] | 赖沛超 (赖沛超.) [2] | 傅仰耿 (傅仰耿.) [3] (Scholars:傅仰耿) | 王一蕾 (王一蕾.) [4] (Scholars:王一蕾) | 叶飞扬 (叶飞扬.) [5] | 张林 (张林.) [6]

Abstract:

为解决中文小样本命名实体识别(NER)任务所面临的问题和挑战,提出了一种面向中文小样本NER的BERT优化方法,该方法包含两方面的优化:首先,针对训练样本数量不足限制了预训练语言模型BERT的语义感知能力的问题,提出了 Pro-ConBERT,一种基于提示学习与对比学习的BERT预训练策略.在提示学习阶段,设计掩码填充模板来训练BERT预测出每个标记对应的中文标签词.在对比学习阶段,利用引导模板训练BERT学习每个标记和标签词之间的相似性与差异性.其次,针对中文缺乏明确的词边界所带来的复杂性和挑战性,修改BERT模型的第一层Transformer结构,并设计了一种带有混合权重引导器的特征融合模块,将词典信息集成到BERT底层中.最后,实验结果验证了所提方法在中文小样本NER任务中的有效性与优越性.该方法结合BERT和条件随机场(CRF)结构,在4个采样的中文NER数据集上取得了最好的性能.特别是在Weibo数据集的3个小样本场景下,模型的F1值分别达到了 63.78%、66.27%、70.90%,与其他方法相比,平均F1值分别提高了16.28%、14.30%、11.20%.此外,将ProConBERT应用到多个基于BERT的中文NER模型中能进一步提升实体识别的性能.

Keyword:

BERT模型 中文小样本命名实体识别 对比学习 提示学习 特征融合 预训练

Community:

  • [ 1 ] [王一蕾]福州大学计算机与大数据学院,福州 350108
  • [ 2 ] [叶飞扬]福州大学计算机与大数据学院,福州 350108
  • [ 3 ] [张林]福州大学计算机与大数据学院,福州 350108
  • [ 4 ] [傅仰耿]福州大学计算机与大数据学院,福州 350108
  • [ 5 ] [杨三和]福州大学计算机与大数据学院,福州 350108
  • [ 6 ] [赖沛超]福州大学计算机与大数据学院,福州 350108

Reprint 's Address:

Email:

Show more details

Related Keywords:

Source :

小型微型计算机系统

ISSN: 1000-1220

Year: 2025

Issue: 3

Volume: 46

Page: 602-611

Cited Count:

WoS CC Cited Count:

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count:

Chinese Cited Count:

30 Days PV: 4

Online/Total:227/9857626
Address:FZU Library(No.2 Xuyuan Road, Fuzhou, Fujian, PRC Post Code:350116) Contact Us:0591-22865326
Copyright:FZU Library Technical Support:Beijing Aegean Software Co., Ltd. 闽ICP备05005463号-1