基于多算法融合的标准文本关键词提取与歧义处理方法研究

doi:10.12267/j.issn.2096-5931.2025.02.014

摘要/Abstract

摘要：

首先,基于多算法融合的标准文本关键词提取与歧义处理方法基于TF-IDF和TextRank相结合,同时在考虑词语位置、词性、词长与词频的基础上完成标准文本的关键词提取;然后,利用Hanlp对相同文本进行处理,并完成对比歧义处理。通过试验结果分析,该方法对于标准文本的关键词提取与歧义处理的效率提升、处理质量有显著效果,也为大模型结合知识库与智能体开展标准知识挖掘提供一种创新方法。

关键词: 标准文本, 关键词, 提取, 歧义

Abstract:

Firstly, the extraction and ambiguity handling method of standard text keywords based on multi-algorithm fusion combines TF-IDF and TextRank, while considering word position, part of speech, word length, and word frequency to complete the keywords extraction of standard text. Then, it uses Hanlp to process the same text and complete the contrastive ambiguity processing. Through the analysis of experimental results, this method has a significant effect on improving the efficiency and processing quality of keywords extraction and ambiguity handling in standard texts. It also provides an innovative approach for large models to conduct standard knowledge mining by combining knowledge bases with intelligent agents.

Key words: standard text, keywords, extraction, ambiguity

中图分类号:

TP391.1

付振秋, 田辉. 基于多算法融合的标准文本关键词提取与歧义处理方法研究[J]. 信息通信技术与政策, 2025, 51(2): 87-96.

FU Zhenqiu, TIAN Hui. Research on the extraction and ambiguity handling method of standard text keywords based on multi-algorithm fusion[J]. Information and Communications Technology and Policy, 2025, 51(2): 87-96.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2025.02.014

http://ictp.caict.ac.cn/CN/Y2025/V51/I2/87

图/表 8

参考文献 30

[1]	欧阳文涛, 朱家明, 戴定华. 基于LDA-SVM算法模型对唐宋诗词分词及特征的计量分析[J]. 黑龙江大学自然科学学报, 2023, 40(4):394-400.
[2]	邱宁佳, 贺金彪, 薛丽娇, 等. 融合语义特征的加权朴素贝叶斯分类算法[J]. 计算机工程与设计, 2020, 41(9):2523-2529.
[3]	SALEH A A. Arabic questions classification using modified TF-IDF[J]. IEEE ACCESS, 2021,9:95109-95122.
[4]	阎红灿, 李铂初, 谷建涛. 一种基于共现关键词的TextRank文摘自动生成算法[J]. 计算机工程与科学, 2023, 45(11):2060-2069.
[5]	ZHOU W, LEI S, XIA C, et al. LDA-ID: an LDA-based framework for real-time network intrusion detection[J]. China Communications, 2023, 20(12):166-181. doi: 10.23919/JCC.ea.2021-0446.202302
[6]	范明哲. 融合LSA和依存句法的主观题自动评分系统研究与开发[D]. 赣州: 江西理工大学, 2023.
[7]	杨文忠, 丁甜甜, 康鹏, 等. 基于舆情新闻的中文关键词抽取综述[J]. 计算机工程, 2023, 49(3):1-17. doi: 10.19678/j.issn.1000-3428.0064374
[8]	蔡宇翔, 骆妲, 甘洋镭, 等. 基于跨度边界感知的嵌套命名实体识别[J]. 软件学报, 2024, 35(11):5149-5162.
[9]	兰晓芳, 刘卓, 许志豪, 等. 基于TF-IDF和TextRank结合的中文文本关键词提取方法:以体育新闻为例[J]. 软件工程, 2023, 26(8):6-10.
[10]	SHEN L F, LI S S, CHEN Y. KATG: keyword-bias-aware adversarial text generation for text classification[C]. The Thirty-Sixth AAAI Conference on Artificial Intelligence, 2022:11294-11302.
[11]	ELANGOVAN V, MAURYA K K, KUMAR D, et al. DivHSK: diverse headline generation using self-attention based keyword selection[C]. ACL, 2023,7:1879-1891.
[12]	KOLOSKI B, POLLAK S, KRLJ B, et al. Extending neural keyword extraction with TF-IDF tagset matching[C]. Association for Computational Linguisticts, 2021,4:22-29.
[13]	徐恺, 王振宇, 王旭, 等. 基于强化学习的任务型对话策略研究综述[J]. 计算机学报, 2024, 47(6):1201-1231.
[14]	QI J, ZHANG C C, WANG X Z, et al. Preserving knowledge invariance: rethinking robustness evaluation of open information extraction[C]. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023,12:5876-5890.
[15]	GIACOMO F, GIANLUCA M, LORENZO B. Text-to-text extraction and verbalization of biomedical event graphs[C]. In Proceedings of the 29th International Conference on Computational Linguistics, 2022,2692-2710.
[16]	蒋竞, 刘子豪, 张莉, 等. 基于改动树检索的拉取请求描述生成方法[J]. 软件学报, 2024, 35(11):5065-5082. DOI:10.13328/j.cnki.jos.007047.
[17]	余辉, 魏梓萌, 夏文蕾, 等. 跨领域跨时间的技术需求热点分布及其趋势预测[J]. 情报理论与实践, 2024, 47(5):139-147. DOI:10.16353/j.cnki.1000-7490.2024.05.016.
[18]	刘萌, 齐孟津, 詹圳宇, 等. 基于深度学习的图像-文本匹配研究综述[J]. 计算机学报, 2023, 46(11):2370-2399.
[19]	LI L S, LIAN R Y, LU H B, et al. Document-level biomedical relation extraction based on multi-dimensional fusion information and multi-granularity logical reasoning[C]. In Proceedings of the 29th International Conference on Computational Linguistics, 2022,2098-2107.
[20]	鞠天杰, 刘功申, 张倬胜, 等. 自然语言处理中的探针可解释方法综述[J]. 计算机学报, 2024, 47(4):733-758.
[21]	王永剑, 孙亚茹, 杨莹. 自适应短文本关键词生成模型[J]. 北京航空航天大学学报, 2022, 48(2):199-208.
[22]	程芮, 张海军. 一种基于数据增强的科技文献关键词提取模型[J]. 情报杂志, 2024, 43(1):135-141,120.
[23]	毕鑫, 聂豪杰, 赵相国, 等. 面向知识图谱约束问答的强化学习推理技术[J]. 软件学报, 2023, 34(10):4565-4583.
[24]	王玉叶, 王玙. 基于图神经网络的专利关键词提取算法研究[J]. 情报理论与实践, 2023, 46(5):202-208. DOI:10.16353/j.cnki.1000-7490.2023.05.023.
[25]	严梓豪. 基于关键句和关键词联系的文本抽取方法研究[D]. 南京: 南京财经大学, 2023. DOI:10.27705/d.cnki.gnjcj.2023.000114.
[26]	路永和, 李焰锋. 改进TF-IDF算法的文本特征项权值计算方法[J]. 图书情报工作, 2013, 57(3):90-95.
[27]	JINYE L. A comparative study of keyword extraction algorithms for english texts[J]. Journal of Intelligent Systems, 2021, 30(1):808-815.
[28]	QIAN Y, JIA C, LIU Y. Bert-based text keyword extraction[J]. Journal of Physics: Conference Series, 2021, 1992(4):042077.
[29]	常博林, 袁义国, 李斌, 等. 融合部首信息的古汉语自动分词与词性标注一体化分析[J]. 数据分析与知识发现, 2024, 8(11):102-113. doi: 10.11925/infotech.2096-3467.2023.0834
[30]	朱炫鹏, 姚海东, 刘隽, 等. 大语言模型算法演进综述[J]. 中兴通讯技术, 2024, 30(2):9-20.

词性	名词	动词	形容词	副词	其他
数量/个	6 754	2 345	1 023	496	571
占比	60.37%	20.96%	9.14%	4.43%	5.10%

词性	名词	动词	形容词	副词	其他
数量/个	6 754	2 345	1 023	496	571
占比	60.37%	20.96%	9.14%	4.43%	5.10%

关键词词长	1	2	3	4	5	6~8	>8
数量/个	19	1 673	1 051	1 342	406	231	11
占比	0.40%	35.35%	22.21%	28.35	8.58%	4.88%	0.23%

关键词词长	1	2	3	4	5	6~8	>8
数量/个	19	1 673	1 051	1 342	406	231	11
占比	0.40%	35.35%	22.21%	28.35	8.58%	4.88%	0.23%

关键词/个	算法/方法	Pre	Rec	F1
3	TF-IDF	0.7 635	0.2 201	0.3 532
	TextRank	0.7 662	0.2 221	0.3 546
	TFTR	0.8 217	0.2 283	0.3 613
	大模型	0.8 123	0.2 216	0.3 601
	融合处理	0.8 455	0.2 381	0.3 679
4	TF-IDF	0.6 543	0.2 415	0.3 451
	TextRank	0.6 607	0.2 487	0.3 546
	TFTR	0.7 678	0.2 771	0.3 997
	大模型	0.7 599	0.2 767	0.3 973
	融合处理	0.7 816	0.2 865	0.4 073
5	TF-IDF	0.5 856	0.2 742	0.3 657
	TextRank	0.6 085	0.2 874	0.3 826
	TFTR	0.7 148	0.3 265	0.4 403
	大模型	0.7 136	0.3 241	0.4 391
	融合处理	0.7 210	0.3 324	0.4 471
6	TF-IDF	0.5 543	0.3 298	0.3 894
	TextRank	0.5 792	0.3 277	0.4 089
	TFTR	0.6 736	0.3 668	0.4 712
	大模型	0.6 721	0.3 631	0.4 701
	融合处理	0.6 861	0.3 773	0.4 753
7	TF-IDF	0.5 249	0.3 412	0.4 045
	TextRank	0.5 479	0.3 587	0.4 178
	TFTR	0.6 376	0.4 100	0.4 811
	大模型	0.6 356	0.4 067	0.4 793
	融合处理	0.6 410	0.4 130	0.4 999
8	TF-IDF	0.4 985	0.3 674	0.4 159
	TextRank	0.5 243	0.3 879	0.4 397
	TFTR	0.6 027	0.4 315	0.4 817
	大模型	0.5 999	0.4 310	0.4 803
	融合处理	0.6 106	0.4 409	0.4 913
9	TF-IDF	0.4 697	0.3 869	0.4 143
	TextRank	0.4 973	0.4 098	0.4 371
	TFTR	0.5 561	0.4 416	0.4 870
	大模型	0.5 524	0.4 410	0.4 863
	融合处理	0.5 632	0.4 511	0.4 997
10	TF-IDF	0.4 432	0.4 027	0.4 139
	TextRank	0.4 718	0.4 287	0.4 411
	TFTR	0.5 246	0.4 655	0.4 891
	大模型	0.5 239	0.4 651	0.4 883
	融合处理	0.5 323	0.4 745	0.4 898