基于GATE的中文领域信息抽取研究
摘 要:为了准确快速地抽取出用户感兴趣的信息,本文提出基于GATE的领域信息抽取。本文以“教育”领域为例,修改GATE的中文抽取插件Lang_chinese,精准快速地抽取出该领域的学校名、专业名、人名,为进一步提高中文信息抽取的准确率和召回率提供了研究基础。
关键词:GATE;领域抽取
中图分类号:TP391.1
随着现代通信和传播技术的不断发展,信息巨量生产、高速传播,人们被大量汹涌而来的信息所包围。怎么从浩瀚如烟的信息海洋中快速、准确地找到所需要的信息成为当前信息处理的研究重点。
1 信息抽取与GATE框架
1.1 信息抽取。信息抽取(Information Extraction,简称IE)是指从文本中直接抽取用户感兴趣的信息,以结构化的形式存入数据库中,可供用户直接使用或进行下一步的信息处理[1]。信息抽取是领域相关的,只能抽取特定领域或某些范围内有限种类的信息。当有大量的文本需要阅读处理的时候,信息抽取可以高效、精准地提取出所需要的领域信息。
1.2 GATE框架。GATE(General Architecture for Text Engineering)是英国Sheffield大学开发的,应用非常广泛的开源性自然语言处理框架。GATE框架为信息抽取提供了基本平台[2]。针对英文信息抽取,已经开发了基于该框架的应用实例插件ANNIE。ANNIE在英文信息抽取的准确率和召回率方面均已达到较高水准,并被一些商业公司使用,如惠普、大英电信等。
2 基于GATE的中文领域信息抽取
2.1 GATE中自带的中文信息抽取插件。GATE平台除了提供英文信息抽取插件ANNIE,也提供了中文信息抽取插件Lang_Chinese,但其设计比较简单。以中文插件Lang_Chinese的默认设置对文本进行抽取时,如希望能抽取出需要的领域信息,如在“教育”领域希望抽取出“学校”等组织单位,“校长”等人员信息,则结果不能让人满意。
分析其中的原因,主要有以下几点:(1)中文分词处理不够专业。(2)缺乏针对专业领域构造的中文词表库。(3)GATE中自带的JAPE抽取规则,多是针对英文命名实体识别编写,对中文支持不够,导致相当部分的中文不能被识别到。
2.2 改进的GATE中文领域信息抽取。本研究选取Gate7.1为开发平台,针对其中文信息抽取插件Lang_Chinese的不足,面向“教育”领域,研究了改进的方法。下面就其中的关键技术予以介绍:(1)文档预处理。本研究采用中科院计算技术研究所开发的ICTCLAS分词系统对文档进行分词预处理。本研究将分词后的文档删去词性信息,将分开的词组使用空格隔开,这样就和英文的格式相同,每个分开后的词语可做为一个Token,便于GATE抽取。(2)增加领域词表。词表是GATE进行信息抽取的重要资源,词表的丰富完整影响着命名实体的识别效果。Gate中的词表用.lst文件表示,中文组件中自带有城市名、组织名、公司名等。然后这些词表名存在.def索引文件中供匹配访问。(3)修改JAPE规则。GATE中使用JAPE规则来实现命名实体的识别。本文针对中文“教育”领域,编写对应的JAPE规则,使得该领域的命名实体能够得到准确的识别抽取。
学校识别。GATE7.1中可以使用自带unversity.lst词表将部分大中专院校识别为组织(organization),但对众多的中小学无法识别。并且组织标注集含义广泛,学会、公司、政府机构等都会被识别为组织。为了更有针对性的进行识别,本研究新增学校(school)标注,并分别针对中小学、本专科院校及其他各类学校撰写相应的规则。
Macro:PRIMARY_HIGH //定义识别中小学的宏
({Token.string=="小学"}|{Token.string=="附小"}|{Token.string=="中学"}|{Token.string=="附中"}|{Token.string=="小"}|{Token.string=="中"})
期刊库(http://www.zgqkk.com),是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导,寻求投稿辅导合作,快速投稿辅导,投稿辅导格式指导等解决方案:省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。
【免责声明】本文仅代表作者本人观点,与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。
投稿辅导服务咨询与期刊合作加盟
陆老师联系QQ: 913775405(普刊)
蒋老师联系QQ: 867306987(核心)
刘老师联系QQ: 271374912(核心)
联系电话:18015016272
17327192284
投稿辅导投稿邮箱:zgqkk365@126.com
期刊推荐
- 《课程教育研究》 旬刊 国家级
- 《网络空间安全》(信息安全与技术)月刊 国
- 《价值工程》旬刊 国家级 科技统计源期刊
- 《高教论坛》 月刊 省级
- 《法制与社会》旬刊 省级
- 《中国教育学刊》月刊 14版北大核心
- 《语文建设》 旬刊 14版北大核心
- 《中国绿色画报》 月刊 国家级
- 《社科纵横》季刊 社科类优秀期刊
- 《求索》月刊 14版北大核心期刊
- 《财会月刊》旬刊 14版北大核心
- 《艺术品鉴》 月刊 省级
- 《中华建设》月刊 国家级 建设类优秀期刊
- 《教学与管理》旬刊 北大核心
- 《当代经济》 旬刊 省级
- 《新课程研究》旬刊 省级 教育类优秀学术期
- 《文教资料》 旬刊 省级
- 《学术界》 月刊 双核心
- 《吉林教育》旬刊 省级 教育类学术期刊
- 《中国农业资源与区划》 月刊 14版北大核心
- 《继续教育研究》月刊 北大核心期刊
- 《财经界(学术版)》半月刊 国家级
- 《电影评介》半月刊 14版北大核心
- 《公路交通科技》 月刊 北大核心
- 《新闻传播》月刊 省级 新闻类优秀期刊