现代汉语语料库词语切分和词性标注规范在现代分词系统被广泛使用,中科院的分词系统中的词性标注也差不多采用这个标记集合。Yard中文分词系统在后面的版本中也将采用这个标记集合。
按代码的字母顺序排列的标记集
代码 名称 帮助记忆的诠释
Ag 形语素 形容词性语素。形容词代码为a,语素代码g前面置以A。
a 形容词 取英语形容词adjective的第1个字母。
ad 副形词 直接作状语的形容词。形容词代码a和副词代码d并在一起。
an 名形词 具有名词功能的形容词。形容词代码a和名词代码n并在一起。
b 区别词 取汉字“别”的声母。
c 连词 取英语连词conjunction的第1个字母。
Dg 副语素 副词性语素。副词代码为d,语素代码g前面置以D。
d 副词 取adverb的第2个字母,因其第1个字母已用于形容词。
e 叹词 取英语叹词exclamation的第1个字母。
f 方位词 取汉字“方” 的声母。
g 语素 绝大多数语素都能作为合成词的“词根”,取汉字“根”的声母。
h 前接成分 取英语head的第1个字母。
i 成语 取英语成语idiom的第1个字母。
j 简称略语 取汉字“简”的声母。
k 后接成分
l 习用语 习用语尚未成为成语,有点“临时性”,取“临”的声母。
m 数词 取英语numeral的第3个字母,n,u已有他用。
Ng 名语素 名词性语素。名词代码为n,语素代码g前面置以N。
n 名词 取英语名词noun的第1个字母。
nr 人名 名词代码n和“人(ren)”的声母并在一起。
ns 地名 名词代码n和处所词代码s并在一起。
nt 机构团体 “团”的声母为t,名词代码n和t并在一起。
nz 其他专名 “专”的声母的第1个字母为z,名词代码n和z并在一起。
o 拟声词 取英语拟声词onomatopoeia的第1个字母。
p 介词 取英语介词prepositional的第1个字母。
q 量词 取英语quantity的第1个字母。
r 代词 取英语代词pronoun的第2个字母,因p已用于介词。
s 处所词 取英语space的第1个字母。
Tg 时语素 时间词性语素。时间词代码为t,在语素的代码g前面置以T。
t 时间词 取英语time的第1个字母。
u 助词 取英语助词auxiliary 的第2个字母,因a已用于形容词。
Vg 动语素 动词性语素。动词代码为v。在语素的代码g前面置以V。
v 动词 取英语动词verb的第一个字母。
vd 副动词 直接作状语的动词。动词和副词的代码并在一起。
vn 名动词 指具有名词功能的动词。动词和名词的代码并在一起。
w 标点符号
x 非语素字 非语素字只是一个符号,字母x通常用于代表未知数、符号。
y 语气词 取汉字“语”的声母。
z 状态词 取汉字“状”的声母的前一个字母。
按名称的汉语拼音顺序排列的标记集
名称 代码 拼音
标点符号 w biao1dian3fu2hao4
成语 i cheng2yu3
处所词 s chu4suo3ci2
代词 r dai4ci2
地名 ns di4ming2
动词 v dong4ci2
动语素 Vg dong4yu3su4
方位词 f fang1wei4ci2
非语素字 x fei1yu3su4zi4
副词 d fu4ci2
副动词 vd fu4dong4ci2
副形词 ad fu4xing2ci2
副语素 Dg fu4yu3su4
后接成分 k hou4jie1cheng2fen4
机构团体 nt ji1gou4tuan2ti3
简称略语 j jian3cheng1lve4yu3
介词 p jie4ci2
连词 c lian2ci2
量词 q liang4ci2
名词 n ming2ci2
名动词 vn ming2dong4ci2
名形词 an ming2xing2ci2
名语素 Ng ming2yu3su4
拟声词 o ni2sheng1ci2
其他专名 nz qi2ta1zhuan1ming2
前接成分 h qian2jie1cheng2fen4
区别词 b qu1bie2ci2
人名 nr ren2ming2
时间词 t shi2jian1ci2
时语素 Tg shi2yu3su4
数词 m shu4ci2
叹词 e tan4ci2
习用语 l xi1yong4yu3
形容词 a xing2rong2ci2
形语素 Ag xing2yu3su4
语气词 y yu3qi4ci2
语素 g yu3su4
助词 u zhu4ci2
状态词 z zhuang4tai4ci2
分享到:
相关推荐
分词和词性标注工具分词和词性标注工具分词和词性标注工具分词和词性标注工具分词和词性标注工具
为了保证大规模语料加工这一项重要的语言工程的顺利进行,北大计算语言学研究所于1998年10月制订了《现代汉语文本切分与词性标注规范V2.0》(征求意见稿)。因这次加工的任务超出词语切分与词性标注的范围,故将...
《现代汉语语料库加工规范——词语切分与词性标注》词性标记
PFR人民日报标注语料库(版本1.0,下面简称PFR语料库)是在得到人民日报社新闻信息...PFR语料库的制作规范参阅《现代汉语语料库加工――词语切分与词性标注规范》。如果您在研究或论文工作中使用PFR语料库,请注明来源
用于中文分词的切分词典,还有词性标注,以这个词典数据库为基础建立文本分类,文本检索或文本过滤可以节省很多时间.很全,强烈推荐
BOTSALLY® 赛莉®中文语料自动标注 最近更新了一些重要功能:更新版的系统使用说明书,标注语料下载页面更新,XML文件转换功能,词性标注实体版,实体标注,还有事件标注。语料的下载仅用于科研实验,商业应用请...
为了使藏语语料库具有规范性、统一性和实用性,提高加工的整体水平,在藏语语料库的加工过程中首先要对五花八门的藏语语料库进行整理和统一,得到高质量的原始语料库,其次确定藏语原料库加工的切分单位,针对藏语的...
很多朋友需要标准语料来训练深度模型,语料到模型的过程中涉及很多方面的因素,需要综合考量。我们做了标准语料 切分和标签展示 无版权 不做商业用途。
一个用perl语言编写的文章切分程序,利用所给词库对语料进行切分……
文章目录《PFR人民日报标注语料库》词性编码表《现代汉语语料库加工规范——词语切分与词性标注》词性标记计算所 ICTCLAS 3.0汉语词性标记集形容词(1个一类,4个二类)区别词(1个一类,2个二类)连词(1个一类,1个二类...
“面向5G,基于集中/分布单元CU/DU(Centralized Unit/Distributed Unit)的两级架构也已经被业界所认可,这一网络架构与无线云化的结合,构成了5G C-RAN的两个基本要素”。由此可见,集中/分布单元CU/DU...
Python基于预训练大模型BERT微调完成的词语切分中文分词任务源代码+数据集
BOTSALLY® 赛莉®中文语料自动标注 精细切分标注标签展示样例1_新闻。在多个标注员协作标注同一个标注任务的需求下,标注的一致性仍然有保证的。可以降低标注员的学习门槛。快速扩充标注团队。测试阶段,每个管理...
(1)水平切分和垂直切分 二、Sharding-JDBC 1、什么是 Sharding-JDBC 2、使用 Sharding-JDBC 水平切分 3、使用 Sharding-JDBC 垂直切分 4、使用 Sharding-JDBC 操作公共表 5、使用使用 Sharding-JDBC 读写分离 三、...
文件切分合并工具源码
对短文本中词项按词性进行切分构建词性向量,将词性向量中词项进行归并构建词性空间,首次提出对词性空间的权值进行动态定义。词项在词性空间中映射权值通过词项词频信息和WordNet语义词典得到,短文本之间相似度...
计算语言学词法分析中关于词性切分、词性标注、词法分析等问题
bosonNER data pretreatment 玻森命名实体识别数据集的预处理,按照8:1:1进行训练集、验证集与测试集的切分,标注体系BMES 文件说明 python处理程序执行后,读取data文件夹下的boson数据,处理后在result文件夹生成...
精彩编程与编程技巧-切分字符串 ...
基于机器学习的古代汉语切分标注算法及语料库研究(毕业设计包含完整代码+论文+资料ppt).zip