深度学习中文分词调研

hankcs 2017-08-10

随着深度学习的普及,有越来越多的研究应用新模型到中文分词上,让人直呼“手快有,手慢无”。不过这些神经网络方法的真实水平如何?具体数值多少?以Sighan05中的PKU数据集为例,真像一些论文所言,一个LSTM-CRF就有96.5%吗?或者像某些工业界人士那样,动辄“基于深度学习的98%准确率”,“99%的分词成功率”吗?如果数字真的这么好看,那中文分词这个课题几乎没有研究意义了。更何况,中文分词标准难以统一,任何语料库都存在内部标注一致性(inter-annotatoragreement)的问题。一些著...
继续阅读深度学习中文分词调研原文链接:http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html

查看更多主题的豆瓣日记和相册

hankcs
作者hankcs
274日记 0相册

全部回应 0 条

添加回应

hankcs的热门日记

值得一读

    豆瓣
    我们的精神角落
    免费下载 iOS / Android 版客户端
    App 内打开