51CTO博客开发
利用现有资源快速实现汉语专用分词系统 年洪东 (南京师范大学文学院 ,江苏 南京 210097) [摘要] 汉语的自动分词是进行汉语语言处理的基础，也是广大语言工作者建立自己专用语料库的基础工作，本文利用网上一些开源的软件工具和语料资源实现了针对新闻语料的专用分词系统，经测试分词准确率和召回率均达到了令人满意的效果。 [关键词] 自动分词 条件随机场 由字构
一、 引言 自然语言处理的流程可以划分为分析和生成两大部分。自然语言生成固然也有很多难题，但几十年来，自然语言处理研究的重点是分析。自然语言分析的关键就是识别与消解自然语言的歧义。人与人的交流由于有共同的知识背景，并且能领会交流的环境和过程，通常不会产生误解。但是，作为语言学研究对象的任何一个语言单位，如词、短语和句子等，如果脱离语境而孤立存在，通常都是有歧义的。当交流在人和机器之间进行时，由于
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
