This paper explores how to prepare data for analyzing the Chinese texts with R language based on the theory of Welbers, particularly comparing the R package Rwordseg with jiebaR to see the results of Chinese text segmentation at the step of preprocessing.
R语言起源于上世纪六七十年代由美国贝尔实验室开发的S语言。到90年代Ross Ihka和Robert Gentleman在S语言基础上开发出R语言。取名为R的原因是两位开发者的名字的首字母均为R。R语言可以用来编程，进行统计学分析，还可以绘图。R语言作为一种开源软件，拥有众多针对解决不同实际问题的安装包，比如用于制图的ggplot2包，用于统计分析的Car，Power Analysis包等。王家钺认为，数据可视化(制图)能力是R的巨大优势之一；相比SPSS，它的统计包功能更有助于激发想象力和创造力。(王家钺，2019) [
Welbers等认为“数据准备是任何数据分析的起点”。文本分析也无法绕开数据准备的工作。如表1所示，他把数据准备分为5个按先后顺序执行的步骤：文本导入，字符串操作，预处理，文档词条矩阵创建，矩阵筛选和加权，并且列出各步骤可用的R语言程序包(Welbers等，2017) [
其中导入文本和字符串操作是文本分析的常规操作，而从预处理开始的步骤是数据准备的难点。预处理包括多种处理方法，如标识化(tokenization)、标准化(将所有英文字符转为小写以及去除词缀，便于统一处理)、去除停用词等。Welbers (2017) [
王建红等在对马克思的《资本论》进行情感分析前，对其英文文本进行了数据准备处理。他手动删除了干扰性的脚注、章节目录、表格、计算公式等，去除大约十万余单词、数字、字符等，最终得到精简的英文文本(王建红等，2020) [
朱昶胜等在研究股票网评论文本时，提到了中文文本挖掘。他将中文文本挖掘分成七个步骤：中文分词、合并同义词、去停用词、TF-IDF (词频逆文本)、生成矩阵、特征降维(主要是指删除占比例小的词语)、生成模型(朱昶胜等，2018) [
表1. 数据准备步骤及推荐的R程序包 [
这前6个步骤全部可归入Welbers的数据准备部分。最后的步骤生成模型，依据Welbers的分类，应属于数据分析部分。此外，按照朱昶胜等所述，合并同义词是指“将意思相似或相同的词语用同一个词语代替，从而实现降维和提高文本处理的准确性”(朱昶胜等，2018) [
如前所述，Welbers所列的方法主要是针对英文文本这种单词有明显分界的语言。那么中文词汇分界不明显，其数据准备必然面临很大挑战。对中文文本进行分词属于数据准备的预处理环节，中文文本数据准备的难点就出现这个环节。
(一) 中文分词的技术发展
根据唐琳等的最新研究，中文分词模型算法的发展有三个阶段：基于匹配的词典分词、基于标注的机器学习算法、和基于理解的深度学习算法。词典分词法又称为机械分词法，而机器学习算法和深度学习算法统称为统计分词法(唐琳等，2020) [
为解决中文分词问题，研发人员在不同平台上开发了多种中文分词程序。R语言平台上，中文分词程序比较有代表性的是Rwordseg [
吴丹露等曾对rmmseg4j包、RsegWord包和Rwordseg包等3个分词程序包进行比较，检验对“大数据时代政府服务解读”，“基于R软件可视化及主题”两个例句进行分词的效果。结果发现Rwordseg分词正确率最高，不受新加入词库的新词干扰，且中英文混合词也能识别(吴丹露等，2015) [
Rwordseg的帮助文档，说明其分词算法模型是HMM，即隐马尔可夫模型，是一种机器学习算法，属于统计分词法。Rwordseg可以使用setAnalyzer函数，选择其他算法模型来分词，比如“fmm”，“coreNLP”，以及“jiebaR”。FMM是正向最大匹配法，属于机械分词法。coreNLP是斯坦福自然语言处理小组开发的java程序，支持中文分词，R通过Rjava支持对其调用。
jiebaR则是与Rwordseg一样，可以实现分词的R程序包。Rwordseg可以调用jiebaR来分词。在Rwordseg的函数setAnalyzer帮助文档中，特别说明Rwordseg默认的HMM分词处理器是由内部R代码来执行的，目前仍然在完善之中。帮助文档建议，如要提升分词效果，选择fmm，coreNLP，jiebaR。由此可见，Rwordseg的开发维护人员是认为jiebaR的分词效果强于Rwordseg的。
R-project文档介绍，jiebaR支持四种分词模式，包括最大概率法、隐马尔可夫模型、混合模型、索引模型。相比Rwordseg程序包，jiebaR除了HMM模式增加了另外三种分词模式。最大概率法是将分词结果中最大概率的选项确定为最终结果，因此属于统计分词法。混合模型是将最大概率法和隐马尔可夫模式结合进行分词。索引模型是在运行混合模型进行分词后，再到词库中寻找匹配词，结合了词典分词法和统计分词法。四种模式都有各自优点，但其核心是最大概率法。此外，jiebaR还能利用搜狗细胞词库，这样大大提升其实用性。
确认两种程序包哪种分词效果好，只须通过对同一个文本样本进行分词即可验证。Rwordseg和jiebaR是比较流行的R程序包，使用者众多，得到广泛认可。如仅对普通的文本进行分词，两个程序包的算法模型没有得到充分挑战，分词区分度不会太高。所以笔者选取一段新浪网最新报道以及《红楼梦》的一段文字来对比分词效果。前者是新闻，有很多新词、专有名词；后者是古典作品，文白混杂，对分词软件的技术挑战很大，预测两个软件包会有不同的分词结果，分词效果会有明显的区分。
(二) Rwordseg与jiebaR程序包的新闻报道分词效果对比
新闻报道的分词对比实验样本，选取的是一篇关于民法典的新闻片段。这篇新闻报道的标题是《民法典正式施行！婚姻法继承法合同法等废止，2021年你的生活将有这些大不同》，所选取的片段如下：
“民法典将正式施行，现行婚姻法、继承法、民法通则、收养法、担保法、合同法、物权法、侵权责任法、民法总则同时废止。”(45字) (杨杰，2021) [
比较表2中Rwordseg和jiebaR的结果，能发现除了“侵权责任法”拆分成“侵权”和“责任法”，“民法总则”拆分成“民法”和“总则”之外，jiebaR准确识别出其他所有词。jiebaR未能识别出来的两个专有名词，拆分后并没有影响读者的理解。Rwordseg则未能正确识别出所有的法律法规名，并且“民法典”拆成“民”和“法典”，“继承法”拆成“继”和“承法”，“收养法”拆成“收”和“养法”，“担保法”拆成“担”和“保法”是明
表2. 新浪网关于民法典等新闻报道的分词结果对比
显的错误，影响了读者的理解。
新闻报道通常要求及时和最新，以上的分词结果证明在新词、专有名词上面，jiebaR比Rwordseg分词效果要好，更适合新闻报道的文本数据预处理。
(三) Rwordseg与jiebaR程序包的经典文本分词效果对比
经典文本的样本，选取《红楼梦》程乙本校注版第一百二十回贾雨村和甄士隐的一段对话：
雨村听了，虽不能全然明白，却也十知四五，便点头叹道：“原来如此，下愚不知！但那宝玉既有如此的来历，又何以情迷至此，复又豁悟如此？还要请教。士隐笑道：“此事说来，先生未必尽解。太虚幻境，既是真如福地。两番阅册，原始要终之道，历历生平，如何不悟？仙草归真，焉有‘通灵’之不复之理呢？”(123字) [
在使用Rwordseg和jiebaR执行分词后，标点符号空格等干扰信息都自动删除。总共发现有11处不同的分词，共36个字，占整个样本的比重为29.3%。其他均为相同的分词，共87个字，占比70.7%。本文重点分析不同的分词结果项，所以将识别出来的相同词删去。两个软件包不同分词结果项如表3：
在表3结果中，存在有两种分词结果都可判定为正确，但其中一种更优的情况。两种都可判定为正确的分词比较情况如表4：
依据明显正确、明显错误、更优的三种分类，对分词结果统计分析如表5：
根据表5数据，通过计算可以得出以下结果：
1) 不同分词结果项中，jiebaR三个统计项目表现更好。jiebaR明显正确项多于Rwordseg，更优项远多于Rwordseg，且明显错误项少于Rwordseg。
表3. Rwordseg和jiebaR对同一红楼梦选段的不同分词结果项
表4. Rwordseg和jiebaR对同一红楼梦选段的分词更优项
表5. Rwordseg和jiebaR对同一红楼梦选段的不同分词正、误、更优项统计
2) jiebaR样本总体分词准确率高于Rwordseg。如果默认两种软件包同样的分词项为正确项，并且不管分词是否更优，仅计算准确分词的比率，那么准确率 = (样本总字数 − 分词明显错误项字数)/样本总字数。总字数按123字计，jiebaR准确分词字数为123 − 9 = 114字，因此jiebaR的分词准确率约为92.7%；Rwordseg准确分词字数为123 − 10 = 113字，准确率约为91.9%。两个软件都有满意的分词准确率，虽然二者差距不大，但jiebaR略高。
3) jiebaR更优项比率高于Rwordseg。按占整个文本字数(123字)比重计，jiebaR更优项为14字，比重为11.4%，Rwordseg更优项为3字，比重为2.4%；按占各自准确分词字数比重计，jiebaR (准确分词字数114字)更优项为12.3%，Rwordseg (准确分词字数为113字)为2.7%。jiebaR最优项占总字数比率以及准确识别字数比率都要超过Rwordseg软件包9~10个百分点，表明分词的质量远好于Rwordseg。
此外，比较分词项具体分词内容，还可发现jiebaR能正确识别出4字词，比如第【7】处“太虚幻境”和第【9】处“原始要终”。第【4】处虽然jiebaR将“那宝玉”识别为一个词，Rwordseg识别为“那”和“宝玉”更优，但侧面也证明jiebaR识别三字词的能力。这会是jiebaR分词的一大优势。相比之下，Rwordseg没有识别出1个超过两个字的词。
尽管jiebaR综合表现优秀，但也有两处明显分词错误。分词结果第【8】处“真如福地”中的“真如”，意指“永恒真理”，是个完整的词，却拆分成了“真”和“如”。第【11】处“通灵之不复之理”全部拆为单个字，至少“通灵”应该能识别出，但没有做到。如果分析体量大的中文经典文本，这样的分词错误会影响最终的文本分析结果，可能会得出错误的结论。而这两处分词，Rwordseg得出了正确的结果，准确识别出“真如”、“通灵”、“不复”等。所以为提升分析的结果准确性，建议在分析经典文本时，尝试分别用jiebaR和Rwordseg进行分词，再比较二者的分词结果项，择优选用。
依据Welbers的理论，文本分析之前的重要工作是数据准备，它按照先后顺序分为文本导入，字符串操作，预处理，文档词条矩阵创建以及对矩阵过滤和加权。在预处理阶段，中文由于是连续字符串，相比英文缺乏明显的词分界，中文分词恰好是数据准备预处理环节的重难点。
在R语言平台上，Rwordseg和jiebaR是有代表性的两个分词程序。通过对新浪网的最新中文新闻样本和红楼梦的一段中文经典样本的分词效果比较，发现在两种文本的分词上，jiebaR均要优于Rwordseg。在有限的文本分词实验中，未发现Rwordseg能识别出大于两个字的汉语词，但是jiebaR可以识别出四字词，并且证明有识别三字词的能力。
因此在使用R程序包分析中文文本时，jiebaR是首选的分词程序。具体到新闻报道和经典文本两类的分词，jiebaR对新闻报道的分词没有明显错误，所以jiebaR更适合用于新闻报道文本的分词。对经典文本分词时，jiebaR有两处明显错误，由此得出这可能会影响甚至误导经典作品全文或者大型中文语料库的分析结论。所以使用jiebaR分析经典文本时，最好能参考Rwordseg分词结果，来综合两种分词程序的优点。
尽管本文采用的分词语料具有一定的代表性，但是网络文本仅45字，经典文本为123字，因此根据这两个字数有限的样本得出的结论，还需在后续的研究中，通过大量的文本语料实验或统计分析，进一步验证。
最后，现阶段各种分词软件都不是完美的，需要在实践中找到各自的优缺点，扬长避短。同时还需要继续研究更好的分词技术，完善现有的分词软件，使研究人员分析更多类别的中文文本时，得到好的分词效果。
The author declares no conflicts of interest.
Li, J. (2021) The Exploration of the Approach to Data Pre- paration for Chinese Text Analysis Based on R Language. Open Access Library Journal, 8: e7821. https://doi.org/10.4236/oalib.1107821
基于R语言的中文文本分析数据准备方法探讨
摘要：本文依据Welbers等的数据准备框架，探索如何利用R语言准备中文的文本分析数据，重点在于比较数据预处理环节，Rwordseg和jiebaR程序包的中文分词效果。
关键词：数据准备，文本分析，R语言，中文分词