结巴 R语言 r语言jieba

admin2024-08-22  12

文本分词,就是对文本进行合理的分割,从而可以比较快捷地获取关键信息。例如,电商平台要想了解更多消费者的心声,就需要对消费者的文本评论数据进行内在信息的数据挖掘分析,而文本分词是文本挖掘的重要步骤。R语言中,对中文分词支持较好的包有RWordseg包和jiebaR包,这里学习jiebaR包。

一、jiebaR包简介

jiebaR 是中文分词的R语言版本,支持最大概率法(Maximum Probability),隐式马尔科夫模型(Hidden Markov Model),索引模型(QuerySegment),混合模型(MixSegment),共四种分词模式,同时有词性标注,关键词提取,文本Simhash相似度比较等功能。如果你想要用 R 语言做中文分词的话,我强烈建议你使用 jiebaR 包,其下载和使用都比较简单,都不需要复杂的配置,上手比较容易。

1. jiebaR包的安装和调用

install.packages("jiebaR")
library("jiebaR")

library(wordcloud2)       #用于绘制词云图;
library(dplyr)            #高效的数据整理工具。

2. jiebaR分词示例

work <- worker()                               #用到worker()函数,赋值给work
juzi <- "杭州的四月真美丽,想到西湖边吹吹风。
         灵峰和孤山的梅花,龙井八景的桃花,太子湾的郁金香,
         白堤间株的桃柳,八卦田的油菜花,美不胜收。"   #用juzi替代长句子
segment(juzi,work)                             #调用segment()函数分词
#运行结果
segment(juzi,work)    
 [1] "杭州"     "的"       "四月"     "真"       "美丽"     "想到"    
 [7] "西湖"     "边"       "吹"       "吹风"     "灵峰"     "和"      
[13] "孤山"     "的"       "梅花"     "龙井"     "八景"     "的"      
[19] "桃花"     "太子"     "湾"       "的"       "郁金香"   "白堤"    
[25] "间株"     "的"       "桃柳"     "八卦"     "田"       "的"      
[31] "油菜花"   "美不胜收"

3. 分词函数用法

worker()和segment()语法:jiebaR通过函数worker()来初始化分词引擎,使用函数segment()进行分词。两个函数语法:

——worker()函数
worker(type = "mix", dict = DICTPATH, hmm = HMMPATH,user = USERPATH, idf = IDFPATH, stop_word = STOPPATH, write = T,
  qmax = 20, topn = 5, encoding = "UTF-8", detect = T,symbol = F, lines = 1e+05, output = NULL, bylines = F,
  user_weight = "max")

结巴 R语言 r语言jieba,结巴 R语言 r语言jieba_中文分词,第1张

——segment()函数
segment(code, jiebar, mod = NULL)
code:A Chinese sentence or the path of a text file.       #分词文本
mod:change default result type, value can be "mix","hmm","query","full" or "mp"    #分词算法

二、用户自定义词或词库的添加

1. 使用new_user_word函数

work_new_word<-worker()
new_user_word(work_new_word, c("吹吹风","太子湾","八卦田"))
segment(juzi,work_new_word)

2. 使用user参数添加词库

利用Notepad++编写一个名为ciku.txt的文档,放了三个词:吹吹风、太子湾、八卦田。把这个txt存入getwd()的路径里。再利用worker(user)调用:

work_user<-worker(user="ciku.txt")
segment(juzi,work_user)

(可能会问,为什么不直接用txt文本呢?我一开始也是直接用txt写的,发现有毒,一引用R就崩了。有人给出了解答:如果你的词库是用记事本写的话,因为编码有时不是UTF-8,使用时会出现各种错误,甚至软件奔溃。所以建议使用notepad++编辑,将编码设置为utf-8,另存为txt文件。)

3. 使用user参数添加词库借用搜狗细胞词库

搜狗提供了大量的专业领域词汇,其词库具有专门的.scel格式,词库导出与导入非常麻烦,这时,需要用到搜狗细胞词库转化包cidian,它不仅能够在R中将搜狗词库的scel格式转化为可读的词库,并且还能直接被分词包jiebaR调用!但需要注意的是:cidian包没有发布在CRAN,而是发布在github中,所以需要先获得开发者工具Rtools才能进行安装,也要用到install_github()函数。

#安装cidian包
install.packages("devtools")      #R的开发者工具
install.packages("stringi")       #强大的字符处理包
install.packages("pbapply")       #能够为*apply族函数增加进度条
install.packages("Rcpp")
install.packages("RcppProgress")  #Rcpp和RcppProgress让R直接调用外部的C++程序,增加运算速度
library(devtools)
install_github("qinwf/cidian")    #用来从github上安装R包的函数,“qinwf”应该是cidian的作者
library(cidian)

cidian包安装完后,下一步,需要自己到搜狗词库里下载想要的词库,如图:

结巴 R语言 r语言jieba,结巴 R语言 r语言jieba_中文分词_02,第2张

点进去下载后,词库名为:杭州市信息大全.scel,把这个scel文件复制到getwd()路径里,我是放在默认的C盘用户文档里。

搜狗细胞词库在线提取转换工具

结巴 R语言 r语言jieba,结巴 R语言 r语言jieba_ci_03,第3张

#decode_scel(scel = "./杭州市信息大全.scel",cpp = TRUE)
#output file: ./杭州市信息大全.scel_2018-04-19_00_57_55.dict
#利用搜狗细胞词库在线提取转换工具转好后,查看生成的词典文件(22-05-21-11-01-39.jiebaR.user.txt):
 scan(file="./22-05-21-11-01-39.jiebaR.user.txt",
       what=character(),nlines=30,sep='\n',
       encoding='utf-8',fileEncoding='utf-8')
#Read 30 items,输出为:
Read 30 items
 [1] "阿六头 n"   "啊没 n"     "阿咪香 n"   "阿太 n"     "啊也 n"    
 [6] "阿姨夫 n"   "阿英煲 n"   "艾迪康 n"   "爱杭州 n"   "爱丽芬 n"  
[11] "安安单单 n" "安耽 n"     "安耽点 n"   "暗咯咯 n"   "安徽老 n"  
[16] "安徽料理 n" "安吉 n"     "安吉路 n"   "安吉县 n"   "暗落落 n"  
[21] "安森 n"     "岸上蓝山 n" "安职 n"     "安之秀果 n" "奥比 n"    
[26] "熬不牢 n"   "奥达通 n"   "奥菲 n"     "奥好的 n"   "奥康 n"

接下来,需要把这个想要的词典放到R的分词库里。用show_dictpath()函数查看默认词典位置。查看目前系统自带的词库:

dir(show_dictpath())
 [1] "C:/Users/hao'hai/Documents/R/win-library/4.1/jiebaRD/dict"
[1] "backup.rda"      "hmm_model.zip"   "idf.zip"         "jieba.dict.zip" 
[5] "model.rda"       "README.md"       "stop_words.utf8" "user.dict.utf8"

词库对应的内容为:
jieba.dict.utf8, 系统词典文件,最大概率法,utf8编码的
hmm_model.utf8, 系统词典文件,隐式马尔科夫模型,utf8编码的
user.dict.utf8, 用户词典文件,utf8编码的
stop_words.utf8,停止词文件,utf8编码的
idf.utf8,IDF语料库,utf8编码的
jieba.dict.zip,jieba.dict.utf8的压缩包
hmm_model.zip,hmm_model.utf8的压缩包
idf.zip,idf.utf8的压缩包

重点来了,把搜狗词典文件改名,从22-05-21-11-01-39.jiebaR.user.txt内容复制到user.dict.utf8,然后替换C:/Users/hao'hai/Documents/R/win-library/4.1/jiebaRD/dict目录下面的user.dict.utf8。这样默认的用户词典,就是搜狗词典了,可以检验下新的user.dict.utf8:

scan(file="C:/Users/hao'hai/Documents/R/win-library/4.1/jiebaRD/dict/user.dict.utf8",what=character(),nlines=30,sep='\n',encoding='utf-8',fileEncoding='utf-8')

三、 停用词过滤

停止词是分词过程中,我们不需要作为结果的词,比如:我、你、的、是,a,the,or,and等。这些词在统计词频的时候意义不大,且会增加噪音,需要对这些词进行过滤。在jiebaR中,过滤停止词有2种方法,一种是通过配置stop_word文件,另一种是使用filter_segment()函数。

1. 配置stop_word文件

先利用Notepad++编写一个名为stop_word.txt的文档,里面包含“的”、“和”。把stop_word.txt存入getwd()的路径里。再利用worker()函数调用:

#加载分词引擎,并配置停止词过滤
work = worker(stop_word="stop_word.txt")
guolv <- segment(juzi,work)
guolv
 [1] "杭州"     "四月"     "真"       "美丽"     "想到"     "西湖"    
 [7] "边"       "吹"       "吹风"     "灵峰"     "孤山"     "梅花"    
[13] "龙井八景" "桃花"     "太子湾"   "郁金香"   "白堤"     "间株"    
[19] "桃柳"     "八卦田"   "油菜花"   "美不胜收"
#禁用“的”,“和”后,运行结果里果然也没有这两个字了。

2. filter_segment()函数

在上面的过滤基础上,利用filter_segment()继续过滤掉“想到”、“边”两个词:

filter<-c("想到","边")
filter_segment(guolv,filter)
 [1] "杭州"     "四月"     "真"       "美丽"     "西湖"     "吹"      
 [7] "吹风"     "灵峰"     "孤山"     "梅花"     "龙井八景" "桃花"    
[13] "太子湾"   "郁金香"   "白堤"     "间株"     "桃柳"     "八卦田"  
[19] "油菜花"   "美不胜收"

四、关键词提取

前面讲了这么多,都是关于如何更好的进行分词。做好分词这一步,更核心的就是提取关键词。TF-IDF算法是提取关键词的经典算法。

TF(Term Frequenc),词频。一个词在文章中出现的次数越多,重要性也越大(过滤停用词)。
IDF(Inverse Document Frequency),逆文档频率。在词频的基础上,要对每个词分配一个"重要性"权重。最常见的词("的"、"是")给予较小的权重,,较少见的词("太子湾"、"八卦田")给予较大的权重。这个权重叫做"逆文档频率",它的大小与一个词的常见程度成反比。jiebaR包中的idf.utf8文件,为IDF语料库,用来模拟语言的使用环境,计算好逆文档频率。

TF-TDF = 词频TF * 逆文档频率IDF

某个词对文章的重要性越高,它的TF-IDF值就越大。所以,排在最前面的几个词,就是这篇文章的关键词。
学习完原理后,可以着手实操一下了。先查看在安装目录中的IDF的语料库——idf.utf8文件。

scan(file="C:/Users/hao'hai/Documents/R/win-library/4.1/jiebaRD/dict/idf.utf8",what=character(),nlines=20,sep='\n',encoding='utf-8',fileEncoding='utf-8')
#Read 20 items
 [1] "劳动防护 13.900677652"  "生化学 13.900677652"   
 [3] "奥萨贝尔 13.900677652"  "考察队员 13.900677652" 
 [5] "岗上 11.5027823792"     "倒车档 12.2912397395"  
 [7] "编译 9.21854642485"     "蝶泳 11.1926274509"    
 [9] "外委 11.8212361103"     "故作高深 11.9547675029"
[11] "尉遂成 13.2075304714"   "心源性 11.1926274509"  
[13] "现役军人 10.642581114"  "杜勃留 13.2075304714"  
[15] "包天笑 13.900677652"    "贾政陪 13.2075304714"  
[17] "托尔湾 13.900677652"    "多瓦 12.5143832909"    
[19] "多瓣 13.900677652"      "巴斯特尔 11.598092559"

idf.utf8文件每一行有2列,第一列是词项,第二列为权重,即IDF值,如“生化学”是13.9。然后,计算文档词频(TF),用到freq()函数:

freq(guolv)
keys <- worker("keywords",topn=5)
vector_keywords(guolv,keys)
#vector_keywords(guolv,keys)
 11.8212  11.7392  11.7392  11.7392  11.7392 
  "灵峰" "杭州的" "太子湾" "八卦田"   "桃柳"

参考文献

  1. (R语言:jiebaR 包实现中文分词、统计词频及绘制词云图)[https://zhuanlan.zhihu.com/p/499935064]
  2. (R学习整理笔记(五)——用jiebaR包进行中文分词)[https://zhuanlan.zhihu.com/p/35846130]



本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!