Python文本处理

双字母组

双字母组详细操作教程
一些英语单词更频繁地出现在一起。 例如 - 天空高,做或死,最佳表现,大雨等。因此,在文本文档中,我们可能需要识别这样的一对词,这将有助于情绪分析。 首先,我们需要从现有句子生成这样的单词对来维持它们的当前序列。 这种对称为 双字母。 Python有一个bigram函数,它是NLTK库的一部分,它可以帮助我们生成这些对。
示例
# Filename : example.py
# Copyright : 2020 By Lidihuo
# Author by : www.lidihuo.com
# Date : 2020-08-23
import nltk
word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)
print(list(nltk.bigrams(nltk_tokens)))
当运行上面的程序时,我们得到以下输出 -
# Filename : example.py
# Copyright : 2020 By Lidihuo
# Author by : www.lidihuo.com
# Date : 2020-08-23
[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'),
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]
该结果可用于给定文本中此类对的频率的统计结果。 这将与文本正文中描述的一般情绪相关联。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4