关于python:基于频率的Spacy停用词

Spacy Stopwords based on Frequency

我目前正在寻找一种简单的解决方案,以将自定义停用词添加到spacy。 这些停用词应根据整个语料库中单词的绝对频率来 例如,在我特定领域的文本中,"患者"一词应视为停用词,因为它出现在所有文档的70%中。

我的第一个想法是借助pandas apply实现此功能,但这需要编写我自己的标记化功能。 是否可以自定义Spacy?

谢谢你的建议


要将自定义停用词添加到Spacy中,您可以按照此处提供的解决方案进行操作:使用空格添加/删除停用词
。 现在,在其他方法中以自动获得推荐的停用词列表,您可以使用NLTK包来计算术语频率和文档频率(tf-idf),然后定义一个废纸old。

如有任何疑问,请随时发表评论。

祝好运!