语料库-Python怎么删除文本中的所有标点符号？

问题描述

Python怎么删除文本中的所有标点符号？
想要把一大段中文文本中所有的标点符号删除掉，然后分词制作语料库使用，大神们有没有办法呢？或者哪位大神有中文语料库给个链接好不好？我想做新闻的文本相似度分析，提取关键词的时候需要语料库。
谢谢大神们~~~~~

解决方案

既然你要语料库，程序就不是必须的了，用ultraedit之类的工具，内置批量替换功能，运行下即可。

解决方案二：
http://www.mathackers.com/2015/01/nlpy-corpora/

解决方案三：
英文的标点符号倒是有string.punctuation
中文删掉标点只要中文字符的话一种tricky的做法就是只保留text中的中文字符：

# -*- coding: utf-8 -*-import retext = '一、二，三。四！五？'print(''.join(re.findall(u'[u4e00-u9fff]+' text)))

但似乎你想要的不只是删掉中文标点。。

时间： 2024-03-27 22:07:12

语料库-Python怎么删除文本中的所有标点符号？的相关文章

python统计一个文本中重复行数的方法_python

本文实例讲述了python统计一个文本中重复行数的方法.分享给大家供大家参考.具体实现方法如下: 比如有下面一个文件 2 3 1 2 我们期望得到 2,2 3,1 1,1 解决问题的思路: 出现的文本作为key, 出现的数目作为value,然后按照value排除后输出 最好按照value从大到小输出出来,可以参照: 复制代码 代码如下: in recent Python 2.7, we have new OrderedDict type, which remembers the order in

ASP小偷程序需要用到的函数：用于可控制删除文本中的html标签

程序|函数|控制|小偷程序 函数用于去除文本中的html标签,可以控制删除哪些标签. 要控制被删除的标签列表,可以通过向TAGLIST常数中添加/删除标记来实现. 例如,要保留所有的<B>标签,则从TAGLIST中删除B. 当前的列表包含了MSDN中的所有html标签以及 LAYER 标签. 每个标签要用";"括起来. 开始标签和结束标签都会被删除,例如"<A...>"和</A...> 若标签同时在 TAGLIST 和 BLOCK

C++中删除文本的最后一行

读取文本的每行("\n"), 存储入数组vector<string>, 输出时, 少输出最后一行, 即可. 代码: /* * main.cpp * * Created on: 2014.06.08 * Author: Spike */ /*vs 2012*/ #include <windows.h> #include <fstream> #include <iostream> #include <string> #includ

Python中使用strip()方法删除字符串中空格的教程

  这篇文章主要介绍了Python中使用strip()方法删除字符串中空格的教程,是Python入门学习中的基础知识,需要的朋友可以参考下 strip()方法返回所有字符从开始及字符串的末尾(默认空格字符)被去除后的字符串的一个副本. 语法 以下是strip()方法的语法: ? 1 str.strip([chars]); 参数 chars -- 字符-从开始或结束的字符串被删除去除. 返回值 此方法返回所有字符从开始及字符串的末尾(默认空格字符)被去除后的字符串的一个副本. 例子 下面的例子显示

python实现从字典中删除元素的方法

  本文实例讲述了python实现从字典中删除元素的方法.分享给大家供大家参考.具体分析如下: python的字典可以通过del方法进行元素删除,下面的代码详细演示了这一过程 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 # Create an empty dictionary d = {} # Add an item d["name"] = "Fido" assert d.has_key("name") # Del

python删除列表中重复记录的方法

  这篇文章主要介绍了python删除列表中重复记录的方法,涉及Python操作列表的相关技巧,需要的朋友可以参考下 ? 1 2 3 4 def removeListDuplicates(seq): seen = set() seen_add = seen.add return [ x for x in seq if x not in seen and not seen_add(x) ] 希望本文所述对大家的Python程序设计有所帮助.

批量删除Excel2007中的文本和控件对象

  当工作表中有很多控件或者图片等对象时,一个一个去删除会非常的繁琐.案例阐述了如何一次性删除整个工作表中图形.控件和影音等对象,方便快捷.下面给大家介绍一下批量删除Excel2007中的文本和控件对象的方法. 1.我们启动Excel2007,打开一份插入有控件的测试题文件,要批量删除这些控件,单击菜单栏--开始--查找和选择. 2.点击查找和选择按钮之后,弹出下拉菜单,点击定位条件选项. 3.弹出定位条件对话框,勾选对象,单击确定. 4.此时会一次性选中表格中的控件对象,按下键盘上的delet

ava cript-JavaScript删除文本某一行中的空格

问题描述 JavaScript删除文本某一行中的空格 用JavaScript读取文本中某一行后,想删掉这一行中的空格,该怎么写程序? 解决方案 正则替换下空白字符 s=s.replace(/s/g,'') 解决方案二: 用正则表达式. 看参考:http://blog.csdn.net/zaifendou/article/details/5746988

python实现：删除链表中等于给定值val的所有节点.求代码学习

问题描述 python实现:删除链表中等于给定值val的所有节点.求代码学习 例如:给出链表 1->2->3->3->4->5->3, 和 val = 3, 需要返回删除3之后的链表:1->2->4->5. 解决方案 python怎么考虑链表,是用类来实现链表节点吗? 如果不是,就简单了. def remove(arr): #arr=[1,2,3,3,4,5,3] arr_len = len(arr) for i in range(0,arr_len)