网友统计出99个宋词高频词汇 可按编码作词

2012年11月29日04:06  汉网-武汉晚报 微博

  统计学研究生挖掘99个高频词汇编号码 武大博导说,这只是一个文字游戏

  一位学习统计学的网友,利用所学将《全宋词》中出现的99个“高频词汇”统计出来,发在博客上。没想到,这篇博文很快就被大量转载,并有网友利用这些高频词汇重新“写词”。圆周率、生日、身份证号码都可以组成一首形式上的“宋词”。

  在江汉大学刚刚举办的“诗词吟诵暨诗歌大赛颁奖会”上,不少学生讨论这个话题。真的存在网友说的“自动写词机”吗?记者展开采访调查。

  《全宋词》中的99个高频词汇

  话题的“始作俑者”是一位学习统计学的研究生,网名“yixuan”,他在博客上发表一篇文章:“突然想看看宋词里面什么样的意象是最常见的,比如可以做个频率分析什么的。当然文本挖掘需要分词,我没法在其中花太多时间,于是想出了一个土办法。”

  宋词的句子都很短,最常见的词语一般是两三个字,这样可能的组合就更少了。比如“犹解嫁东风”这句话,可能的二字组合是“犹解”“解嫁”“嫁东”“东风”,三字组合是“犹解嫁”“解嫁东”“嫁东风”,词的字数越多,可能的组合就越少。

  “yixuan ”统计出99个《全宋词》中的高频词汇。排在前面的依次为“东风(1382次)、何处(1230次)、人间(1202次)、风流(857次) 、归去(812次、)春风(802次)、西风(779次)、归来(771次)、江南(765次)。

  “yixuan ”的这篇博文一发出来,很快就被另外一家网站转载,大量网友被这个有趣的话题吸引,纷纷发帖评论。

  高频词汇被演绎成“自动写词机”

  在大量评论后面,一位名叫“达芬奇的鸡蛋”发现,利用这些“高频词汇”的代码,可以随意拼凑出一首首宋词来。比如用“圆周率”的数字排序,结果就是:回首明月(一看就是抒情诗)

  悠悠心事空

  西湖何事寂寞中

  风吹斜阳匆匆

  芳草平生斜阳

  风吹寂寞今日

  一枝富贵年年

  断肠长安不知

  一时间,众多网友用自己的身份证号码、各种数字组合来“写宋词”。如网友“叶绿彘”的“作品”是:“东风何处?人间风流。归去春风,西风归来。江南相思,梅花千里。回首明月,多少如今?阑干年年万里,一笑黄昏当年……”

  记者用多位同事的身份证号码、生日号码等,套用这些代码,果然也能产生出一首首有模有样的“宋词”。

  原意不是为了“写词”

  看到帖子被大量转发,“yixuan ”在自己的博客上又写了一篇解释,他说,“自动写词机”并不是我的创意,也不是我的初衷。

  “yixuan ”说:“我学的专业是统计和精算,平时会和各种类型的数据打交道,之前写那篇博文也是出于兴趣,想利用学到的专业知识来对一些实际问题进行分析。”

  他说,很多人肯定都会提到“自动写词机”,就比如拿生日、QQ、物理常数等套用里面的排序来“写词”。但我想说的是,这其实不是我的创意,也不是我写那篇博文的初衷。如果大家看过那篇转帖,就会发现大家开始“狂欢”是因为“达芬奇的鸡蛋”的创意,而词频统计本身并没有任何特殊之处。

  事实上,大家可能听说过“文本挖掘”这个名词,它就是对文本数据进行分析,来得到有用的结论。文本挖掘是个很复杂的过程,牵涉到分词、词频统计、特征选择、聚类等等,如果大家对这一块内容有所了解的话,就会知道词频统计是一个很平凡的过程。

  “yixuan”说:可能有些朋友觉得我得到宋词的词频是一件技术含量很高的活儿,但从技术层面上来讲,我做的那些东西也并无任何高级之处(当然需要有一些编程经验)。

  只是一个文字游戏

  这99个“高频”词汇真的有那么神奇?昨天,武汉大学文学院博导王兆鹏教授看了后评论说:“这只是一个文字游戏”。

  王兆鹏说,汉语语言中,诗词的语序不需要确定性,同时汉语语言具有多义性。很多词语组合起来,都可以说得通。比如我们说“吃饭”大家能听懂,但说“饭吃”,也能理解是怎么回事。

  从严格意义上说,通过这99个编码做成的“词”,平仄完全不符合要求,也不符合词牌的要求。但形式上挑不出什么毛病,也有一点词的味道。

  王兆鹏说,宋词是一种文学艺术,讲究独创性和意境,读者通过读诗词能够看到里面的意境,这是艺术。“如果写词这么容易,那谁都可以写词了。”

  不过,王兆鹏也认为“yixuan ”的做法很有创意,“能从这么多词中总结出99个高频词汇,是需要花功夫的,也说明这个学生很努力,这是一个比较高级的文字游戏,虽然谈不上有什么文学意义。”

  中南财经政法大学统计与数学学院博导李占风教授说,利用统计学原理确实可以在诗词等文学作品中,做一些研究工作,这位学生学以致用,值得表扬。

  记者翁晓波 实习生 左思琪

分享到:

猜你喜欢

换一换
保存  |  打印  |  关闭
  • 新闻李庄揭重庆打黑:被没收资产应给交代
  • 体育麦蒂32+5+5青岛两连败 阿联33+11广东胜
  • 娱乐何韵诗出柜女友曝光 二人共度春宵(图)
  • 财经酒鬼酒风波续:自检发现塑化剂超标未重视
  • 科技电信联通争抢iPhone 5第一枪:加大补贴
  • 博客对话劳教村官任建宇 1942年大饥荒纪实
  • 读书中共反腐史:被查处的十大"亿元贪官"
  • 教育家长发信:8成娃补习我咋办 国考题答案
  • 育儿6岁女童遭继母虐待2年7次就医