Tiny中文分词

2

3

4

5

<dependency>

  <groupId>org.tinygroup</groupId>

  <artifactId>chinese</artifactId>

  <version>0.0.12</version>

</dependency>

2

3

4

5

6

7

8

19980131-03-008-001/m  『/w  回家/v  的/u  感觉/n  真/d  好/a  』/w 

19980131-03-008-002/m  本报/r  驻/v  日本/ns  记者/n  于/nr  青/nr 

19980131-03-008-003/m  欢聚/v  使馆/n  喜迎/v  新春/t  ，/w  留/v  日/j  学子/n  年年/q  如此/r  。/w  １月/t  ２３日/t  ，/w  近/a  ３００/m  名/q  中国/ns  留学人员/n  前来/v  出席/v  [中国/ns  驻/v  日/j  大使馆/n]nt  举办/v  的/u  春节/t  招待会/n  ，/w  兴高采烈/i  地/u  送/v  “/w  牛/n  ”/w  迎/v  “/w  虎/n  ”/w  。/w  使馆/n  临时代办/n  武/nr  大伟/nr  向/p  大家/r  拜年/v  ，/w  教育/vn  参赞/n  曲/nr  德林/nr  向/p  大家/r  慰问/v  祝酒/v  ，/w  使馆/n  大厅/n  响起/v  阵阵/q  掌声/n  ，/w  充满/v  欢声笑语/l  。/w 

19980131-03-008-004/m  辞旧迎新/l  之际/f  ，/w  是/v  抚今追昔/i  之/u  时/Ng  。/w  回首/v  牛年/t  令/v  人/n  心潮难平/l  ，/w  难忘/v  庆祝/v  香港/ns  回归/v  的/u  不眠之夜/l  、/w  [中共/j  十五大/j]nz  举世瞩目/i  。/w  有人/r  说/v  起/v  ，/w  去年/t  是/v  毛/nr  主席/n  接见/v  留/v  苏/j  学生/n  并/c  发表/v  “/w  希望/v  寄托/v  在/p  你们/r  身上/s  ”/w  著名/a  演说/vn  ４０/m  周年/q  ，/w  对/p  海外/s  学子/n  来说/u  是/v  值得/v  纪念/v  的/u  一/m  年/q  ；/w  又/c  有人/r  说/v  起/v  ，/w  去年/t  是/v  中/j  日/j  邦交/n  正常化/vn  ２５/m  周年/q  ，/w  对/p  留/v  日/j  学子/n  来说/u  又/d  多/a  了/u  一/m  分/q  喜庆/v  的/u  一/m  年/q  ；/w  还/d  有人/r  说/v  起/v  ，/w  去年/t  是/v  祖国/n  农业/n  大/d  丰收/v  的/u  一/m  年/q  ，/w  蔬菜/n  水果/n  物美价廉/l  。/w 

19980131-03-008-005/m  辞旧迎新/l  之际/f  ，/w  也/d  是/v  展望/v  未来/t  之/u  时/Ng  。/w  大家/r  你一言我一语/l  议论/v  着/u  ：/w  今年/t  是/v  中/j  日/j  和平/a  友好/a  条约/n  缔结/v  ２０/m  周年/q  ，/w  江/nr  泽民/nr  主席/n  年内/t  将/d  来/v  日/j  访问/v  ，/w  这/r  是/v  中国/ns  国家/n  元首/n  首/m  次/q  访问/v  日本/ns  ，/w  衷心/d  希望/v  中/j  日/j  关系/n  稳定/a  健康/a  不断/d  发展/v  ；/w  今年/t  是/v  中国/ns  实行/v  改革/v  开放/vn  政策/n  ２０/m  周年/q  ，/w  国家/n  继续/v  贯彻/v  “/w  支持/v  留学/v  ，/w  鼓励/v  回国/v  ，/w  来去/v  自由/a  ”/w  的/u  方针/n  ，/w  海外/s  学子/n  应该/v  为/p  “/w  科教兴国/l  ”/w  刻苦/ad  学习/v  ，/w  多/ad  做/v  实事/n  ，/w  贡献/v  力量/n  。/w 

19980131-03-008-006/m  海外/s  学子/n  聚会/v  也/d  是/v  交流/v  信息/n  的/u  机会/n  。/w  那位/r  刚/d  从/p  国内/s  回来/v  的/u  学生/n  说/v  ，/w  现在/t  国内/s  收视率/n  最高/a  的/u  是/v  电视/n  连续剧/n  《/w  水浒传/nz  》/w  ，/w  最/d  流行/v  的/u  歌词/n  是/v  “/w  路/n  见/v  不/d  平/a  一/m  声/q  吼/v  ，/w  该/v  出手/v  时/Ng  就/d  出手/v  ”/w  ；/w  还/d  听说/v  ，/w  一/m  位/q  搞/v  摄影/v  的/u  在/p  台湾/ns  举行/v  的/u  作品展/n  圆满/ad  成功/a  ，/w  另/r  一/m  位/q  搞/v  摄影/v  的/u  将/d  在/p  维也纳/ns  举办/v  作品展/n  ；/w  这/r  位/q  从/p  使馆/n  教育处/n  获悉/v  ，/w  去年/t  从/p  日本/ns  回国/v  的/u  留学人员/n  总计/v  １６２３/m  人/n  ，/w  其中/r  博士生/n  ２６６/m  人/n  ，/w  硕士生/n  ２２４/m  人/n  ；/w  另/r  一/m  位/q  说/v  ，/w  一些/m  在/p  日/j  就职/v  的/u  中国/ns  留学人员/n  正在/d  酝酿/v  成立/v  社会/n  团体/n  ，/w  制订/v  为/p  国/n  服务/vn  规划/n  。/w 

19980131-03-008-007/m  海外/s  学子/n  聚会/v  也/d  是/v  抒发/v  思乡/v  爱国/a  情怀/n  的/u  时候/n  。/w  他们/r  唱歌/v  时/Ng  都/d  是/v  那么/r  投入/a  ，/w  那么/r  动情/v  。/w  《/w  草原/n  之/u  夜/Tg  》/w  、/w  《/w  长江/ns  之/u  歌/n  》/w  、/w  《/w  在/p  希望/v  的/u  田野/n  上/f  》/w  让/v  人/n  怀念/v  故乡/n  ；/w  《/w  达坂城/ns  的/u  姑娘/n  》/w  、/w  《/w  拉/v  骆驼/n  的/u  黑/a  小伙/n  》/w  、/w  《/w  父老乡亲/l  》/w  令/v  人/n  思念/v  家人/n  ；/w  《/w  我/r  和/c  我/r  的/u  祖国/n  》/w  、/w  《/w  我/r  爱/v  你/r  中国/ns  》/w  使/v  人/n  爱国/a  之/u  情/n  在/p  胸中/s  激荡/v  。/w 

19980131-03-008-008/m  “/w  到/v  使馆/n  就/d  是/v  到/v  家/n  了/y  ”/w  ，/w  看/v  着/u  餐桌/n  上/f  的/u  春卷/n  、/w  麻团/n  、/w  水饺/n  ……/w  “/w  回家/v  的/u  感觉/n  真/d  好/a  ！/w  ”/w  一/m  位/q  留学生/n  自言自语/i  地/u  说道/v  。/w  （/w  本报/r  东京/ns  １月/t  ２６日/t  电/n  ）/w

回家的感觉真好本报驻日本记者于青欢聚使馆喜迎新春留日学子年年如此月日近名中国留学人员前来出席中国驻日大使馆举办的春节招待会兴高采烈地送牛迎虎使馆临时代办武大伟向大家拜年教育参赞曲德林向大家慰问祝酒使馆大厅响起阵阵掌声充满欢声笑语辞旧迎新之际是抚今追昔之时回首牛年令人心潮难平难忘庆祝香港回归的不眠之夜中共十五大举世瞩目有人说起去年是毛主席接见留苏学生并发表希望寄托在你们身上著名演说周年对海外学子来说是值得纪念的一年又有人说起去年是中日邦交正常化周年对留日学子来说又多了一分喜庆的一年还有人说起去年是祖国农业大丰收的一年蔬菜水果物美价廉辞旧迎新之际也是展望未来之时大家你一言我一语议论着今年是中日和平友好条约缔结周年江泽民主席年内将来日访问这是中国国家元首首次访问日本衷心希望中日关系稳定健康不断发展今年是中国实行改革开放政策周年国家继续贯彻支持留学鼓励回国来去自由的方针海外学子应该为科教兴国刻苦学习多做实事贡献力量海外学子聚会也是交流信息的机会那位刚从国内回来的学生说现在国内收视率最高的是电视连续剧水浒传最流行的歌词是路见不平一声吼该出手时就出手还听说一位搞摄影的在台湾举行的作品展圆满成功另一位搞摄影的将在维也纳举办作品展这位从使馆教育处获悉去年从日本回国的留学人员总计人其中博士生人硕士生人另一位说一些在日就职的中国留学人员正在酝酿成立社会团体制订为国服务规划海外学子聚会也是抒发思乡爱国情怀的时候他们唱歌时都是那么投入那么动情草原之夜长江之歌在希望的田野上让人怀念故乡达坂城的姑娘拉骆驼的黑小伙父老乡亲令人思念家人我和我的祖国我爱你中国使人爱国之情在胸中激荡到使馆就是到家了看着餐桌上的春卷麻团水饺回家的感觉真好一位留学生自言自语地说道本报东京月日电

回家 的 感觉 真 好 本报 驻 日本 记者 于 青 欢聚 使馆 喜迎 新春 留 日 学子 年年 如此 月 日 近 名 中国 留学人员 前来 出席 中国 驻 日 大使馆 举办 的 春节 招待会 兴高采烈 地 送 牛 迎 虎 使馆 临时代办 武 大伟 向 大家 拜年 教育 参赞 曲 德林 向 大家 慰问 祝酒 使馆 大厅 响起 阵阵 掌声 充满 欢声笑语 辞旧迎新 之际 是 抚今追昔 之 时 回首 牛年 令 人 心潮难平 难忘 庆祝 香港 回归 的 不眠之夜 中共 十五大 举世瞩目 有人 说 起 去年 是 毛 主席 接见 留 苏 学生 并 发表 希望 寄托 在 你们 身上 著名 演说 周年 对 海外 学子 来说 是 值得 纪念 的 一 年 又 有人 说 起 去年 是 中 日 邦交 正常化 周年 对 留 日 学子 来说 又 多 了 一 分 喜庆 的 一 年 还 有人 说 起 去年 是 祖国 农业 大 丰收 的 一 年 蔬菜 水果 物美价廉 辞旧迎新 之际 也 是 展望 未来 之 时 大家 你一言我一语 议论 着 今年 是 中 日 和平 友好 条约 缔结 周年 江 泽民 主席 年内 将 来 日 访问 这 是 中国 国家 元首 首 次 访问 日本 衷心 希望 中 日 关系 稳定 健康 不断 发展 今年 是 中国 实行 改革 开放 政策 周年 国家 继续 贯彻 支持 留学 鼓励 回国 来去 自由 的 方针 海外 学子 应该 为 科教兴国 刻苦 学习 多 做 实事 贡献 力量 海外 学子 聚会 也 是 交流 信息 的 机会 那位 刚 从 国内 回来 的 学生 说 现在 国内 收视率 最高 的 是 电视 连续剧 水浒传 最 流行 的 歌词 是 路 见 不 平 一 声 吼 该 出手 时 就 出手 还 听说 一 位 搞 摄影 的 在 台湾 举行 的 作品展 圆满 成功 另 一 位 搞 摄影 的 将 在 维也纳 举办 作品展 这 位 从 使馆 教育处 获悉 去年 从 日本 回国 的 留学人员 总计 人 其中 博士生 人 硕士生 人 另 一 位 说 一些 在 日 就职 的 中国 留学人员 正在 酝酿 成立 社会 团体 制订 为 国 服务 规划 海外 学子 聚会 也 是 抒发 思乡 爱国 情怀 的 时候 他们 唱歌 时 都 是 那么 投入 那么 动情 草原 之 夜 长江 之 歌 在 希望 的 田野 上 让 人 怀念 故乡 达坂城 的 姑娘 拉 骆驼 的 黑 小伙 父老乡亲 令 人 思念 家人 我 和 我 的 祖国 我 爱 你 中国 使 人 爱国 之 情 在 胸中 激荡 到 使馆 就 是 到 家 了 看 着 餐桌 上 的 春卷 麻团 水饺 回家 的 感觉 真 好 一 位 留学生 自言自语 地 说道 本报 东京 月 日 电

2

3

4

5

6

7

8

9

public static void main(String[] args) {

    AbstractTestUtil.init(null, true);

    ChineseParser chineseParser = SpringUtil.getBean(ChineseParser.CHINESE_PARSER_BEAN_NAME);

    List<Token> list = new ArrayList<Token>();

    chineseParser.segmentWordMax("回家的感觉真好本报驻日本记者于青欢聚使馆喜迎新春留日学子年年如此月日近名中国留学人员前来出席中国驻日大使馆举办的春节招待会兴高采烈地送牛迎虎使馆临时代办武大伟向大家拜年教育参赞曲德林向大家慰问祝酒使馆大厅响起阵阵掌声充满欢声笑语辞旧迎新之际是抚今追昔之时回首牛年令人心潮难平难忘庆祝香港回归的不眠之夜中共十五大举世瞩目有人说起去年是毛主席接见留苏学生并发表希望寄托在你们身上著名演说周年对海外学子来说是值得纪念的一年又有人说起去年是中日邦交正常化周年对留日学子来说又多了一分喜庆的一年还有人说起去年是祖国农业大丰收的一年蔬菜水果物美价廉辞旧迎新之际也是展望未来之时大家你一言我一语议论着今年是中日和平友好条约缔结周年江泽民主席年内将来日访问这是中国国家元首首次访问日本衷心希望中日关系稳定健康不断发展今年是中国实行改革开放政策周年国家继续贯彻支持留学鼓励回国来去自由的方针海外学子应该为科教兴国刻苦学习多做实事贡献力量海外学子聚会也是交流信息的机会那位刚从国内回来的学生说现在国内收视率最高的是电视连续剧水浒传最流行的歌词是路见不平一声吼该出手时就出手还听说一位搞摄影的在台湾举行的作品展圆满成功另一位搞摄影的将在维也纳举办作品展这位从使馆教育处获悉去年从日本回国的留学人员总计人其中博士生人硕士生人另一位说一些在日就职的中国留学人员正在酝酿成立社会团体制订为国服务规划海外学子聚会也是抒发思乡爱国情怀的时候他们唱歌时都是那么投入那么动情草原之夜长江之歌在希望的田野上让人怀念故乡达坂城的姑娘拉骆驼的黑小伙父老乡亲令人思念家人我和我的祖国我爱你中国使人爱国之情在胸中激荡到使馆就是到家了看着餐桌上的春卷麻团水饺回家的感觉真好一位留学生自言自语地说道本报东京月日电", list);

    for (Token token : list) {

        System.out.printf("%s ", token.getText());

    }

}

2

3

4

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

回家 的 感觉 真 好 本报 驻 日本 记者 于 青 欢聚 使馆 喜迎 新春 留 日 学子 年年 如此 月 日 近 名 中国 留学人员 前来 出席 中国 驻 日 大使馆 举办 的 春节 招待会 兴高采烈 地 送 牛 迎 虎 使馆 临时代办 武 大伟 向 大家 拜年 教育 参赞 曲 德林 向 大家 慰问 祝酒 使馆 大厅 响起 阵阵 掌声 充满 欢声笑语 辞旧迎新 之际 是 抚今追昔 之 时 回首 牛年 令 人心 潮 难 平 难忘 庆祝 香港 回归 的 不眠之夜 中共 十五大 举世瞩目 有人 说 起 去年 是 毛 主席 接见 留 苏 学生 并发 表 希望 寄托 在 你们 身上 著名 演说 周年 对 海外 学子 来说 是 值得 纪念 的 一 年 又 有人 说 起 去年 是 中 日 邦交 正常化 周年 对 留 日 学子 来说 又 多 了 一 分 喜庆 的 一 年 还有 人 说 起 去年 是 祖国 农业 大 丰收 的 一 年 蔬菜 水果 物美价廉 辞旧迎新 之际 也 是 展望 未来 之 时 大家 你一言我一语 议论 着 今年 是 中 日 和平 友好 条约 缔结 周年 江 泽民 主席 年内 将来 日 访问 这 是 中国 国家 元首 首 次 访问 日本 衷心 希望 中 日 关系 稳定 健康 不断 发展 今年 是 中国 实行 改革 开放 政策 周年 国家 继续 贯彻 支持 留学 鼓励 回国 来去 自由 的 方针 海外 学子 应该 为 科教兴国 刻苦 学习 多 做 实事 贡献 力量 海外 学子 聚会 也 是 交流 信息 的 机会 那位 刚 从 国内 回来 的 学生 说 现在 国内 收视率 最高 的 是 电视 连续剧 水浒传 最 流行 的 歌词 是 路 见 不平 一 声 吼 该 出手 时 就 出手 还 听说 一 位 搞 摄影 的 在 台湾 举行 的 作品展 圆满 成功 另 一 位 搞 摄影 的 将 在 维也纳 举办 作品展 这 位 从 使馆 教育处 获悉 去年 从 日本 回国 的 留学人员 总计 人 其中 博士生 人 硕士生 人 另 一 位 说 一些 在 日 就职 的 中国 留学人员 正在 酝酿 成立 社会 团体 制订 为 国 服务 规划 海外 学子 聚会 也 是 抒发 思乡 爱国 情怀 的 时候 他们 唱歌 时 都 是 那么 投入 那么 动情 草原 之 夜 长江 之 歌 在 希望 的 田野 上 让 人 怀念 故乡 达坂城 的 姑娘 拉 骆驼 的 黑 小伙 父老乡亲 令 人 思念 家人 我 和 我 的 祖国 我 爱 你 中国 使 人 爱国 之 情 在 胸中 激荡 到 使馆 就是 到 家 了 看 着 餐桌 上 的 春卷 麻团 水饺 回家 的 感觉 真 好 一 位 留学生 自言自语 地 说道 本报 东京 月 日 电

Process finished with exit code 0

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

public interface ChineseParser {

    String CHINESE_PARSER_BEAN_NAME = "chineseParser";

    /**

     * 对内容进行分词，最大优先，此方法由于用了统计，因此效率较低

     *

     * @param content

     * @return 分的词及个数的键值对

     */

    void segmentWordMax(String content, Map<Token, Integer> result);

    /**

     * 对内容进行分词，最小优先，此方法由于用了统计，因此效率较低

     *

     * @param content

     * @param result

     *            分的词及个数的键值对

     */

    void segmentWordMin(String content, Map<Token, Integer> result);

    /**

     * 对内容进行分词，最大优先

     *

     * @param content

     * @param result

     */

    void segmentWordMax(String content, List<Token> result);

    /**

     * 对内容进行分词，最小优先

     *

     * @param content

     * @param result

     */

    void segmentWordMin(String content, List<Token> result);

    /**

     * 设置找词时的事件

     *

     * @param event

     */

    void setFoundEvent(FoundEvent event);

    /**

     * 加载词库

     *

     * @param inputStream

     * @param encode

     */

    void loadDict(InputStream inputStream, String encode);

}