一种基于Hadoop集群的自然语言处理平台实现方案
Implementation of Natural Language Pro-cessing Platform Based on Hadoop Cluster

作者: 谢 宁 * , 郭 威 , 唐慧丰 :解放军外国语学院,河南 洛阳;

关键词: HadoopMapReduce自然语言处理平台插件Hadoop MapReduce Natural Language Processing Platform Plug-In

摘要:
本文提出一种基于Hadoop集群的自然语言处理平台实现方案,通过网页收集用户需求和数据,自动调用集群进行处理,返回处理结果。且支持运行第三方开发者编写的Mapreduce插件,平台易扩展。通过实验验证,方案能实现及时响应用户需求,准确调用相关程序,并返回处理结果。

Abstract: This paper proposes a Hadoop-based program of natural language processing platform, collecting user needs and data via web interface, automatically calling the cluster into processing, and returning processing results. The platform supports Mapreduce function packages programmed by third-party developers, and is easy to expand. Experiments confirm the platforms ability of timely responding to user needs, accurately calling relevant programs, and returning processing results.

文章引用: 谢 宁 , 郭 威 , 唐慧丰 (2017) 一种基于Hadoop集群的自然语言处理平台实现方案。 计算机科学与应用, 7, 645-653. doi: 10.12677/CSA.2017.77075

参考文献

[1] 刘群, 张浩, 白硕. 中文信息处理开放平台的设计[C]//中国中文信息学会. 第一届学生计算语言学研讨会论文集. 北京: 中国中文信息学会, 2002: 7.

[2] 郎君, 刘挺, 李生, 张会鹏. 基于XML的开放式语言技术平台: LTP [C]//中国中文信息学会. 中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集. 北京: 中国中文信息学会, 2006: 12.

[3] 百度云天智——基于百度大脑打造的人工智能平台. 自然语言处理[EB/OL].
https://cloud.baidu.com/product/bls.html?from=featuresBoard, 2017-05-30.

[4] 文智自然语言处理NLP——腾讯云[EB/OL].
https://www.qcloud.com/product/nlp, 2017-05-30.

[5] 清华大学自然语言处理与社会人文计算实验室. [EB/OL].http://www.thunlp.org/, 2017-05-30.

[6] 语言云(语言技术平台云) [EB/OL]. http://www.ltp-cloud.com/, 2017-05-30.

[7] 北京理工大学的自然语言处理与信息检索共享平台[EB/OL]. http://ictclas.nlpir.org/nlpir/, 2017-05-30.

[8] Ghemawat, S., Gobioff, H. and Leung, S. (2003) The Google File System. Proceedings of the 19th ACM Symposium on Operating Systems Principles, 3-7.
https://doi.org/10.1145/945445.945450

[9] 万至臻. 基于MapReduce模型的并行计算平台的设计与实现[D]:. 杭州: 浙江大学, 2008.

[10] 李云桃. 基于Hadoop的海量数据处理系统的设计与实现[D]: [硕士学位论文]. 哈尔滨: 哈尔滨工业大学, 2009.

[11] 姚卫国, 张东波. 基于Hadoop分布式平台的Web文本关键词提取方案[J]. 湘潭大学自然科学学报, 2016(2): 79-83.

[12] 崔富明. 基于Hadoop的文本聚类并行化研究[D]: [硕士学位论文]. 广州: 华南理工大学, 2016.

[13] 陈炎龙, 段红玉. 基于改进Hadoop云平台的海量文本数据挖掘[J]. 湖南师范大学自然科学学报, 2016(3): 84-88.

[14] 洪新军. 插件技术、分层技术应用于计算机软件技术中的价值探讨[J]. 电脑编程技巧与维护, 2016(2): 10-12.

[15] 王天舒. 浅谈插件技术在计算机软件技术中的应用[J]. 电脑知识与技术, 2017(2): 86-88.

分享
Top