什么是自然语言处理?
自然语言处理(natural language processing, NLP)是一门融语言学、计算机科学、数学于一体的科学,是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理的终极任务是:像人一样理解人类的语言。这话虽然说着很容易,但是做起来比视觉要难多了。这就需要先说一下语言的特殊性。
语言的特殊性
百科上说,语言是一类复合交流系统,主要包括其形成,习得,维护和应用,特别是相应的人类能力。语言是历史的记录,是对现实世界的描述,甚至可以说,语言是很多时候我们人类本身,因为它是所有唯心主义的载体。
语言的理解也很复杂,它包含了许许多多我们认为的“常识”,这个“常识”可能需要很多语言来描述清楚,甚至需要根本就描述不来。就比如,你永远不能用语言向别人描述一只猫,除非那个人真的见过一只猫,但是在我们生活中,我们可以很方便地用“猫”这个概念。
自然语言处理的目的
自然语言处理的目的就是让计算机程序习得我们的语言以及使用语言的能力。和人一样,相比于计算机视觉,它所需要的数据和算力都是呈指数级增长的,而人也得在三到四岁才能学会简单的会话。
如今,自然语言处理几乎是算力为王的时代,领头羊并且能做出影响学界的研究的只有谷歌和facebook,前者以2017年的transformer和2018年的bert成为领头羊,后者以xlnet成为后起之秀,这中间还有一个叫huggingface的组织,致力于开源化相关的模型和代码。
至于其他的研究组,都几乎在小打小闹。甚至可以说,自然语言处理是当前深度学习的圣杯。
在自然语言处理可分为哪两种?
自然语言目前有两种处理方式具体如下:
1.基于规则来理解自然语言,即通过制定一些系列的规则来设计一个程序,然后通过这个程序来解决自然语言问题。输入是规则,输出是程序;
2.基于统计机器学习来理解自然语言,即用大量的数据通过机器学习算法来训练一个模型,然后通过这个模型来解决自然语言问题。输入是数据和想要的结果,输出是模型。
自然语言处理的相关研究最早是从什么开始的?
自然语言处理 应该是兴起于翻译 NLP=自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。
最早的自然语言理解方面的研究工作是机器翻译。1949年,美国人威弗首先提出了机器翻译设计方案。20世纪60年代,国外对机器翻译曾有大规模的研究工作,耗费了巨额费用,但人们当时显然是低估了自然语言的复杂性,语言处理的理论和技术均不成热,所以进展不大。
主要的做法是存储两种语言的单词、短语对应译法的大辞典,翻译时一一对应,技术上只是调整语言的同条顺序。但日常生活中语言的翻译远不是如此简单,很多时候还要参考某句话前后的意思。
汉语言文学能考自然语言处理吗?
不能考,因为汉语言文学属于文科类专业,而自然语言属于计算机类的工科专业。
是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。
自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。
人工智能自然语言处理所带来的好处?
人工智能自然语言处理是指利用人类交流所使用的自然语言与机器进行交互通讯的技术。其好处是:通过人为的对自然语言的处理,使得计算机对其能够可读并理解。自然语言处理的相关研究始于人类对机器翻译的探索。虽然自然语言处理涉及语音、语法、语义、语用等多维度的操作,但简单而言,自然语言处理的基本任务是基于本体词典、词频统计、上下文语义分析等方式对待处理语料进行分词,形成以最小词性为单位,且富含语义的词项单元。