人工智能第8章__自然语言理解.ppt
《人工智能第8章__自然语言理解.ppt》由会员分享,可在线阅读,更多相关《人工智能第8章__自然语言理解.ppt(29页珍藏版)》请在启牛文库网上搜索。
1、1,第8章 自然语言理解,8.1 语言及其理解的基本概念 8.2 词法分析 8.3 语法分析8.4 语义分析,自然语言是指人类日常交流所使用的语言。自然语言理解主要研究如何使计算机能够理解和生成自然语言。自然语言理解既是人工智能研究较早的一个领域,同时也是现代计算机的一个必备特征。,2,8.1 语言及其理解的基本概念,自然语言是音义结合的词汇和语法体系。词汇是语言的基本单位,它在语法的支配下可构成有意义和可理解的句子,句子再按一定的形式构成篇章等。其结构如图8.1所示:,语言,词汇,语法,词,熟语,词法,句法,词素,构形法,构词法,词组构造法,造句法,词汇是语言的基本单位。熟语是指一些词的固定
2、组合,如汉语中的成语。词又由词素构成,词素是构成词的最小有意义的单位。如“学生”是由“学”和“生”这两个词素构成的。语法是语言的组织规律。词法是用词素或熟语构成词的规则,可分为构形法和构词法。构形法是指单数复数等。造句法是用词和词组构造句子的规则。,语言,词汇,语法,词,熟语,词法,词素,句法,构形法,构词法,词组构造法,语言,词汇,语法,词,熟语,词法,词素,3,其主要任务是要找出词汇的各个词素,从中获得语言学信息,并确定单词的词义。以英语为例,其词法分析的基本算法如下:repeat look for word in dictionary if not found then modify t
3、he word until word is found or no further modification possible其中,word是一个变量,其初始值就是当前词。例8.1 用上述算法分析catches。解:其分析过程如下:catches 词典中查不到 catche 修改1:去掉s catch 修改2:去掉e 可以看出,在修改2时就查到了catch。当然,这只是一个很简单的例子,完整的词法分析还应该包括复合词的切分等。,8.2 词法分析,4,8.3 句法分析,句法分析:一是对句子和短语的结构进行分析,目的是要找出词、短语等的相互关系,以及他们在句子中的作用等,并用一种层次结构加以表达;
4、二是对句法结构规范化,对一个句子分析各个成分间的关系的推导过程用树形图表示,这种图称为句法分析树。,8.3.1 短语结构语法8.3.2 乔姆斯基形式语法8.3.3 句法分析树8.3.4 转移网络8.3.5 扩充转移网络,8.3.1 短语结构语法,短语结构语法和乔姆斯基语法是描述自然语言和程序设计语言强有力的形式化工具,可用于在计算机上对被分析的句子的形式化描述和分析。短语结构语法G的形式化定义:G=(T,N,S,P)式子中,T是终结符的集合,N是非终结符的集合,显然T和N不相交,T和N共同组成了符号集V,因此有:V=TN,TN=空集;S是起始符,它是集合N的一个成员;P是产生式规则集,形式如下
5、:ab由一部短语结构语法定义的语言L(G)就是可以从起始符S推导出的符号串W的集合。即一个符号串属于L(G)必须满足:(1)该符号串只包含终结符;(2)该符号串能根据语法G从起始符S推导出来。,例8.1the/a man killed the/a deerthe/a man like the/a deerThe/A man like the/a deer.经词法分析得到上面类型的符合语法G详见转移网络语法。,8.3.2 乔姆斯基形式语法,根据形式语法中所使用的规则集,乔姆斯基定义了4种类型的语法:(1)无约束短语结构语法,又称0型语法;(2)上下文有关语法,又称1型语法;(3)上下文无关语法,
6、又称2型语法;(4)正则语法,又称3型语法;型号越高所受约束越多,生成能力月若,能生成的语言集越小,也就是说它的描述能力越弱。ATN就是基于上下文无关思想实现的一直自然语言句法分析技术。正则语法又称有限状态语法,只能生成非常简单的句子。有2种形式:左线型语法和右线型语法。,8,上下文无关文法(Context-free Grammars)是乔姆斯基提出的一种对自然语言语法知识进行形式化描述的方法。在这种文法中,语法知识是用重写规则表示的。作为例子,下面给出了一个英语的很小的子集(图8.4)。语句 句子 终标符 句子 名词短语 动词短语 动词短语 动词 名词短语 名词短语 冠词 名词 名词短语 专
7、用名词 冠词 the 名词 professor 动词 wrote 名词 book 动词 trains 专用名词 Jack 终标符.这就是一个英语子集的上下文无关文法 在该文法中,“语句”是一个特殊的非终极符,称为起始符。,8.3.2 句法规则的表示方法上下文无关文法(1/2),9,8.3.2 句法规则的表示方法上下文无关文法(2/2),例8.2 利用上述上下文无关文法,给出如下语句的分析树。The professor trains Jack.,语句,句子,终标符,动词短语,名词短语,The,professor,.,trains,冠词,名词,动词,专用名词,名词短语,Jack,解:如图8.5,1
8、0,8.3.3句法分析树,一个句子是由各种不同的句子成分组成的。这些成分可以是单词、词组或从句。句子成分还可以按其作用分为主语、谓语、宾语、宾语补语、定语、状语、表语等。这种关系可用一棵树来表示,如对句子:He wrote a book可用图8.2所示的树形结构来表示 一个句子又是由若干个词类构成的,如名词、动词、代词、形容词等。若从句子的词类来考虑,一个句子也可用一棵树来表示,这种树称为句子的分析树,如图8.3所示。,8.3.4 转移网络,转移网络在自动机理论中用来表示语法。句法分析中的转移网络有借点和带有标记的弧组成,节点表示状态,弧对应于符号,基于该符号,可以实现从一个给定的状态转移到另
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 _ 自然语言 理解