形式文法

20世纪50年代，诺姆·乔姆斯基首次提出了生成语法的经典形式化理论，[2][3] 其中文法 G 由以下部分组成：

• 有限的非终结符号集 N，与 G 生成的字符串无交。
• 有限的终结符号集 ${\displaystyle \Sigma }$，与 N 无交。
• 有限的产生式规则集 P，每个规则都为如下形式

${\displaystyle (\Sigma \cup N)^{*}N(\Sigma \cup N)^{*}\rightarrow (\Sigma \cup N)^{*}}$

这里的 ${\displaystyle {*}}$ 是克莱尼星号，${\displaystyle \cup }$ 表示并集。也就是说，每个产生式规则从一个符号串映射到另一个符号串，并且产生式左侧的字符串中必须至少包括一个非终结符号。产生式右侧的字符串如果只有一个 空字符串的话，也就是说没有任何符号的话，它有一个特别的标记（通常是${\displaystyle \Lambda }$、e 或者 ${\displaystyle \epsilon }$）。

• 开始符号 ${\displaystyle S\in N}$，也叫句子符号。

文法的形式定义为四元组 ${\displaystyle (N,\Sigma ,P,S)}$。这种形式语法在文献中常被称为重写系统或短语结构文法。[4][5]

文法的运算可以用字符串的关系来定义:

• 设有文法 ${\displaystyle G=(N,\Sigma ,P,S)}$，${\displaystyle (\Sigma \cup N)^{*}}$ 内的字符串的二元关系 ${\displaystyle {\underset {G}{\Rightarrow }}}$（读作“G经过直接推导为”）定义为：

  ${\displaystyle x{\underset {G}{\Rightarrow }}y\iff \exists u,v,p,q\in (\Sigma \cup N)^{*}:(x=upv)\wedge (p\rightarrow q\in P)\wedge (y=uqv)}$

• 关系 ${\displaystyle {\overset {*}{\underset {G}{\Rightarrow }}}}$（读作“G经0或更多步推导”）定义为 ${\displaystyle {\underset {G}{\Rightarrow }}}$ 的自反传递闭包
• 句型是指可以由开始符号 ${\displaystyle S}$ 经过有限步推导得到的 ${\displaystyle (\Sigma \cup N)^{*}}$ 的一个成员；也就是，句型是 ${\displaystyle \left\{w\in (\Sigma \cup N)^{*}\mid S{\overset {*}{\underset {G}{\Rightarrow }}}w\right\}}$ 的一个成员。不包含非终结符号（即 ${\displaystyle \Sigma ^{*}}$ 的成员）的句型称为句子。[6]
• ${\displaystyle G}$ 的语言，记为 ${\displaystyle {\boldsymbol {L}}(G)}$，定义为从开始符号 ${\displaystyle S}$ 开始经过有限步骤可以推导出的所有句子；也就是集合 ${\displaystyle \left\{w\in \Sigma ^{*}\mid S{\overset {*}{\underset {G}{\Rightarrow }}}w\right\}}$。

注意文法 ${\displaystyle G=(N,\Sigma ,P,S)}$ 实际上是半图厄系统 ${\displaystyle (N\cup \Sigma ,P)}$，以完全相同的方式重写字符串；唯一的区别在于我们区分了特定的非终结符号，这些符号必须在重写规则中重写，并且只对从指定的开始符号 ${\displaystyle S}$ 到没有非终结符号的字符串的重写感兴趣。

在这些例子中，形式语言使用集合建構式符號描述。

考虑文法 ${\displaystyle G}$，其中 ${\displaystyle N=\left\{S,B\right\}}$，${\displaystyle \Sigma =\left\{a,b,c\right\}}$，${\displaystyle S}$ 是开始符号，${\displaystyle P}$ 由以下产生式规则组成：

1. ${\displaystyle S\rightarrow aBSc}$

2. ${\displaystyle S\rightarrow abc}$

3. ${\displaystyle Ba\rightarrow aB}$

4. ${\displaystyle Bb\rightarrow bb}$

这个文法定义了语言 ${\displaystyle L(G)=\left\{a^{n}b^{n}c^{n}\mid n\geq 1\right\}}$，这里 ${\displaystyle a^{n}}$ 表示 n 个 ${\displaystyle a}$ 串连所得的字符串。因此，该语言是由1个或更多的 ${\displaystyle a}$，后面跟着相同数量的 ${\displaystyle b}$，接着是相同数量的 ${\displaystyle c}$ 组成的字符串集合。

${\displaystyle L(G)}$ 内字符串的推导例子如下：

（标记 ${\displaystyle P{\underset {i}{\Rightarrow }}Q}$ 读作“字符串 P 通过产生式 i 生成 Q”，替换的字符串用粗体标出。）

上下文无关文法要求产生式左侧只能包含一个符号，并且该符号为非终结符号。这个限制是非常重要的；不是所有的语言都可以由上下文无关的语法生成。那些可以被称为上下文无关语言。

上例定义的语言 ${\displaystyle L(G)=\left\{a^{n}b^{n}c^{n}\mid n\geq 1\right\}}$ 并不是一个上下文无关语言，并且这个可以用上下文无关语言的泵引理严格证明，但 ${\displaystyle \left\{a^{n}b^{n}\mid n\geq 1\right\}}$（1个及以上 ${\displaystyle a}$ 后面跟同样数量的 ${\displaystyle b}$）是一个上下文无关语言。因为它可以由文法 ${\displaystyle G_{2}}$（${\displaystyle N=\left\{S\right\}}$，${\displaystyle \Sigma =\left\{a,b\right\}}$，${\displaystyle S}$ 为开始符号）定义，用下列产生式规则：

1. ${\displaystyle S\rightarrow aSb}$

2. ${\displaystyle S\rightarrow ab}$

通过Earley算法可以在 ${\displaystyle O(n^{3})}$ 时间（参见大O符号）内识别上下文无关语言。也就是说，对于每一种上下文无关的语言，都可以构建一台以字符串为输入并及时确定字符串是否为该语言成员的机器，其中 ${\displaystyle n}$ 是字符串的长度。[8] 确定性上下文无关语言是可在线性时间内识别的上下文无关语言的子集。[9] 由多种算法针对这类语言或它的子集。

在正则文法中，左侧仍然只是一个非终结符号，但右侧也受到限制。右侧可以是空字符串，也可以是单个终结符号，或者是后跟非终结符号的单个终结符号，但不能是其他符号。（有时会使用更宽泛的定义：可以允许更长的终结字符串或单个非终结字符串，而不能有其他任何东西，从而使语言更易于表示，同时仍然定义同一类语言。）

上面定义的语言 ${\displaystyle \left\{a^{n}b^{n}\mid n\geq 1\right\}}$ 不是一个正则语言，但下面这个语言是：${\displaystyle \left\{a^{n}b^{m}\mid m,n\geq 1\right\}}$（一个或多个 ${\displaystyle a}$ 后面跟着一个或多个 ${\displaystyle b}$，这两个的数量可以不一样）。它之所以是正则语言，是因为可以通过文法 ${\displaystyle G_{3}}$ 定义，其中 ${\displaystyle N=\left\{S,A,B\right\}}$，${\displaystyle \Sigma =\left\{a,b\right\}}$，${\displaystyle S}$ 为开始符号，还有如下产生式规则：

1. ${\displaystyle S\rightarrow aA}$
2. ${\displaystyle A\rightarrow aA}$
3. ${\displaystyle A\rightarrow bB}$
4. ${\displaystyle B\rightarrow bB}$
5. ${\displaystyle B\rightarrow \epsilon }$

由正则文法生成的所有语言都可以被有限状态机在 ${\displaystyle O(n)}$ 时间内识别出来。虽然在实际应用中，正则文法通常使用正则表达式来表示，但是实际应用中使用的一些正则表达式并没有严格地生成正则语言，也因此没有表现出线性识别性能。

语言学家和计算机科学家对乔姆斯基的形式语法的原始层次结构进行了许多扩展和变化，通常是为了增强表达能力，或者是为了使分析或解析更加容易。一些形式的文法包括:

• 树-邻接文法允许重写规则在分析树上操作，而不仅仅是字符串，从而提高了传统生成文法的表达能力。[10]
• 词缀文法[11]和属性文法[12][13]允许通过语义属性和操作扩充重写规则，这对于提高语法表达能力和构建实用的语言翻译工具都很有用。

递归文法是包含递归产生式规则的语法。例如，如果存在一个非终结符 A，可以通过产生式规则生成一个以 A 为最左边符号的字符串，那么上下文无关语言的文法就是左遞歸的。[14]