科学家们很早以前就意识到，语音和文字信号进入大脑后，它们共享了一部分处理路径，就像你听的时候很容易干扰你的阅读一样带歌词的歌曲。相关的探索可以追溯到一百多年前一个年轻人的偶然发现。1874年，卡尔·韦尼克师从著名的神经病理学家西奥多·梅内特。他记录了两个特殊的病人。他们似乎患有某种语言表达障碍，但症状与典型的表达性失语症有很大不同：他们说话和写作都很流利，但却是胡言乱语。Wernicke最终将这种情况（现在称为感觉性失语症）归因于后颞叶和顶叶颞叶的脑损伤。它破坏了患者的语言理解能力，因此患者在说话和写字时往往会忘记：“我要说什么？现代科学家在观察大脑活动的过程中，终于证实了大脑中的语音文本。”这些区域负责理解语音和文本。看外语片的时候，我们可以看字幕，顺利看完电影。这里的字幕涉及到语音翻译技术。将计算机的语音翻译成目标语言（例如您的母语）的文本。然而，对于计算机来说，语音和文本的表达方式截然不同。文本通常只是几十个符号，但语音是连续的声音波形，长度可以是很长，即使是一个单词，在什么语境中，在什么语境中，由谁发出，听起来也可能大相径庭。此外，语音和文本的编码方式不同。文本单词由词根和词缀表示。语音包含一系列语素，辅以重量和语调。对人类来说容易的事情，对人工智能来说可能更难。文本和语音的差异如此之大，以至于在文本处理方面AI研究成果丰硕时，在语音方面的表现却远远落后。为了弥合差距，我们需要以统一的方式理解语音和文本，就像我们的大脑一样。现在我们研究人工智能，已经开始从解剖学和神经科学开始学习了。受到学??习优化模型的启发，人工智能离我们越来越近。
