2025-02-17 资讯 0
在这个信息爆炸的时代，人们对与计算机交互提出了更高的要求。我们不再满足于简单的人机对话，而是希望能够像人与人交流那样自然、流畅。然而，人类之间的交流并非仅仅文字表达，它是一种微妙且复杂的过程。生活中，我们通过语气词来加强语气，表达愉悦、恼怒或无聊。而要让计算机真正理解人类日常交流用语，就需要超越单词定义，更深入理解人类的情感和潜台词。
NLP（自然语言处理）就是在丰富的人类语言和机器语言之间搭建桥梁的技术。在新一代AI技术发展下，巨大的数据支持成为不同场景构建AI不可或缺的一部分。AI大牛沈向洋曾在演讲中指出：“构建AI离不开数据”，如何设计和构建负责任的AI，其数据来源至关重要。
目前NLP应用场景普遍缺乏足够规模标注数据，并且标注成本高昂，这导致准确率通常并不理想。那如何才能以低成本、高效率获取高质量数据，以便快速上手ASR/TTS/NLP引擎进入实用阶段呢？针对这一问题，我有幸与澳鹏（Appen）中国区客户服务副总裁段杨Danny Duan进行了深度对话。
段杨Danny Duan认为，“成品数据库是一个明智选择。”他解释说，一成功NLP引擎关键因素是算法和高质量训练数据，而算法往往公开可获得，最大的差异来自于精准大量训练数据，以及定制化长时间、高成本的数据采集和标注过程。
对于“每个决策方案都利用了NLP”的说法，他进一步阐述：“人机交互包括几个步骤：首先，让计算机会听懂你说的是什么；然后转换成文本；最后分析文本内容，从而了解你的意图。这就是自然语言理解或者叫做NLP任务。”
成功的NLP从用户角度看，就是能像真人一样知道你要说什么，要做什么，并给出正确反应。如果能分辨不出来，你说的都是真的，那么这就说明这个NLP已经非常成功了。但现实情况远未达到这样的水平。
实际上真正难点不是转换过程，而是在于分析过程。“因为分析文本，不只是简单地识别一些词句内容，还得识别意图。而人的意图发散性很强，有多种可能含义，而且往往有上下文附加背景知识，这就使得整个情境变得开放式集合。”因此，每个厂家都会事先圈定好应用场景，比如设闹钟、搜索内容等，以便于有限范围内应对常见意图。
关于情绪分析，如不同的语气可能带有截然相反的情感意义，对当前能力来说还是存在挑战。但随着更多样化的大量训练，可以逐步提升系统对于复杂维度处理能力。不过目前还处于基础阶段，对复杂场景尚需提高。此外，与头部大厂商相比，小型企业更倾向于聚焦特定领域，为此他们可以缩减使用范围，在投入有限的情况下，用有限资源取得效果。此外，对算法突破也有一定的期望，但核心依旧是大量优质训练所需的大量有效性的数据库建设工作。
