Towards a comprehensive understanding of the impact of large language models on natural language processing: challenges, opportunities and future directions^&dagger;

Xuanjing Huang, Z.Y. Liu, Min Zhang, 韬桂, 先培韩, 保田户, 民烈黄, 萱菁黄, 康刘, 挺刘, 知远刘, 兵秦, 锡鹏邱, 小军万, 宇轩王, 继荣文, 睿严, 家俊张, 民张, 奇张, 军赵, 鑫赵, 妍妍赵

2023Scientia Sinica Informationis33 citationsDOI

Abstract

近期发布的ChatGPT和GPT-4等大型语言模型, 不仅能高质量完成自然语言生成任务, 生成流畅通顺, 贴合人类需求的语言, 而且具备以生成式框架完成各种开放域自然语言理解任务的能力. 在少样本, 零样本场景下, 大模型可取得接近乃至达到传统监督学习方法的性能, 且具有较强的领域泛化性, 从而对传统自然语言核心任务产生了巨大的冲击和影响. 本文就大模型对自然语言处理的影响进行了详细的调研和分析, 试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇, 探讨大模型将加强哪些自然语言处理共性问题的研究热度, 展望大模型和自然语言处理技术的未来发展趋势和应用. 分析结果表明, 大模型时代的自然语言处理依然大有可为. 我们不仅可以将大模型作为研究方法和手段, 学习, 借鉴大型语言模型的特点和优势, 变革自然语言处理的主流研究范式, 对分散独立的自然语言处理任务进行整合, 进一步提升自然语言核心任务的能力; 还可就可解释性, 公平性, 安全性, 信息准确性等共性问题开展深入研究, 促进大模型能力和服务质量的提升. 未来, 以大模型作为基座, 拓展其感知, 计算, 推理, 交互和控制能力, 自然语言处理技术将进一步助力通用人工智能的发展, 促进各行各业的生产力进步, 更好地为人类社会服务.

Topics & Concepts

DaggerNatural (archaeology)Computer scienceGeographyPhilosophyArchaeologyTheologyTopic ModelingNatural Language Processing TechniquesExplainable Artificial Intelligence (XAI)

Towards a comprehensive understanding of the impact of large language models on natural language processing: challenges, opportunities and future directions^&amp;dagger;

Abstract

Topics & Concepts

Towards a comprehensive understanding of the impact of large language models on natural language processing: challenges, opportunities and future directions^&dagger;