出品人: 张俊林 | 新浪微博机器学习团队AI Lab负责人
张俊林，中国中文信息学会理事，中科院软件所博士。目前担任新浪微博机器学习团队AI Lab负责人。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及在百度和用友担任技术经理及技术总监等职务。他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届优秀图书奖）、《大数据日知录：架构与算法》的作者。
地点：北京富力万丽酒店 · 首府宴会厅 3
时间：2019年9月7日 9:00—17:35
近两年，从BERT到XLnet等研究的重大突破，NLP领域进入火爆发展期，各项任务记录频频被刷新。而BERT后时代，技术的发展又将为产业带来哪些创新？本届分论坛技术专家将与你分享技术如何驱动应用，锻造开发者硬核技能！
张俊林，中国中文信息学会理事，中科院软件所博士。目前担任新浪微博机器学习团队AI Lab负责人。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及在百度和用友担任技术经理及技术总监等职务。他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届优秀图书奖）、《大数据日知录：架构与算法》的作者。
本报告将介绍华为诺亚方舟实验室在预训练语言模型的研究和应用方面的一些进展。其中包含了华为诺亚方舟实验室在自然语言处理这一技术方向中的经验与实践，以及个人在预训练语言模型的专题研究中的实践经验与所使用的技术分享。
近几年，越来越多的企业开始引入人工智能来提升企业跟用户、跟员工之间的沟通效率和效果，降低服务成本。无论是电话服务机器人、文本服务机器人还是实体机器人，在服务过程中表现出的智能程度也越来越受到关注。提升对话机器人的智能程度，需要从多方面入手：首先是机器人需要有足够的知识储备（问答对、知识图谱、文档）；其次需要有较强的理解能力（自然语言理解），知道用户的关注点在哪里，找到准确的答案；再次，需要形成有效的对话流程，处理好上下文信息的继承、考虑到环境因素的影响等。除了上述自然语言处理的技术，一个高质量的对话还有艺术的部分：同样的语义用怎样的话术来表达；听不懂的时候该如何响应；根据当前话题如何引导用户持续沟通、了解更多的信息等等。 本报告结合我们在思必驰产品落地过程中的实际情况，介绍我们在这个领域的实践情况。
自然语言处理被誉为人工智能皇冠上的明珠，在实现聊天机器人的下一代范式-虚拟生命的过程中，自然语言处理起到了至关重要的作用。本报告聚焦自然语言处理在产品中的具体落地，给出了自然语言处理算法的工程实践，分析了现阶段的技术瓶颈，针对性的提出了解决方案，并讨论了未来的发展方向。
2018年，微软小冰正式宣布上线共感模型，同时也开始公测一种融合了文本、全双工语音与实时视觉的新感官。据微软介绍，这项新技术可以实时预测人类即将说出的内容，实时生成回应，并控制对话节奏，从而使长程语音交互成为可能。而采用该技术的智能硬件设备不需要用户在每轮交互时都说出唤醒词，仅需一次唤醒，就可以轻松实现连续对话，使人与机器的对话更像人与人的自然交流。 微软表示，两年来在人类的训练下，小冰已实现不局限于任何封闭域，而是可针对开放域进行全双工语音对话。此前，微软已落地的对话场景包括传统电话、VoIP 电话以及智能音箱设备。 今年，全双工语音交互感官实现新的落地—车载。
Bert自从提出后，在很多NLP应用领域获得了突破性的进展，之后也陆续出现了基于Bert的很多改进模型。但是，其实目前大家对于Bert以及Bert采用的特征抽取器Transformer了解并不深入，那么一个很有意义的问题是：Bert及Transformer到底学习到了哪些NLP任务的特征呢？这些特征有什么特点？本次分享将归纳目前相关的研究结论，为大家分享这方面的研发进展，以进一步增进大家对Bert以及Transformer的深入了解，以便于进一步的模型升级及改造。
近两年，以GPT、BERT为代表的预训练语言模型在NLP领域取得重大突破，该技术刷新各大NLP任务基准，在众多NLP任务上取得SOTA。 百度于今年3月提出知识增强的语义表示模型 ERNIE，并发布了基于 PaddlePaddle 的开源代码与模型，在语言推断、语义相似度、命名实体识别、情感分析、问答匹配等自然语言处理（NLP）各类中文任务上的验证显示，模型效果全面超越 BERT。7月，百度又升级ERNIE技术，发布持续学习语义理解框架 ERNIE 2.0，同时借助飞桨高效分布式训练优势发布了基于此框架的 ERNIE 2.0 预训练模型。该模型在共计 16 个中英文任务上超越了 BERT 和 XLNet，取得了 SOTA 效果。本次演讲主要介绍百度语义表示技术发展脉络、ERNIE技术原理及其应用实践。
本次分享将介绍自然语言预训练模型XLNet。XLNet基于自回归思想，在20项自然语言理解任务上取得了优于BERT的表现。
机器阅读理解（Machine Reading Comprehension）是让机器阅读并理解给定的文本并且能够回答与文本相关的问题，是目前自然语言处理领域最受关注的任务之一，也是认知智能中的典型任务。在本报告中，我们将聚焦基于深度学习的机器阅读理解技术。首先，我们将简单回顾机器阅读理解中的经典任务及其具有代表性的相关技术，主要包括早期的填空型阅读理解、篇章抽取型阅读理解、选择型阅读理解等。接下来将重点介绍近期在自然语言处理领域非常热门的基于预训练的深度学习方法及其在机器阅读理解领域中的应用，并同步介绍相关中文信息处理的研究发展。在报告的最后，我们将剖析近期机器阅读理解领域的研究热点，并且对未来研究的发展方向进行展望。
扫码回复：大会，加入大会福利群