王力

华为技术有限公司服务与软件研发管理部数据中台系统工程师

个人介绍：

王力，华为技术有限公司服务与软件研发管理部数据中台系统工程师，西安交通大学博士。主要研究分布式计算平台、大数据处理引擎的资源调度技术，获得教育部科技进步二等奖（第3完成人）

议题：

应用强化学习选择spark on yarn的最佳资源参数

议题介绍：

数据中台承载着华为的运营商大数据分析业务，在全球建有300多个局点，最大900+服务器，数据接入量超过2TB/S。数据中台应用spark支持批计算任务，使用spark on yarn完成大数据平台的资源调度，而各局点的应用数据对容器的规格、多少有不同的需求，yarn虽然提供了配置参数接口，但是依赖专家配置费时、费力，且不一定最优。因此，提出应用强化学习选择spark on yarn的最佳资源参数，针对不同业务，学习、尝试，并最终选择spark运行时的最佳参数。该方法不仅可以用作spark运行时的最佳参数选择，对于其它需要配置运行时参数的系统仍然适用。