【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系
发布时间:2021-03-17 09:35:28 所属栏目:大数据 来源:网络整理
导读:【 本文系互联网技术联盟(ITA1024)原创首发,转载或节选内容前需获授权(授权后一周以后可以转载),且必须在正文前注明:本文转自互联网技术联盟(ITA1024)技术分享实录,微信公众号:ita1024k 】 申贤强 搜狗 资深工程师 互联网技术联盟 ITA1024讲师团成
资源利用率不高,我们存在资源浪费,并且在优先级支持是不太足够。我们现在所使用的系统就是的2.0调度系统,引入Docker,这是我们核心的逻辑都在上面。 第一,引入Docker解决环境依赖,Docker不在今天会议上,最大的优势资源与环境的隔离。 ??? 第二,YARN,比较优秀开源框架,大家对它使用比较多,解决调度问题,优先级问题,资源利用率的武装,所以这是引入YARN的原因。 ??? (编辑:ASP站长) 【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。 |
相关内容
未处理完善
-
无相关信息
最新更新