1. <code id="hkh8t"></code>
          <thead id="hkh8t"></thead>

            <output id="hkh8t"><ruby id="hkh8t"><div id="hkh8t"></div></ruby></output>
            <thead id="hkh8t"><sup id="hkh8t"></sup></thead>
            1. <acronym id="hkh8t"><ruby id="hkh8t"></ruby></acronym>
              • 参会报名
              • 会议介绍
              • 会议日程
              • 会议嘉宾
              • 参会指南
              • 邀请函下载

              首页 > 商务会议 > IT互联网会议 > 2018Spark大数据处理与案例分析高级工程师实战培训班(11月珠海班) 更新时间:2018-11-07T16:57:39

              大会站点分布:
              (点击可切换)
              2018Spark大数据处理与案例分析高级工程师实战培训班(11月珠海班)
              收藏3人
              分享到

              2018Spark大数据处理与案例分析高级工程师实战培训班(11月珠海班) 已截止报名

              会议时间:2018-11-20 08:00至 2018-11-24 18:00结束

              会议地点: 珠海  详细地址会前通知  

              会议规模:暂无

              主办单位: 中国软件产业培训网

              推荐会议:GMIC 2019 广州 全球移动互联网大会(超序之美)

              发票类型:增值税普通发票 增值税专用发票

              行?#31561;?#38144;热门关注看了又看 换一换

                    会议介绍

                    会议内容 主办方介绍


                    2018Spark大数据处理与案例分析高级工程师实战培训班(11月珠海班)

                    2018Spark大数据处理与案例分析高级工程师实战培训班(11月珠海班)宣传图

                    各有关单位:

                    当下是大数据时代,为构建大数据平台,技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架,已经广为人知,?#19994;?#21040;了广泛的应用,但MapReduce自身存在很多问题,包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下,不能很好地利用内存资源,编程复杂度较高等。为了克服MapReduce的众多问题,新型计算框架出现了。Spark已经被不少互联网公司采用,大部分数据挖掘算法和迭代式算法在逐步MapReduce平台迁移到Spark平台中,包括阿里巴巴,腾讯,百度,优酷土豆,360,支付宝等互联网公司已经在线上产?#20998;?#20351;用spark,且取得了令人满意的效果,另外,部分省份的运营商也正在尝试使用spark解决数据挖掘和分析问题,部分银行,如工商银行,也正在尝试spark平台。因此中国软件产业培训网决定开展“Spark大数据处理与案例分析高级工程师”实战培训班,本次培训由?#26412;?#22825;博信通科技有限公司具体承办,望相关单位收到通知后积极参加。相关培训事宜如下:

                    培训时间及地点

                    2018年11月20日---11月24日   珠海(20日全天报到)

                    报道地点:珠海华侨宾馆大厅(拱北迎宾?#19979;?106号),请学员?#28304;?#31508;记本电脑。
                    住宿标准:标准/双人房/大床房/268元/间,高级/双人房/大床房/288元/间。???????

                    课程目标

                    1、 深入理解Spark计算原理和编程模型,掌握Spark Core和SparkSql、SparkStreaming等上层?#20302;?#30340;结合方式

                    2、深入掌握SparkCore、SparkSql使用调优技巧

                    3、深入掌握SparkStreaming和SparkMllib使用和调优技巧

                    4、 深入掌握Spark?#25512;?#20182;组件的结合使用

                    5、 了解Spark与MapReduce分布式计算模型的区别和各自适合的使用场景。

                    6、 能够使用java、python和scala进行spark应用开发(如果要讲解三种语言开发spark,工作量会非常大,建议只讲解一种(可以根据企业的要求来定,)

                    7、熟练使用spark、spark streaming、spark SQL、spark mllib

                    8、深入了解spark在大型互联网的架?#36141;?#20351;用场景

                    培训对象

                    各地企事业单位大数据产业相关人员,运营商 IT信息化和运维工程师相关人员,金融业信息化相关人员,或对大数据spark?#34892;?#36259;?#21335;?#20851;人员。

                    颁发证书

                    参加相关培训并通过考试的学员,可以获得:

                    1.工业和信息化部全国网络与信息技术项目管理中心颁发的-大数据高级工程师职业技能证书。该证书可作为专业技术人员职业能力考?#35828;?#35777;明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。

                    注:请学员带一寸?#25910;?张(背面注明姓名)、身份证复印件一张。

                    培训特色

                    本课程基于最新的spark 2讲解,内容涵盖了企业中大数据处理的四大场景:

                    离线批处理、流式计算、SQL处理、机器学习。Spark是一个广泛应用的分布式内存计算模型,旨在大幅提升的迭代算法和交互低延迟数据挖掘的性能。Spark更适合于迭代运算比较多的ML和DM运算,one stack rule them all!Spark号称一个平台可以适合所有的应用,如SparkSql可以处理结构化数据,SparkStreaming旨在提供实时的计算能力,而SparkMllib则提供了丰?#25442;?#22120;学习算法库。

                    查看更多

                    中国软件产业培训网

                    为响应国家“人才兴国、?#24179;?#20852;国”战略,缓解中国软件技术人才需求日益紧张的现状,推动中国软件业的发展,培养一批高素?#23454;?#36719;件专?#31561;?#25165;,在工信部以及相关领导的大力支持下2008年成立了中国软件产业培训网(简称“软博教育?#20445;?#36719;博教育自成立以来即定位于软件技术专?#31561;?#25165;培养实训机构,专注致力于软件技术人才的培养,是中国科学?#26477;?#31639;技术研究所教育中心合作培训机构,也是工信部人才交流中心唯一指定的全国计算机专业技术人才培训基地?#20445;?#22269;家人力资源和社会保障部——全国信息化人才培养工程项目(即国家“653工程”)指定培养机构?#20445;? 中国软件产业培训网(中联软博(?#26412;?#31185;技有限公司)--率先在国内开展高级软件架构等IT高端培训的公开课。多年来?#20013;?#19981;断的?#24230;?#31934;力创新课程体系,至今已在国内开?#26500;?#24320;课培训的课程达十几门,分别涵盖软件架构、软件设计、项目管理、质量管理、需求工程、运营管理等领域,也根据企事业单位的实用需求, 通过定制培训方案,培训后的技术服务,将企业单位的信息化投?#23454;?#25928;益发挥到最高点。目前中心已经与几百家企事业单位建立了长期的培训合作关系, 深得用户信赖和好评。

                    会议日程

                    (最终日程以会议现场为准)


                    课程模块

                    课程主题

                    主要内容

                    模块一

                    Spark 2.1概述

                     1、Spark产生背景,包括mapreduce缺陷,多计算框架并存等

                    2、Spark 基本特点

                    3、Spark版本演化

                    4、Spark核心概念,包括RDD, transformation, action, cache等

                    5、Spark生态?#20302;常?#21253;括Spark生态?#20302;?#26500;成,以及与Hadoop生态?#20302;?#20851;系

                    6、Spark在互联网公司中的地位与应用

                    7、介绍当前互联网公司的Spark应用案例

                     8、Spark集群搭建,包括测试集群搭建和生产环境中集群搭建方法,并?#36164;?#28436;示整个过程

                     9、背景知识补充介绍

                    模块二

                     

                    Spark Core 

                     Spark 程序设计与企业级应用案例

                     1、Spark运行模式介绍

                    Spark运行组件构成,spark运行模式(local、standalone、mesos/yarn等)

                    2、Spark开发环境构建

                    集成开发环境选择,?#36164;?#28436;示spark程序开发与调试,spark运行

                    3、常见transformation与action用法

                    介绍常见transformation与action使用方法,以及代码片段剖析

                    4、常见控制函数介绍

                    包括cache、broadcast、accumulator等

                    5、Spark 应用案例:点击流日志分析

                    包括:背景介绍,数据导入,数据分析,常见Spark transformation和action用法在线演示

                    模块三

                       Spark

                    内部原理剖析与源码阅读

                     1、Spark运行模式剖析

                     深入分析spark运行模式,包括local,standalone以及spark on yarn

                     2、Spark运行流程剖析

                     包括spark逻辑查询计划,物理查询计划以及分布式执行

                     3、Spark shuffle剖析

                     深入介绍spark shuffle的实现,主要介绍hash-based和sort-based两种实现

                     4、Spark 源码阅读

                     Spark源码构成以及阅读方法

                    模块三

                         Spark  

                    程序调优技巧

                     1、数据存储格式调优数据存储格式选择,数据压缩算法选择等

                     2、资源调优

                    如何设置合理的executor、cpu和内存数目,YARN多租户调度器合理设置,启用YARN的标签调度策略等

                     3、程序参数调优

                    介绍常见的调优参数,包括避免不必要的文件分发,调整任务并发度,提高数据本地性,JVM参数调优,序?#35874;?#31561;

                    4、程序实现调优

                    如何选择最合?#23454;膖ransformation与action函数

                    5、调优案例分享与演示

                    演示一个调优案例,如何将一个spark程序的性能逐步优化20倍以上。

                    模块四

                     Spark sql 2.1

                      Spark SQL基本原理

                      1、Spark SQL是什么

                      2、Spark SQL基本原理

                      3、Spark  Dataframe与DataSet

                      4、Spark SQL与Spark Core的关系

                    模块五

                       Spark SQL

                    程序设计与企业级应用案例

                      1、Spark SQL程序设计

                      a.  如何访问MySQL、HDFS等数据源,如何处理parquet格式数据

                      b.  常用的DSL语法有哪些,如?#38382;?#29992;

                      c.  Spark SQL调优技巧

                      d.  数据倾斜解决方案

                    模块六

                       Spark Streaming程序设计及应用案例

                     1、Spark  Streaming基本原理

                      a.  Spark Streaming是什么

                    b.  Spark Streaming基本原理

                    c.  Structured Streaming

                     d.  Spark  Streaming 编程接口介绍

                    e.  Spark Streaming应用案例

                      2、Spark  Streaming程序设计与企业级应用案例

                      a.  常见流式数据处理模式

                     b.  Spark Streaming与Kafka 交互

                     c.  Spark Streaming与Redis交互

                     d.  Spark Streaming部署与运行

                     e.  Spark Streaming企业级案例:用户行为实时分析?#20302;?/p>

                    模块七

                    Spark Mllib

                    Spark MLlib

                    企业级案例

                    1.  Spark MLlib简介

                    2.  数据表示方式

                    3.  MLlib中的聚类、分类和推荐算法

                    4.  如?#38382;?#29992;MLlib的算法

                    5.  Spark MLLib企业级案例:用户画像之?#21592;?#39044;测

                    模块八

                    Spark综合案例

                    信用评分实时分析?#20302;?/p>

                    1.  背景介绍

                    2.  什么是Lambda architecture

                    3.  利用Spark Core+MLlib+构建离线处理

                    4.  利用flume+Spark Streaming+Redis构建实时处理线

                    5.  整合批处理和实时处理线

                    模块八

                    Spark综合案例

                    信用评分实时分析?#20302;?/p>

                    1.  背景介绍

                    2.  什么是Lambda architecture

                    3.  利用Spark Core+MLlib+构建离线处理

                    4.  利用flume+Spark Streaming+Redis构建实时处理线

                    5.  整合批处理和实时处理线

                    模块九

                    典型项目
                    案例实战

                    ¬ 基于spark日志分析
                    ¬ 个性化推荐?#20302;常?#24102;你揭开其神秘面纱
                    ¬ 在线投放引擎
                    ¬ 揭开?#21592;?#28857;击推荐?#20302;?#30340;神秘面纱
                    ¬ ?#21592;?#25968;据服务架构—实时计算平台

                    查看更多

                    会议嘉宾

                    (最终出席嘉宾以会议现场为准)


                    张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态?#20302;?#20013;的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富?#21335;?#30446;实施经验。近年主要典型?#21335;?#30446;有:某电信集团网络优化、中国移动某省移动公司请账单?#20302;?#21644;某省移动详单实时查询?#20302;场?#20013;国银联大数据数据票据详单平台、某大型银行大数据记录?#20302;场?#26576;大型通信运营商全国用户上网记录、某省交通部门违章?#20302;场?#26576;区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。 

                    查看更多

                    参会指南

                    会议门票


                    培训费6800元。(含培训费、资料费、考试费、证书费、讲义光盘?#35757;齲?#38656;要住宿学员请提前通知,可统一?#25165;牛?#36153;用自理。

                    10月贵阳班???????

                    12月?#26412;?#29677;

                    2019年1月杭州班

                    查看更多

                    温馨提示
                    酒店与住宿: 为防止极端情况下活动延期或取消,建议“异地客户”与活动家客服确认参会信息后,再?#25165;?#20986;行与住宿。
                    退款规则: 活动各项资源需提前采?#28023;?#36141;票后不支持退款,可以换人参加。

                    活动家为本会议官方合作
                    报名平台,您可在线购票

                    会议支持:

                    • 会员折扣
                      该会议支持会员折扣
                      具体折扣标准请参见plus会员页面
                    • 会员返积分
                      每消费1元累积1个会员积分。
                      仅PC站支持。
                    • 会员积分抵现
                      根据会员等级的不同,每抵用1元可使用的积分也不一样,具体可参见PLUS会员页面。 仅PC站支持。
                    该会议支持会员优惠 去开通

                    会议地点

                    部分参会单位

                    主办方没有公开参会单位

                    快捷下单

                    活动家_小程序快捷下单

                    微信扫一扫
                    使用小程序快捷下单

                    送礼神器

                    邮件提醒通知

                    分享到微信 ×

                    打开微信,点击底部的“发现?#20445;?br> 使用?#21543;?#19968;扫”即可将网页分享至朋友圈。

                    录入信息

                    请录入信息,方便生成邀请函

                    江西快三官网
                    1. <code id="hkh8t"></code>
                          <thead id="hkh8t"></thead>

                            <output id="hkh8t"><ruby id="hkh8t"><div id="hkh8t"></div></ruby></output>
                            <thead id="hkh8t"><sup id="hkh8t"></sup></thead>
                            1. <acronym id="hkh8t"><ruby id="hkh8t"></ruby></acronym>
                              1. <code id="hkh8t"></code>
                                    <thead id="hkh8t"></thead>

                                      <output id="hkh8t"><ruby id="hkh8t"><div id="hkh8t"></div></ruby></output>
                                      <thead id="hkh8t"><sup id="hkh8t"></sup></thead>
                                      1. <acronym id="hkh8t"><ruby id="hkh8t"></ruby></acronym>
                                      2. 浙江福彩快乐12走势图手机板 吉林快3免费缩水软件 期最准特码尾 体彩大乐透2元走势 广东快乐10分钟开奖 六肖中特(中) 广西11选5预测彩票 牌九点玩点分大小 大乐透9十3复式多少钱 王中王资料一肖中特管家婆 广西11选5技巧 梦见抓到大奖 2019生肖表彩图高清 黄大仙三肖中特期期准一力1 北京十一选五走势图手机版下载