1. <code id="hkh8t"></code>
          <thead id="hkh8t"></thead>

            <output id="hkh8t"><ruby id="hkh8t"><div id="hkh8t"></div></ruby></output>
            <thead id="hkh8t"><sup id="hkh8t"></sup></thead>
            1. <acronym id="hkh8t"><ruby id="hkh8t"></ruby></acronym>
              • 參會報名
              • 會議介紹
              • 會議日程
              • 會議嘉賓
              • 參會指南
              • 邀請函下載

              首頁 > 商務會議 > IT互聯網會議 > 2018Spark大數據處理與案例分析高級工程師實戰培訓班(11月珠海班) 更新時間:2018-11-07T16:57:39

              大會站點分布:
              (點擊可切換)
              2018Spark大數據處理與案例分析高級工程師實戰培訓班(11月珠海班)
              收藏3人
              分享到

              2018Spark大數據處理與案例分析高級工程師實戰培訓班(11月珠海班) 已過期

              會議時間:2018-11-20 08:00至 2018-11-24 18:00結束

              會議地點: 珠海  詳細地址會前通知  

              會議規模:暫無

              主辦單位: 中國軟件產業培訓網

              發票類型:增值稅普通發票 增值稅專用發票

              行業熱銷熱門關注看了又看 換一換

                    會議介紹 會議內容 主辦方介紹


                    2018Spark大數據處理與案例分析高級工程師實戰培訓班(11月珠海班)

                    2018Spark大數據處理與案例分析高級工程師實戰培訓班(11月珠海班)宣傳圖

                    各有關單位:

                    當下是大數據時代,為構建大數據平臺,技術人員需要對分布式計算平臺有一定深入的理解和應用。MapReduce作為一個經典的分布式計算框架,已經廣為人知,且得到了廣泛的應用,但MapReduce自身存在很多問題,包括迭代式計算和DAG計算等類型的數據挖掘與機器學習算法性能低下,不能很好地利用內存資源,編程復雜度較高等。為了克服MapReduce的眾多問題,新型計算框架出現了。Spark已經被不少互聯網公司采用,大部分數據挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中,包括阿里巴巴,騰訊,百度,優酷土豆,360,支付寶等互聯網公司已經在線上產品中使用spark,且取得了令人滿意的效果,另外,部分省份的運營商也正在嘗試使用spark解決數據挖掘和分析問題,部分銀行,如工商銀行,也正在嘗試spark平臺。因此中國軟件產業培訓網決定開展“Spark大數據處理與案例分析高級工程師”實戰培訓班,本次培訓由北京天博信通科技有限公司具體承辦,望相關單位收到通知后積極參加。相關培訓事宜如下:

                    培訓時間及地點

                    2018年11月20日---11月24日   珠海(20日全天報到)

                    報道地點:珠海華僑賓館大廳(拱北迎賓南路2106號),請學員自帶筆記本電腦。
                    住宿標準:標準/雙人房/大床房/268元/間,高級/雙人房/大床房/288元/間。???????

                    課程目標

                    1、 深入理解Spark計算原理和編程模型,掌握Spark Core和SparkSql、SparkStreaming等上層系統的結合方式

                    2、深入掌握SparkCore、SparkSql使用調優技巧

                    3、深入掌握SparkStreaming和SparkMllib使用和調優技巧

                    4、 深入掌握Spark和其他組件的結合使用

                    5、 了解Spark與MapReduce分布式計算模型的區別和各自適合的使用場景。

                    6、 能夠使用java、python和scala進行spark應用開發(如果要講解三種語言開發spark,工作量會非常大,建議只講解一種(可以根據企業的要求來定,)

                    7、熟練使用spark、spark streaming、spark SQL、spark mllib

                    8、深入了解spark在大型互聯網的架構和使用場景

                    培訓對象

                    各地企事業單位大數據產業相關人員,運營商 IT信息化和運維工程師相關人員,金融業信息化相關人員,或對大數據spark感興趣的相關人員。

                    頒發證書

                    參加相關培訓并通過考試的學員,可以獲得:

                    1.工業和信息化部全國網絡與信息技術項目管理中心頒發的-大數據高級工程師職業技能證書。該證書可作為專業技術人員職業能力考核的證明,以及專業技術人員崗位聘用、任職、定級和晉升職務的重要依據。

                    注:請學員帶一寸彩照2張(背面注明姓名)、身份證復印件一張。

                    培訓特色

                    本課程基于最新的spark 2講解,內容涵蓋了企業中大數據處理的四大場景:

                    離線批處理、流式計算、SQL處理、機器學習。Spark是一個廣泛應用的分布式內存計算模型,旨在大幅提升的迭代算法和交互低延遲數據挖掘的性能。Spark更適合于迭代運算比較多的ML和DM運算,one stack rule them all!Spark號稱一個平臺可以適合所有的應用,如SparkSql可以處理結構化數據,SparkStreaming旨在提供實時的計算能力,而SparkMllib則提供了豐富機器學習算法庫。

                    查看更多

                    中國軟件產業培訓網

                    為響應國家“人才興國、科教興國”戰略,緩解中國軟件技術人才需求日益緊張的現狀,推動中國軟件業的發展,培養一批高素質的軟件專業人才,在工信部以及相關領導的大力支持下2008年成立了中國軟件產業培訓網(簡稱“軟博教育”),軟博教育自成立以來即定位于軟件技術專業人才培養實訓機構,專注致力于軟件技術人才的培養,是中國科學院計算技術研究所教育中心合作培訓機構,也是工信部人才交流中心唯一指定的全國計算機專業技術人才培訓基地”,“國家人力資源和社會保障部——全國信息化人才培養工程項目(即國家“653工程”)指定培養機構”, 中國軟件產業培訓網(中聯軟博(北京)科技有限公司)--率先在國內開展高級軟件架構等IT高端培訓的公開課。多年來持續不斷的投入精力創新課程體系,至今已在國內開展公開課培訓的課程達十幾門,分別涵蓋軟件架構、軟件設計、項目管理、質量管理、需求工程、運營管理等領域,也根據企事業單位的實用需求, 通過定制培訓方案,培訓后的技術服務,將企業單位的信息化投資的效益發揮到最高點。目前中心已經與幾百家企事業單位建立了長期的培訓合作關系, 深得用戶信賴和好評。

                    會議日程 (最終日程以會議現場為準)


                    課程模塊

                    課程主題

                    主要內容

                    模塊一

                    Spark 2.1概述

                     1、Spark產生背景,包括mapreduce缺陷,多計算框架并存等

                    2、Spark 基本特點

                    3、Spark版本演化

                    4、Spark核心概念,包括RDD, transformation, action, cache等

                    5、Spark生態系統,包括Spark生態系統構成,以及與Hadoop生態系統關系

                    6、Spark在互聯網公司中的地位與應用

                    7、介紹當前互聯網公司的Spark應用案例

                     8、Spark集群搭建,包括測試集群搭建和生產環境中集群搭建方法,并親手演示整個過程

                     9、背景知識補充介紹

                    模塊二

                     

                    Spark Core 

                     Spark 程序設計與企業級應用案例

                     1、Spark運行模式介紹

                    Spark運行組件構成,spark運行模式(local、standalone、mesos/yarn等)

                    2、Spark開發環境構建

                    集成開發環境選擇,親手演示spark程序開發與調試,spark運行

                    3、常見transformation與action用法

                    介紹常見transformation與action使用方法,以及代碼片段剖析

                    4、常見控制函數介紹

                    包括cache、broadcast、accumulator等

                    5、Spark 應用案例:點擊流日志分析

                    包括:背景介紹,數據導入,數據分析,常見Spark transformation和action用法在線演示

                    模塊三

                       Spark

                    內部原理剖析與源碼閱讀

                     1、Spark運行模式剖析

                     深入分析spark運行模式,包括local,standalone以及spark on yarn

                     2、Spark運行流程剖析

                     包括spark邏輯查詢計劃,物理查詢計劃以及分布式執行

                     3、Spark shuffle剖析

                     深入介紹spark shuffle的實現,主要介紹hash-based和sort-based兩種實現

                     4、Spark 源碼閱讀

                     Spark源碼構成以及閱讀方法

                    模塊三

                         Spark  

                    程序調優技巧

                     1、數據存儲格式調優數據存儲格式選擇,數據壓縮算法選擇等

                     2、資源調優

                    如何設置合理的executor、cpu和內存數目,YARN多租戶調度器合理設置,啟用YARN的標簽調度策略等

                     3、程序參數調優

                    介紹常見的調優參數,包括避免不必要的文件分發,調整任務并發度,提高數據本地性,JVM參數調優,序列化等

                    4、程序實現調優

                    如何選擇最合適的transformation與action函數

                    5、調優案例分享與演示

                    演示一個調優案例,如何將一個spark程序的性能逐步優化20倍以上。

                    模塊四

                     Spark sql 2.1

                      Spark SQL基本原理

                      1、Spark SQL是什么

                      2、Spark SQL基本原理

                      3、Spark  Dataframe與DataSet

                      4、Spark SQL與Spark Core的關系

                    模塊五

                       Spark SQL

                    程序設計與企業級應用案例

                      1、Spark SQL程序設計

                      a.  如何訪問MySQL、HDFS等數據源,如何處理parquet格式數據

                      b.  常用的DSL語法有哪些,如何使用

                      c.  Spark SQL調優技巧

                      d.  數據傾斜解決方案

                    模塊六

                       Spark Streaming程序設計及應用案例

                     1、Spark  Streaming基本原理

                      a.  Spark Streaming是什么

                    b.  Spark Streaming基本原理

                    c.  Structured Streaming

                     d.  Spark  Streaming 編程接口介紹

                    e.  Spark Streaming應用案例

                      2、Spark  Streaming程序設計與企業級應用案例

                      a.  常見流式數據處理模式

                     b.  Spark Streaming與Kafka 交互

                     c.  Spark Streaming與Redis交互

                     d.  Spark Streaming部署與運行

                     e.  Spark Streaming企業級案例:用戶行為實時分析系統

                    模塊七

                    Spark Mllib

                    Spark MLlib

                    企業級案例

                    1.  Spark MLlib簡介

                    2.  數據表示方式

                    3.  MLlib中的聚類、分類和推薦算法

                    4.  如何使用MLlib的算法

                    5.  Spark MLLib企業級案例:用戶畫像之性別預測

                    模塊八

                    Spark綜合案例

                    信用評分實時分析系統

                    1.  背景介紹

                    2.  什么是Lambda architecture

                    3.  利用Spark Core+MLlib+構建離線處理

                    4.  利用flume+Spark Streaming+Redis構建實時處理線

                    5.  整合批處理和實時處理線

                    模塊八

                    Spark綜合案例

                    信用評分實時分析系統

                    1.  背景介紹

                    2.  什么是Lambda architecture

                    3.  利用Spark Core+MLlib+構建離線處理

                    4.  利用flume+Spark Streaming+Redis構建實時處理線

                    5.  整合批處理和實時處理線

                    模塊九

                    典型項目
                    案例實戰

                    ¬ 基于spark日志分析
                    ¬ 個性化推薦系統:帶你揭開其神秘面紗
                    ¬ 在線投放引擎
                    ¬ 揭開淘寶點擊推薦系統的神秘面紗
                    ¬ 淘寶數據服務架構—實時計算平臺

                    查看更多

                    會議嘉賓 (最終出席嘉賓以會議現場為準)


                    張老師:阿里大數據高級專家,國內資深的Spark、Hadoop技術專家、虛擬化專家,對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態系統中的技術進行了多年的深入的研究,更主要的是這些技術在大量的實際項目中得到廣泛的應用,因此在Hadoop開發和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有:某電信集團網絡優化、中國移動某省移動公司請賬單系統和某省移動詳單實時查詢系統、中國銀聯大數據數據票據詳單平臺、某大型銀行大數據記錄系統、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統、某區域醫療大數據應用項目、互聯網公共數據大云(DAAS)和構建游戲云(Web Game Daas)平臺項目等。 

                    查看更多

                    參會指南 會議門票


                    培訓費6800元。(含培訓費、資料費、考試費、證書費、講義光盤費等)。需要住宿學員請提前通知,可統一安排,費用自理。

                    10月貴陽班???????

                    12月北京班

                    2019年1月杭州班

                    查看更多

                    溫馨提示
                    酒店與住宿: 為防止極端情況下活動延期或取消,建議“異地客戶”與活動家客服確認參會信息后,再安排出行與住宿。
                    退款規則: 活動各項資源需提前采購,購票后不支持退款,可以換人參加。

                    活動家為本會議官方合作
                    報名平臺,您可在線購票

                    會議支持:

                    • 會員折扣
                      該會議支持會員折扣
                      具體折扣標準請參見plus會員頁面
                    • 芝麻信用
                      芝麻信用超過650分,可享受先開發票后付款特權。
                    • 會員返積分
                      每消費1元累積1個會員積分。
                      僅PC站支持。
                    • 會員積分抵現
                      根據會員等級的不同,每抵用1元可使用的積分也不一樣,具體可參見PLUS會員頁面。 僅PC站支持。
                    該會議支持會員優惠 去開通

                    會議地點

                    快捷下單

                    微信掃一掃
                    使用小程序快捷下單

                    部分參會單位

                    主辦方沒有公開參會單位

                    郵件提醒通知

                    分享到微信 ×

                    打開微信,點擊底部的“發現”,
                    使用“掃一掃”即可將網頁分享至朋友圈。

                    錄入信息

                    請錄入信息,方便生成邀請函

                    江西快三官网
                    1. <code id="hkh8t"></code>
                          <thead id="hkh8t"></thead>

                            <output id="hkh8t"><ruby id="hkh8t"><div id="hkh8t"></div></ruby></output>
                            <thead id="hkh8t"><sup id="hkh8t"></sup></thead>
                            1. <acronym id="hkh8t"><ruby id="hkh8t"></ruby></acronym>
                              1. <code id="hkh8t"></code>
                                    <thead id="hkh8t"></thead>

                                      <output id="hkh8t"><ruby id="hkh8t"><div id="hkh8t"></div></ruby></output>
                                      <thead id="hkh8t"><sup id="hkh8t"></sup></thead>
                                      1. <acronym id="hkh8t"><ruby id="hkh8t"></ruby></acronym>