【課程介紹】

    本專業擁實戰經驗與教學經驗豐富的教師團隊，以大數據的實訓課程為主。階段：Java基礎語法，面向對象程序設計，常用工具類。第二階段：電商基礎框架（數據庫，靜態、動態網站開發與部署，網站開發三大框架）。第三階段：爬蟲搜索系統（東京爬蟲開發，分布式搜索系統）；第四階段：分布式電商系統（電商網站主體架構搭建，電商網站商品管理，網頁靜態化搜索，單點登錄及購物流程實現，百萬級網站部署優化）；第五階段：構建離線數據分析平臺；第六階段：構建實時數據分析平臺，第七階段：推薦系統算法與源代碼分析。采用學練測評一體化的教學方案，**每個學員都能真真正正學到技術，掌握要點。

【課程內容】

階段：Java語言入門

• 計算機基礎知識：1.計算機基礎；2.DOS常用命令；3.Java概述；4.JDK環境安裝配置；5.環境變量配置；6.Java程序入門
• 編程基礎：常量與變量；2.數據類型；3.運算符；4.流程控制語句；5.方法；6.數組
• 面向對象：1.面向對象思想；2.類與對象；3.成員變量和局部變量；4.封裝；5.this關鍵字；6.構造方法
• 常用類：1.Object類；2.Scanner類；3.Random類；4.String；5.StringBuilder類
• 集合：1.集合概述；2.集合特點；3.ArrayList集合
• IO：1.字符輸入流；2.字符輸出流；3.字符緩沖輸入流；4.字符緩沖輸出流；5.復制文件；6.集合與文件中數據相互讀寫

第二階段：電商基礎架構：

• 數據庫：Mysql安裝配置、SQL語法入門、數據導入導出；數據建模、SQL查詢、JDBC入門、SQL注入、事務管理、批處理、連接池（Druid）、DBUtils框架
• 靜態網站開發與部署：HTML、CSS、JavaScript、BootStrap、Linux常用操作、Nginx服務器 網頁配置
• 動態網站開發與部署：Tomcat服務器、HTTP協議、servlet、JSP入門、JSTL(forEach)、EL、JQuery基礎、Ajax、Cookie、Session、JavaMail注冊、Redis入門、log4j、Slf4j
• 網站開發三大框架：1.計算機基礎；2.DOS常用命令；3.Java概述；4.JDK環境安裝配置；5.環境變量配置；6.Java程序入門

第三階段：爬蟲搜索系統

• 爬蟲開發：網絡爬蟲、Redis、Redis Cluster、Redis Cluster、動態代理
• 分布式搜索系統：Lucene、Solr、Solr Cloud

第四階段：分布式電商系統

• 電商網站主體架構搭建：電商基礎知識、背景分析、項目需求分析、Dubbo、AngularJS、商家管理平臺、網站管理平臺、商家入駐審核
• 電商網站商品管理：電商核心業務實現
• 頁面靜態化及搜索：freemarker靜態化、首頁輪播圖管理、首頁樓層管理、Solr、商品及店鋪搜索
• 單點登錄及購物流程實現：單點登錄（SSO）、購物車的實現、ActiveMQ消息隊列、支付寶系統對接
• 百萬級網站部署及優化：Nginx、Hudson、Solr Cloud、Docker容器部署、熱部署、高并發

第五階段：構建離線數據分析平臺

• 大數據分析基礎課：數據分析、數據分析基本步驟、數據分析師的職業發展、常用的數據分析方法論、大數據時代的思維變革、商業變革、管理變革
• 海量數據分布式存儲框架：點擊流日志系統解決方案、點擊流日志系統部署及電商項目集成、Hadoop集群搭建、Hadoop HDFS數據存儲原理、Flume點擊流日志數據采集
• 數據倉庫管理與數據分析：數據倉庫基本概念、數據倉庫工具HIVE快速入門、創建點擊流數據數據倉庫、點擊流數據分析（HiveSql）、點擊流數據分析結果導出（Sqoop）、報表平臺開發及數據展示、點擊流數據分析需求開發、調度系統使用及說明、Sqoop采集Mysql數據、跨部門數據采集管理之FTP規范、數據質量檢測與元數據管理
• Hive開發與分布式計算框架：Hadoop ；HIve ；UDF函數編寫、Hadoop ；MapReduce計算模型、Hadoop ；MapReduce ；案例開發；Hadoop ；MapReduce ；案例開發、HadoopMapReduce原理剖析；Hadoop ；NameNode元數據備份、Hadoop ；NameNode ；HA、企業海量數據分析平臺規劃。
• 分布式內存計算框架：升級Hive執行引擎為Spark、使用Spark Sql完成點擊流日志業務需求、打通Spark數據收集、存儲、計算、展示流程、使用Spark處理業務數據、Spark 核心概念（RDD、DAG）、探討分布內存文件系統Alluxio的使用

第六階段：構建實時數據分析平臺

• 實時計算基礎課：實時計算平臺解決方案、Kafka基礎與常用API、使用Flume收集數據到Kafka、使用Storm對數據進行分析、Flume+Kafka+Storm+Redis+Mysql整合
• 實時分析系統案例：實時日志分析需求、實時日志分析結構說明、實時日志分析代碼開發
• 推薦系統：Hbase列式數據庫、實時用戶行為軌跡、電商網站集成推薦系統介紹、推薦系統開發流程、使用Mahout的離線計算數據MapReduce離線數據清洗、Storm實時數據清洗、推薦引擎集成
• 大數據搜索系統：開源分布式搜索引擎（Elasticsearch、Logstash和Kibana 

第七階段：推薦系統算法與源碼分析

• Python與機器學習：Python入門、機器學習概論、機器學習決策樹與Python案例、機器學習KNN與Python案例、機器學習SVM與Python案例、機器學習神經網絡與Python案例
• Scala語言與Spark核心：Scala基礎、Spark Core
• 分布式框架原理：Spark源碼編譯、Master和Worker啟動流程源碼分析、SparkContext創建過程源碼分析、Master資源調度源碼分析、DAGScheduler執行過程、DAG劃分Stage過程、TaskScheduler提交Task過程等等，Storm源碼編譯、任務提交機制分析、任務分配機制分析、任務執行、任務運行機制等等

【師資介紹】

馬志強    技術講師

熟悉應用部署，熟悉tomcat/weblogic等應用服務器，熟悉Oracle，MySQL等數據庫。

工作經歷（4年）

廣東發展銀行信用卡中心

郵政儲蓄銀行數據中心

孟曉偉   技術講師

計算機專業出身，精通云計算大數據的服務搭建，有多年技術講師工作經驗。

工作經歷（4年）

小米科技-中級工程師

軟通動力-技術培訓師

【就業方向】

大數據作為新興行業之一，人才需求在一直居高不下，技術方向有Hadoop 大數據開發方向；數據挖掘、數據分析和機器學習方向；大數據運維和云計算方向。涉及政府辦公，金融服務，稅務管理，社保服務，醫療安全，教育等各類行業。相關的職位有大數據開發工程師、大數據架構師、大數據分析工程師、大數據咨詢顧問、大數據統計工程師、大數據運營經理、大數據挖掘與處理專員、大數據存儲工程師等等。因此學好了大數據，不愁沒就業，不愁沒高薪。

【專業前景】

大數據時代的出現簡單的講是海量數據同完美計算能力結合的結果。確切的說是移動互聯網、物聯網產生了海量的數據，大數據計算技術完美地解決了海量數據的收集、存儲、計算、分析的問題。大數據時代開啟人類社會利用數據價值的另一個時代。2015年，國務院印發《促進大數據發展行動綱要》，指出信息技術與經濟社會的交匯融合引發了數據迅猛增長，數據已成為基礎性戰略資源。堅持創新驅動發展，加快大數據部署，深化大數據應用，已成為穩增長、促改革、調結構、惠民生和推動政府治理能力現代化的內在需要和必然選擇。《綱要》提出以企業為主體，營造寬松公平環境，加大大數據關鍵技術研發、產業發展和人才培養力度，著力推進數據匯集和發掘，深化大數據在各行業創新應用，促進大數據產業健康發展。