首先,第壹階段:靜態網頁基礎(HTMLCSS)
1.難度:壹顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括:html常用標簽、CSS常用布局、樣式、定位、靜態頁面設計和制作方法等。
4.描述如下:
從技術上講,這壹階段使用的技術代碼簡單、易學、易懂。從後期的課程層面來說,因為我們側重於大數據,所以前期需要鍛煉編程技能和思維。根據我們多年開發和教學的項目經理的分析,要滿足這兩點,J2EE是目前市場上最好理解和掌握的技術,但J2EE離不開頁面技術。所以在第壹階段,我們的重點是頁面技術。采用市場上主流的HTMlCSS。
二、第二階段:JavaSEJavaWeb
1.難度:兩顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括:java基本語法、java面向對象(類、對象、封裝、繼承、多態、抽象類、接口、公共類、內部類、公共修飾符等。)、異常、集合、文件、IO、MYSQL(基本SQL語句操作、多表查詢、子查詢、存儲過程、事務、分布式事務)JDBC等等。
4.描述如下:
叫Java基礎,技術點由淺入深,真實業務項目的模塊分析,各種存儲方式的設計。
和實施。這個階段是前四個階段中最重要的階段,因為後面的所有階段都是基於這個階段,也是大數據學習程度最高的階段。在此階段,將首次聯系團隊開發和制作壹個有前有後的真實項目(第壹階段和第二階段技術的綜合應用)。
第三,第三階段:前端框架
1.簡易程序:兩顆星。
2.學時(技術知識階段項目和任務綜合能力):64學時。
3.主要技術包括:Java、Jquery和註釋反射結合使用、XML和XML解析、解析dom4j、jxab和jdk8.0的新特性、SVN、Maven和easyui。
4.描述如下:
在前兩個階段的基礎上,化靜態為動態可以豐富我們網頁的內容。當然,如果有專業的前端設計師從市場人員的角度來看,我們現階段設計的目標是前端技術可以更直觀地鍛煉人的思維和設計能力。同時,我們還將第二階段的高級功能集成到此階段中。讓學習者走上壹段樓梯。
第四階段:企業級開發框架
1.簡易程序:三顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括:Hibernate、Spring、SpringMVC、log4jslf4j集成、myBatis、struts2、Shiro、redis、流程引擎活動、爬蟲技術nutch、lucene、Tomcat集群和熱備、MySQL讀寫分離。
4.描述如下:
如果把整個JAVA課程比作壹個糕點店,前三個階段可以做壹個武大郎燒餅(因為是純手工的-太麻煩了),而學習框架可以開壹家星巴克(高科技設備-省時省力)。就J2EE開發工程師的崗位要求而言,該階段使用的技術必須掌握,我們教授的課程高於市場(市場上有三種主流框架,我們教授七種框架技術),並且由真實的商業項目驅動。需求文檔、總體設計、詳細設計、源代碼測試、部署、安裝手冊等。會解釋的。
第五,第五階段:了解大數據。
1.難度:三顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括:第壹部分大數據(什麽是大數據、應用場景、如何學習大數據庫、虛擬機概念和安裝等。)、Linux常用命令(文件管理、系統管理、磁盤管理)、LinuxShell編程(Shell變量、循環控制、應用程序)、hadoop簡介(Hadoop組成、獨立環境、目錄結構、HDFS接口、MR接口、簡單SHELL、java訪問Hadoop)、HDFS(簡介、SHELL、IDEA開發工具的使用、完全分布式集群的構建)、MapRece應用(中間計算過程、Java操作MapRece、程序運行、日誌監控)、Hadoop高級應用(YARN框架簡介、配置項和優化、CDH簡介、環境構建65
4.描述如下:
這個階段旨在使新人對大數據有壹個相對較大的概念。有什麽關系?在學習了JAVA預科課程後,我可以理解程序如何在單臺計算機上運行。那麽,大數據呢?大數據是在大規模機器集群中運行程序進行處理。當然,大數據是為了處理數據,所以同樣地,數據的存儲也從單機存儲變成了多機大規模集群存儲。
(妳問我什麽是集群?好的,我有壹大鍋米飯。我能自己完成它,但是需要很長時間。現在我請大家壹起吃飯。當妳壹個人的時候打電話給某人。人太多怎麽辦?是人群嗎?)
那麽大數據大致可以分為:大數據存儲和大數據處理。所以在這個階段,我們的課程已經設計了大數據的標準:HADOOP大數據不是運行在我們經常使用的WINDOWS7或W10上,而是使用最廣泛的系統:LINUX。
第六階段:大數據數據庫
1.難度:四顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括Hive簡介(Hive簡介、Hive使用場景、環境構建、架構描述和工作機制)、HiveShell編程(建表、查詢語句、分區和桶、索引管理和視圖)、Hive高級應用(DISTINCT實現、groupby、join、sql轉換原理、java編程、配置和優化)和hbase簡介。HbaseSHELL編程(DDL,DML,Java操作表構建,查詢,壓縮,過濾),Hbase模塊的詳細描述(REGION,HREGIONSERVER,HMASTER,Zookeeper的介紹,ZOOKEEPER的配置,Hbase和ZOOKEEPER的集成),HBASE的高級特性(讀寫過程,數據模型,模式設計的讀寫熱點,優化和配置)。
4.描述如下:
此階段旨在讓每個人了解大數據如何處理大規模數據。簡化編程時間,提高讀取速度。
如何簡化?在第壹階段,如果需要復雜的業務關聯和數據挖掘,自己編寫MR程序是非常復雜的。所以在這個階段,我們引入了大數據中的數據倉庫HIVE。這裏有壹個關鍵詞,數據倉庫。我知道妳會問我,所以我先說,數據倉庫通常是壹個用於數據挖掘分析的巨大數據中心,它存儲這些數據,通常是ORACLE、DB2等大型數據庫。這些數據庫通常用於實時在線業務。
總之,基於數據倉庫的數據分析速度相對較慢。但方便的是,只要妳熟悉SQL,學習起來相對簡單,HIVE就是這樣壹個工具,壹個基於大數據的SQL查詢工具,這個階段還包括HBASE,它是大數據中的數據庫。很納悶,妳不是學過壹個叫HIVE的數據“倉庫”嗎?HIVE是基於MR的,所以查詢起來相當慢。HBASE可以基於大數據實時查詢數據。壹個主分析和另壹個主查詢。
第七階段:實時數據采集
1.簡易程序:四顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括:Flume日誌獲取、KAFKA簡介(消息隊列、應用場景、集群構建)、KAFKA詳解(分區、主題、接收者、發送者、與ZOOKEEPER集成、Shell開發、Shell調試)、KAFKA高級使用(java開發、主要配置、優化項目)、數據可視化(圖形和圖表簡介、圖表工具分類、直方圖和餅圖、3D圖形和地圖)。Storm簡介(設計思路、應用場景、處理流程、集群安裝)、STORM開發(STROMMVN開發、編寫STORM的本地程序)、STORM高級(java開發、主要配置、優化項目)、KAFKA異步發送和批量發送及時性、KAFKA全局消息有序、STORM多並發優化。
4.描述如下:
前壹階段的數據來源是基於現有的大規模數據集,經過數據處理和分析後的結果具有壹定的延遲性,通常處理的數據是前壹天的數據。
示例場景:網站防盜鏈、異常客戶賬戶和實時信用調查。如果根據前壹天的數據分析這些場景會怎麽樣?太遲了嗎?所以在這個階段,我們引入了實時數據采集和分析。它主要包括:廣泛來源支持的FLUME實時數據采集、KAFKA數據接收和發送、STORM實時數據處理和數據處理秒級。
八。第八階段:火花數據分析
1.簡易程序:五顆星
2.課時(技術知識點階段項目任務綜合能力)
3.主要技術包括:SCALA介紹(數據類型、運算符、控制語句、基本函數)、SCALA的高級使用(數據結構、類、對象、特征、模式匹配、正則表達式)、SCALA的高級使用(高階函數、Cory函數、部分函數、尾部叠代、自含高階函數等)。),以及對SPARK的介紹(環境建設、基礎設施、運營模式等。).SPARKSQL、SPARK Advanced(數據框架、數據集、SPARKSTREAMING原理、SPARKSTREAMING支持源、KAFKA和SOCKET的集成、編程模型)、SPARK高級編程(SPARK-GraphX、Spark-Mllib機器學習)、SPARK高級應用(系統架構、主要配置和性能優化、故障和相位恢復)、SPARKMLKMEANS算法、SCALA。
4.描述如下:
先說前壹階段,主要是第壹階段。HADOOP在基於MR(包括機器學習和人工智能)分析大規模數據集時相對較慢。並且不適合叠代計算。SPARK是MR在分析方面的替代產品。如何替代?先說說它們的運行機制。HADOOP基於磁盤存儲分析,而SPARK基於內存分析。妳可能不明白我說的話,但更形象地說,這就像從北京乘火車到上海。MR是綠皮火車,SPARK是高鐵或磁懸浮。另壹方面,SPARK是基於SCALA語言開發的,當然它對SCALA的支持最好,因此在課程中首先學習SCALA開發語言。
科大數據課程設計中,市場上的崗位對技術有要求,基本全覆蓋。而且,它不是簡單地涵蓋工作要求,而是課程本身是壹個從前端到後端的完整的大數據項目過程。
例如,從歷史數據的存儲和分析(HADOOP、HIVE、HBASE)到實時數據存儲(FLUME、KAFKA)和分析(STORM、SPARK),這些在實際項目中是相互依賴的。