大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)是云創(chuàng)大數(shù)據(jù)為高校開(kāi)設(shè)大數(shù)據(jù)相關(guān)專(zhuān)業(yè)而研發(fā)的實(shí)驗(yàn)實(shí)訓(xùn)平臺(tái)，它融合了代表性的大數(shù)據(jù)平臺(tái)、大數(shù)據(jù)編程語(yǔ)言、數(shù)據(jù)挖掘與大數(shù)據(jù)分析方向相關(guān)課程、實(shí)訓(xùn)、案例實(shí)戰(zhàn)等內(nèi)容,培養(yǎng)學(xué)生的實(shí)戰(zhàn)動(dòng)手能力，從而適應(yīng)大數(shù)據(jù)分析、大數(shù)據(jù)治理、大數(shù)據(jù)運(yùn)維、大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)建模、大數(shù)據(jù)可視化等工作崗位需求。
產(chǎn)品介紹
產(chǎn)品特性
平臺(tái)通過(guò)云計(jì)算技術(shù)對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源進(jìn)行統(tǒng)一的管理和調(diào)度， 支持容器虛擬化技術(shù)，支持私有化部署，支持課程、實(shí)驗(yàn)、用戶、資源等管理功能。通過(guò)平臺(tái)，老師可以一鍵搭建實(shí)驗(yàn)環(huán)境，在線跟蹤學(xué)生實(shí)驗(yàn)進(jìn)展，并進(jìn)行在線學(xué)習(xí)診斷.學(xué)生可以直接通過(guò)瀏覽器訪問(wèn)平臺(tái)，根據(jù)指南在線做實(shí)驗(yàn)、寫(xiě)報(bào)告，無(wú)需配置繁瑣的本地環(huán)境。結(jié)合大數(shù)據(jù)就業(yè)環(huán)境、崗位模型、企業(yè)人才需求，設(shè)置了本科應(yīng)用型、本科研究型、高職三大課程體系，并全面支撐計(jì)算機(jī)、大數(shù)據(jù)、金融、應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)以及電子商務(wù)等專(zhuān)業(yè)建設(shè)。
產(chǎn)品架構(gòu)
大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)包括底層的分布式軟硬件環(huán)境和支撐教學(xué)和實(shí)驗(yàn)資源。硬件通過(guò)高速網(wǎng)絡(luò)連接多臺(tái)x86服務(wù)器構(gòu)建集群計(jì)算環(huán)境;底層軟件采用容器技術(shù)，將有限的物理服務(wù)器虛擬出大量的虛擬服務(wù)器，從而提供充足的實(shí)驗(yàn)計(jì)算資源;平臺(tái)集成多種主流大數(shù)據(jù)平臺(tái)、分析框架和挖掘算法。平臺(tái)可以快速批量搭建開(kāi)展大數(shù)據(jù)實(shí)驗(yàn)所需的運(yùn)行環(huán)境以及應(yīng)用環(huán)境，實(shí)現(xiàn)大數(shù)據(jù)實(shí)驗(yàn)要求的分布式計(jì)算實(shí)驗(yàn)環(huán)境，并可以實(shí)現(xiàn)實(shí)驗(yàn)環(huán)境的隔離;提供多個(gè)行業(yè)的實(shí)戰(zhàn)案例資源包，內(nèi)含項(xiàng)目數(shù)據(jù)、代碼以及配套實(shí)驗(yàn)手冊(cè)，并提供真實(shí)應(yīng)用案例的實(shí)踐，實(shí)現(xiàn)理論教學(xué)與企業(yè)需求無(wú)縫銜接。
產(chǎn)品優(yōu)勢(shì)
完善的平臺(tái)支撐
平臺(tái)底層采用分布式架構(gòu)，安全穩(wěn)定、方便擴(kuò)展。可以靈活配置實(shí)驗(yàn)環(huán)境資源，直觀清晰地管理虛擬環(huán)境，支持負(fù)載均衡多用戶并發(fā)，在實(shí)驗(yàn)人數(shù)較多情況下保證平臺(tái)運(yùn)行流暢，高效開(kāi)展實(shí)驗(yàn)教學(xué)。
豐富的軟件框架
覆蓋主流的大數(shù)據(jù)挖掘、分析框架一- Hadoop. Spark、 Kafka、 Storm、Hive、 HBase、Zookeeper等
個(gè)性化的實(shí)驗(yàn)環(huán)境
用戶可自行創(chuàng)建個(gè)性化的實(shí)驗(yàn)環(huán)境。在物理資源允許的情況下，可對(duì)其進(jìn)行資源配置,動(dòng)態(tài)調(diào)整CPU數(shù)量、節(jié)點(diǎn)個(gè)數(shù)及內(nèi)存大小。
多樣化的開(kāi)發(fā)環(huán)境
平臺(tái)提供多種在線編程環(huán)境，如基于命令行的WebSSH和基于界面操作的JupyterLab、VSCode，同時(shí)提供“-鍵搭建”功能，可快速部署實(shí)驗(yàn)需要的組件,提高實(shí)驗(yàn)教學(xué)效率。
完整的課程體系
以新工科要求為導(dǎo)向，以行業(yè)崗位要求為目標(biāo)，面向大數(shù)據(jù)管理與應(yīng)用、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、環(huán)保、金融、交通等相關(guān)交叉學(xué)科，應(yīng)用于教學(xué)實(shí)踐、項(xiàng)目實(shí)訓(xùn)，覆蓋數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)挖掘多個(gè)技術(shù)路徑。
配套大數(shù)據(jù)教材
由南京云創(chuàng)大數(shù)據(jù)總裁劉鵬教授主編，聯(lián)合全國(guó)高校老師和云創(chuàng)大數(shù)據(jù)工程師共同編寫(xiě)，形成完整的大數(shù)據(jù)高級(jí)人才和應(yīng)用人才教材體系，分別在電子工業(yè)出版社和清華大學(xué)出版社出版，配套實(shí)驗(yàn)體系建立了完整的理論教學(xué)體系，被國(guó)內(nèi)數(shù)百所高校采用。其中，《云計(jì)算》 在中國(guó)知網(wǎng)高被引圖書(shū)排行榜上被引用次數(shù)比第二名高出一倍以上。
豐富的實(shí)驗(yàn)內(nèi)容
基于企業(yè)級(jí)項(xiàng)目案例編制的實(shí)驗(yàn)，涵蓋幾十種典型分析場(chǎng)景，讓學(xué)生了解行業(yè)最新技術(shù)與應(yīng)用場(chǎng)景，通過(guò)實(shí)戰(zhàn)演練提升學(xué)生解決實(shí)際問(wèn)題的能力。
每個(gè)實(shí)驗(yàn)包含詳細(xì)的實(shí)驗(yàn)?zāi)康摹⒁蟆⒃怼⒉襟E等內(nèi)容，配套相應(yīng)的實(shí)驗(yàn)數(shù)據(jù)，用戶參照實(shí)驗(yàn)手冊(cè)即可輕松完成實(shí)驗(yàn)。重要實(shí)驗(yàn)提供實(shí)驗(yàn)操作講解視頻，可進(jìn)一步 降低用戶學(xué)習(xí)大數(shù)據(jù)的門(mén)檻。
- Linux系統(tǒng)實(shí)驗(yàn):包括常用基本命令、文件操作、sed. awk、 文本編輯器vi、grep等。
- Python語(yǔ) 言編程實(shí)驗(yàn):包括流程控制、列表和元組、文件操作、正則表達(dá)式、字符串、字典等。
- R語(yǔ)言編程實(shí)驗(yàn):包括流程控制、文件操作、數(shù)據(jù)幀、因子操作、函數(shù)、線性回歸等。
- 大數(shù)據(jù)處理技術(shù)實(shí)驗(yàn):包括HDFS實(shí)驗(yàn)、YARN實(shí)驗(yàn)、MapReduce實(shí)驗(yàn)、Hive實(shí)驗(yàn)、Spark實(shí)驗(yàn)、Zookeeper實(shí)驗(yàn)、HBase實(shí)驗(yàn)、Storm實(shí)驗(yàn)等 。
- 數(shù)據(jù)采集實(shí)驗(yàn):包括網(wǎng)絡(luò)爬蟲(chóng)原理、爬蟲(chóng)之協(xié)程異步、爬取豆瓣電影信息、爬取豆瓣圖書(shū)Top250、爬取雙色球開(kāi)獎(jiǎng)信息等。
- 數(shù)據(jù)清洗實(shí)驗(yàn):包括Excel數(shù)據(jù)清洗常用函數(shù)、Excel數(shù)據(jù)分裂、Excel|快速定 位和填充、住房數(shù)據(jù)清洗、客戶簽到數(shù)據(jù)的清洗轉(zhuǎn)換、數(shù)據(jù)脫敏等。
- 數(shù)據(jù)標(biāo)注實(shí)驗(yàn):包括標(biāo)注工具的安裝與基礎(chǔ)操作、車(chē)牌夜晚環(huán)境標(biāo)框標(biāo)注、車(chē)牌日常環(huán)境標(biāo)框標(biāo)注、不完整車(chē)牌標(biāo)框標(biāo)注、行人標(biāo)框標(biāo)注、物品分類(lèi)標(biāo)注等。
- 數(shù)據(jù)分析及可視化實(shí)驗(yàn):包括Jupyter Lab、Pandas、NumPy、Matplotlib、Scipy、Seaborn、Statsmodel等。
- 數(shù)據(jù)挖掘?qū)嶒?yàn): 包括決策樹(shù)分類(lèi)、樸素貝葉斯分類(lèi)、K最近鄰分類(lèi)、支持向量機(jī)分類(lèi)、K- -means聚類(lèi)等。
- 金融大數(shù)據(jù)實(shí)驗(yàn): 包括時(shí)間序列分析、金融風(fēng)險(xiǎn)管理、預(yù)測(cè)股票走勢(shì)、中美實(shí)時(shí)貨幣轉(zhuǎn)換、航空公司客戶價(jià)值分析等。
- 電商大數(shù)據(jù)實(shí)驗(yàn):包括基于基站定位數(shù)據(jù)的商圈分析、員工離職預(yù)測(cè)、數(shù)據(jù)分析、電商產(chǎn)品評(píng)論數(shù)據(jù)情感分 析、電商打折套路解析等。
- 數(shù)理統(tǒng)計(jì)實(shí)驗(yàn):包括高級(jí)數(shù)據(jù)管理、基本統(tǒng)計(jì)分析、回歸、方差分析、功效分析、中級(jí)繪圖等。
- 科研環(huán)境數(shù)據(jù):包括提供多種多樣的科研環(huán)境，包括科研所需要的人臉數(shù)據(jù)、交通數(shù)據(jù)、環(huán)保數(shù)據(jù)、傳感器 數(shù)據(jù)、圖片數(shù)據(jù)等。
教學(xué)支撐
平臺(tái)提供實(shí)驗(yàn)數(shù)據(jù)、實(shí)驗(yàn)管理、課程管理、項(xiàng)目實(shí)戰(zhàn)、考試等功能模塊，支撐備課、授課、作業(yè)等場(chǎng)景，覆蓋課前、課中和課后各環(huán)節(jié)，通過(guò)動(dòng)態(tài)化過(guò)程數(shù)據(jù)分析，實(shí)現(xiàn)學(xué)生學(xué)習(xí)質(zhì)量的全面掌控。
課程編排
平臺(tái)提供了多個(gè)技術(shù)方向的推薦課程供用戶直接使用，也提供用戶自主進(jìn)行編排課程。幫助老師快速備課教學(xué)的同時(shí)，也能兼顧其個(gè)性化、差異化的教學(xué)需求。
測(cè)評(píng)模塊
- 支持學(xué)生在線實(shí)驗(yàn)與實(shí)驗(yàn)報(bào)告在線編寫(xiě)，支持報(bào)告在線比對(duì)查重;
- 支持實(shí)驗(yàn)完成情況自動(dòng)統(tǒng)計(jì)并生成報(bào)告，支持在線批閱自動(dòng)留痕。
考試模塊
- 支持按題型、知識(shí)點(diǎn)等多種方式自動(dòng)組卷;
- 提供選擇、填空、判斷、簡(jiǎn)答、編程等上千道試題，試題內(nèi)容緊扣實(shí)驗(yàn);
- 實(shí)時(shí)監(jiān)控考試情況，多種反作弊技術(shù);
- 支持在線批閱試卷，多種題型可自動(dòng)判分。
項(xiàng)目實(shí)訓(xùn)
項(xiàng)目實(shí)訓(xùn)包含了物聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)以及金融等多個(gè)行業(yè)的真實(shí)案例，平臺(tái)提供標(biāo)準(zhǔn)企業(yè)開(kāi)發(fā)環(huán)境以及完整的實(shí)訓(xùn)指導(dǎo)，學(xué)生在項(xiàng)目環(huán)境中進(jìn)行實(shí)踐，感受項(xiàng)目開(kāi)發(fā)全過(guò)程,培養(yǎng)學(xué)生面對(duì)實(shí)際問(wèn)題的處理能力與項(xiàng)目責(zé)任感，提升學(xué)生實(shí)踐能力以及對(duì)企業(yè)項(xiàng)目的初步認(rèn)識(shí)。
賽事支撐
支持大數(shù)據(jù)省賽專(zhuān)業(yè)服務(wù)，已成功多次支撐山西、山東等省級(jí)大數(shù)據(jù)技術(shù)與應(yīng)用技術(shù)大賽。與國(guó)賽大數(shù)據(jù)比賽無(wú)縫對(duì)接，提供多套競(jìng)賽環(huán)境、比賽試題和數(shù)據(jù)集供學(xué)生使用。
