教務處 - 教務處|2019/10/18

目的:
有鑑於大數據對於資訊安全研究的重要性,為近年 Hadoop 生態系統中,最熱門的分析工具莫過於 Spark,有的人認為它會取代 MapReduce,其實不盡然。MapReduce 長年以來,一直都是扮演著 Big Data 中的 ETL 工具,所以企業在實作 Big Data 情境時,應該將「Big Raw Data」交給低成本的 MapReduce 進行「Data Munging」,而將「Data Analysis」的工作交給運用記憶體的 Spark。「Data Munging」是格外重要的,因為在進行「Data Analysis」時,如何產出有用的資訊,端看「Data Quality」,高品質的資料配上合適的演算法,才能得出有意義的答案,而「Data Quality」則取決於「Data Munging」的過程。所以企業在 Hadoop 龐大的生態系統中,不但要選對工具,還要正確地分工與運用,才能真正幫助企業順利的實作 Big Data 情境。
報名資格:高中部學生,每隊需2人,可跨年級組隊。
報名日期:即日起至108年10月30日(週三)止。有意願參加者自行組隊報名。
競賽日期:
南區初賽:11月6日(週三)-嘉南藥理大學。
中區初賽:11月12日(二)-國立虎尾科技大學。
決賽:12月12日(四)-國立成功大學。
活動官網網址:https://bigdata2019.twisc.ncku.edu.tw/。
競賽環境:主辦單位提供 Hadoop 系統做為競賽環境,環境中有 Apache Pig、Apache Hive 兩種工具。

聯絡人:
成功大學資通安全研究與教學中心 趙先生。
聯絡電話:06-2387092。
聯絡信箱:bigdata2019@twisc.ncku.edu.tw。