(作者:吳如娟 老師 / 逢甲大學 企業管理學系)

你一定聽過Big Data!什麼是Big Data呢?巨量資料、海量資料、大资料等等都稱做大數據。那麼到底有多大呢?那麼到底資料量要多大才能夠說是大數據?根據維基百科的定義,資料大小從TB(Terabyte)到PB(Petabyte)不等,不過目前似乎也沒有特定的標準精準的界定大數據的大小,又或者說資料的大小其實也不是大數據的重點,「有價值」才是大數據存在的意義。大數據所謂的數據量大(Volume)數據量大特徵包括採集、存儲和計算的量都非常大,無論如何,一般來說,大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)才稱得上大數據。

隨著資料量越來越大,單一主機已經無法應付跟處理,也無法在有效時間內分析出有意義的結果,隨著資通訊科技(Information and Communication Technology, ICT)的快速進步,同時儲存裝置與技術也越來越成熟,針對這些龐大的資料量,也發展出針對這類資料規模處理的工具及方法。而這些龐大的資料是怎麼處理的呢?其實,大數據幾乎無法使用大多數的資料庫管理系統處理,目前大數據的處理工具,使用的是「平行處理」的方式,這些處理方式往往需要很多電腦一起處理,甚至是數千台電腦同時運行,才有可能在有效時間內完成計算,對應這些「平行處理」數據運算的需求,資料格式也必須轉換為特定樣式,才能被有效的處理。其中「數據分析」是資訊科技的最重要的應用之一,在商業智慧(Business Intelligent)受到矚目之前也帶動著資料倉儲(Data Warehouse)與資料探勘(Data Mining)的發展。而在這波大數據的發展浪潮中,尤其是各種社群媒體(例如:Facebook)、手機等行動裝置、街頭巷尾的監視器、天文望遠鏡,衛星以及各種感測器等的大量遍佈我們生活中,也隨處都可以觀察到各種類型的大數據的應用,例如:每一天、每個人在臉書上的留言、打卡或按讚被蒐集各在伺服器上,行人的容貌和打扮都被路口或是大賣場的監視器捕捉並記錄,什麼時候刷卡買了什麼東西,也都被發卡銀行分類歸檔,在大數據時代,每個人的生活點滴不知不覺的被蒐集,據以運算、整合、與發掘,包括各類的消費行為等,而這些大數據也正悄悄地改變了我們的生活,也改變與創造出新的商業模式,因此,可預見大數據未來也將會對人類社會與經濟的發展造成極大的影響。

 

參考資料網址:https://read01.com/najyeo.html

大數據相關工具摘錄自http://mattturck.com