2020/11/24
6311

放下EXCEL擁抱資料庫,一定要知道的資料庫三巨頭!

放下EXCEL擁抱資料庫,一定要知道的資料庫三巨頭!

Excel資料庫災難:英國covid-19確診數一夜暴增1.6萬例?

近期因應新冠疫情爆發,英國政府為了快速統整檢驗數據,使用微軟Excel做為統計資料庫使用。前兩個月公佈的陽性病例官方統計數據竟一夜增加了近1萬6例,估計從9月25號至10月2日期間約15,841宗的確診病例並沒有正確輸入至政府的疫情數據庫內。從10月2日被機關人員發現問題,直至10月3號凌晨1點才完成數據修補,目前英國衛生部(Public Health England)正著手設計新的統計系統,暫時以分割Excel來間接擴大數據的統計上限,並採用xlsx最新格式來容納相比xls舊版格式達16倍多的列與行總量。
Covid-19全球疫情數據
▲Covid-19全球疫情數據
Excel 1997/2003的版本中,單一工作表上限值為256行(Column)*65,536列(Row),副檔名為xls,到了2007年之後包含2010、2013、2016的版本,大小則增至16,384行(Column)*1,048,576列(Row),副檔名就是現在常見的xlsx。
經媒體披露,英國衛生部早前仍舊採用xls格式來儲存Excel檔案,導致實際的儲存量達不到最大上限值,此情形起因於英國各地的公私立檢測中心會將確診病例和檢測數據以CSV檔寄給英國衛生部,其再將收到的檔案匯入Excel資料表,雖然CSV檔無大小限制,但英國公共衛生部使用舊版檔案格式xls僅支援至最大65,536列,這也是為什麼會有病例被遺漏。

兄弟鬩牆?該選擇Excel試算表還是Access資料庫?

講到資料儲存和數據分析,一般使用者最常用的可能是Excel或Google試算表,若今天納入多使用者或多查詢介面的考量,琳瑯滿目的資料庫軟體立刻映入眼簾,首先我們來談較為熟悉的Access,Access關聯式資料庫做為與Excel師出同門的office系列軟體,Access相較Excel能儲存更多的數據和進行更複雜的查詢動作,只要熟悉SQL-Structured Query Language(結構化查詢語言),就能將Access的功能發揮到極致,一次處理大量資料正是前者的優勢,像是一次處理幾十萬行、檔案大小達到MegaByte的Excel資料表,不像Excel只要超過50MB再加上VLOOKUP或IF等函數就很容易造成當機。
Access相較Excel能儲存更多的數據和進行更複雜的查詢動作
▲Access相較Excel能儲存更多的數據和進行更複雜的查詢動作

更強大的三大資料庫:MySQL、SQL Serve、Oracle

MySQL

早期為開放原始碼的關聯式資料庫管理系統(RDBMS),於2008年被Sun收購,Sun又於隔年被Oracle收購,順勢成為Oracle旗下產品之一。其特色為多執行緒、成本低、可靠性好等優點,加上開放原始碼且廣泛相容於不同的作業系統和程式語言,成為主流的資料庫並被廣泛運用在網路上的中小型網站,成為開源軟體組合LAMP中的M-MySQL。但其性能較差-對使用者人數和流量漸升導致效能無法支撐、安全性較低-設定上困難又非標準化機制,這兩大缺點為人詬病。

SQL Server

最新版本來到2019的Microsoft SQL Server,前身可溯及回到早年微軟與Sybase合作的關聯式資料庫,從微軟自立自強開發SQL Server 6.0版後,以SQL和後來進行部分擴充的作業用SQL語言為查詢語言,其範圍已從中小企業的資料庫管理邁向大型、跨國企業的應用。其優點為大力支援微軟相關的開發工具,像是Azure、Power BI、C#等,加上不用繁瑣的設定和具備介面操作工具,使學習曲線較低讓入門變得容易,還有嚴格完善的交易安全控制。缺點是資源消耗較多、不如MySQL開源開放和跨平台支援度不如其他資料庫管理系統(RDBMS)。
物聯網帶動Big Data應用,14.2%的企業有Big Data人才需求
▲物聯網帶動Big Data應用,14.2%的企業有Big Data人才需求

Oracle

Oracle成立於1977年並推出世界上第一個關聯式資料庫管理系統(RDBMS),在資料庫的知名程度讓Oracle公司的RDBMS產品都以Oracle為名,某種程度上Oracle也成為了RDBMS的代名詞。做為功能齊全和強大的資料庫,其極高安全性和效能卓越等眾多優點,讓Oracle幾乎稱霸大型、跨國企業和政府組織,另外還具備支援RAC架構的負載平衡(Load Balance)以及Third-party軟體上具備最高的支援度和豐富的選擇性,但成本昂貴和學習成本高這兩大缺點,使其不易運用在個人、中小型或新創企業。
物聯網帶動Big Data應用,根據iThome調查,14.2%的企業有Big Data人才需求,資料庫人才更是許多產業高薪聘用職缺第一名,相關職缺如Power BI(商業智慧)、DBA(資料庫管理員)薪資行情也跟著水漲船高,想要開發資料庫?從資料庫概論到SQL Server,再結合Python和AI以及網路爬蟲和呈現數據的Power BI,立刻了解巨匠電腦程式/資料庫課程

免費學習資源不漏接

加巨匠電腦LINE好友
近期文章你可能有興趣的文章
×
提醒鈴鐺
【官網限定好禮】
免費體驗課程,熱門主題任你選!
熱門課程任選 免費體驗!
體驗課程
arrow_upward