亞馬遜云科技數據分析能力介紹

作為亞馬遜云科技的高級咨詢合作伙伴,上海音智達信息技術有限公司(以下簡稱音智達)憑借多年在數據分析領域的方案實施經驗,幫助客戶在亞馬遜云上從批量數據及流式數據采集、數據湖和數據倉庫的建設到設計和實施數據分析應用,以及數據治理等。音智達不僅利用亞馬遜云服務,通過信息化手段,為客戶解決工作場景中關于數據的痛點問題,賦能企業經營,還為客戶未來數字化轉型之路打下了堅實的基礎。

Volvo是一家國際知名的整車制造企業。雖然這些年,客戶在中國的業務增長迅速,但仍面臨著一些挑戰,如數字化轉型的要求,需要企業能根據數據來分析和判斷市場的形勢、經營效率等。
因此,Volvo亞太決定采用在亞馬遜云上搭建數倉平臺的解決方案,利用Amazon EMR集群的強大計算能力,對數據進行清洗和轉換,利用Amazon Simple Storage Service來存儲經不同程度清洗和規整后的中間邏輯層數據,最終將維度建模后的數據加載到Amazon Redshift數倉服務中,利用它的良好性能,為前端的BI報表和數據分析應用提供快速的并發查詢能力等。
此外,方案的亮點不僅在于利用亞馬遜云科技服務快速構建數倉平臺,還利用亞馬遜云科技 Glue服務建設Volvo的企業的統一元數據管理平臺。此平臺是建立在亞馬遜云科技 Glue的Data Catalog功能之上,利用亞馬遜云科技 Glue的Crawler程序自動爬取Amazon Simple Storage Service、Amazon Redshift上的數據Schema。另外,為了建成企業的統一元數據平臺,還實現了跨賬戶收集和分享元數據。
通過此項目的建設,Volvo的報表制作效率得到大幅度提升,這不僅表現在報表生成的速度上,還體現在報表的數據質量上,最終讓數據分析真正實現為企業決策賦能的目標。

拜耳是一家全球知名的醫藥和醫療保健的研發生產企業。隨著拜耳在中國大陸地區的業務不斷擴大,企業越來越感覺到數據分析在經營決策中的重要性,特別是對銷售數據的分析。此外,客戶也認識到公有云平臺的技術優勢,因此希望在云上搭建統一的數據平臺來匯聚和處理企業內部的數據。

正是基于這些初衷的考量,拜耳的Crop Science部門決定采用音智達的方案在亞馬遜云上分別建設數據湖和數據倉庫。利用Amazon Simple Storage Service的低成本數據存儲,搭建數據湖,將源數據抽取過來并統一存儲。利用Kettle工具進行數據的轉換,在數倉Amazon Redshift中根據數據清洗和規整程度,分別形成分層的數據邏輯存儲,如STG、ITG、EDW和DM層。然后,通過Tableau等BI工具,形成可視化報表、儀表板以及其它數據分析應用等。

此項目的價值在于,不僅為客戶打造了一個云環境的數據湖和數倉平臺,將業務數據匯聚在一起。還在數據倉庫中對原始數據通過不同程度清洗和轉換,建立統一的數據模型。這樣,不僅解決了數據冗余問題,使得可分析的數據有更好的一致性,數據質量得到很大的提升,最終可以更好的為數據分析應用服務。

+ 案例1:(Volvo)

Volvo是一家國際知名的整車制造企業。雖然這些年,客戶在中國的業務增長迅速,但仍面臨著一些挑戰,如數字化轉型的要求,需要企業能根據數據來分析和判斷市場的形勢、經營效率等。
因此,Volvo亞太決定采用在亞馬遜云上搭建數倉平臺的解決方案,利用Amazon EMR集群的強大計算能力,對數據進行清洗和轉換,利用Amazon Simple Storage Service來存儲經不同程度清洗和規整后的中間邏輯層數據,最終將維度建模后的數據加載到Amazon Redshift數倉服務中,利用它的良好性能,為前端的BI報表和數據分析應用提供快速的并發查詢能力等。
此外,方案的亮點不僅在于利用亞馬遜云科技服務快速構建數倉平臺,還利用亞馬遜云科技 Glue服務建設Volvo的企業的統一元數據管理平臺。此平臺是建立在亞馬遜云科技 Glue的Data Catalog功能之上,利用亞馬遜云科技 Glue的Crawler程序自動爬取Amazon Simple Storage Service、Amazon Redshift上的數據Schema。另外,為了建成企業的統一元數據平臺,還實現了跨賬戶收集和分享元數據。
通過此項目的建設,Volvo的報表制作效率得到大幅度提升,這不僅表現在報表生成的速度上,還體現在報表的數據質量上,最終讓數據分析真正實現為企業決策賦能的目標。

+ 案例2:(Bayer)

拜耳是一家全球知名的醫藥和醫療保健的研發生產企業。隨著拜耳在中國大陸地區的業務不斷擴大,企業越來越感覺到數據分析在經營決策中的重要性,特別是對銷售數據的分析。此外,客戶也認識到公有云平臺的技術優勢,因此希望在云上搭建統一的數據平臺來匯聚和處理企業內部的數據。

正是基于這些初衷的考量,拜耳的Crop Science部門決定采用音智達的方案在亞馬遜云上分別建設數據湖和數據倉庫。利用Amazon Simple Storage Service的低成本數據存儲,搭建數據湖,將源數據抽取過來并統一存儲。利用Kettle工具進行數據的轉換,在數倉Amazon Redshift中根據數據清洗和規整程度,分別形成分層的數據邏輯存儲,如STG、ITG、EDW和DM層。然后,通過Tableau等BI工具,形成可視化報表、儀表板以及其它數據分析應用等。

此項目的價值在于,不僅為客戶打造了一個云環境的數據湖和數倉平臺,將業務數據匯聚在一起。還在數據倉庫中對原始數據通過不同程度清洗和轉換,建立統一的數據模型。這樣,不僅解決了數據冗余問題,使得可分析的數據有更好的一致性,數據質量得到很大的提升,最終可以更好的為數據分析應用服務。

?

Copyright 2013 Advanced Service. All rights reserved. 滬公網安備 31010502001490號 滬ICP備12049665號-9
?




Copyright 2013 Advanced Service. All rights reserved. 滬公網安備 31010502001490號 滬ICP備12049665號-9