當前位置: 經(jīng)濟學人 ? 行業(yè)問答
人人都在說“大數(shù)據(jù)殺熟”,請問“大數(shù)據(jù)殺熟”背后的技術原理是怎樣的?
-
邀請演講您好,感謝您的關注和支持。大數(shù)據(jù)"殺熟"的實質(zhì)是平臺方利用所掌握的海量數(shù)據(jù)對用戶需求做出精準分析,以達到"不同用戶不同定價"的目的,從而使自己的利益最大化。這個過程中,從數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理到數(shù)據(jù)分析,都涉及到方方面面的前沿技術。數(shù)據(jù)采集與預處理由于數(shù)據(jù)經(jīng)常有著不同的來源,需要對數(shù)據(jù)做進一步集成處理或整合處理,將來自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉(zhuǎn)換后,生成到一個新的數(shù)據(jù)集,為后續(xù)查詢和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。所用工具有Data Flux、Data Stage及Informatica Power Center等。數(shù)據(jù)存儲與管理傳統(tǒng)的數(shù)據(jù)存儲和管理以結(jié)構(gòu)化數(shù)據(jù)為主,而大數(shù)據(jù)往往是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主、結(jié)構(gòu)化數(shù)據(jù)為輔,需要對不同類型的數(shù)據(jù)內(nèi)容檢索、交叉比對、深度挖掘與綜合分析。MPP(Massive Parallel Processing)分布式計算模式可以管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù),Hadoop則可以實現(xiàn)對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理。大數(shù)據(jù)計算大數(shù)據(jù)計算模式,即根據(jù)大數(shù)據(jù)的不同數(shù)據(jù)特征和計算特征,從多樣性的大數(shù)據(jù)計算問題和需求中提煉并建立的各種高層抽象(abstraction)或模型(model)。典型的大數(shù)據(jù)計算模式包括迭代計算、批處理計算、內(nèi)存計算、流式計算(Spark Streaming)、數(shù)據(jù)查詢分析計算(Shark)以及圖計算(GraphX)等。大數(shù)據(jù)分析對大數(shù)據(jù)的深度分析主要基于大規(guī)模的機器學習技術,由于基于機器學習的大數(shù)據(jù)分析具有迭代性、容錯性、參數(shù)收斂的非均勻性等特點,直接應用傳統(tǒng)的分布式計算系統(tǒng)應用于大數(shù)據(jù)分析,很大比例的資源都浪費在通信、等待、協(xié)調(diào)等非有效的計算上。研究人員開發(fā)了一系列接口簡單容錯性強的分布式計算框架服務于大數(shù)據(jù)分析算法,以MapReduce、Spark和參數(shù)服務器ParameterServer等為代表。大數(shù)據(jù)可視化可視化通過交互式視覺表現(xiàn)的方式來幫助人們探索和理解復雜的數(shù)據(jù)。大規(guī)模數(shù)據(jù)的可視化主要是基于并行算法設計的技術,結(jié)合多分辨率表示等方法,主要涉及數(shù)據(jù)流線化、任務并行化、管道并行化和數(shù)據(jù)并行化4 種基本技術。微軟的大規(guī)模機器學習可視化平臺(Azure Machine Learning)、阿里巴巴旗下的大數(shù)據(jù)分析平臺御膳房都是互動式大數(shù)據(jù)分析平臺的案例。
-
易鑫集團2023年年報:新能源車融資交易量同比增長206%至11.6萬臺
2月29日,易鑫集團(HK.2858,以下簡稱“易鑫”)披露年報,展現(xiàn)了其在新能源車業(yè)務上的高速成長。公告數(shù)據(jù)顯示,2023年易鑫新能源車融資交易量同比增長206%,至11.6萬臺,融資交易金額達到124億元,同比增長200%。 新能源車已是汽車產(chǎn)業(yè)發(fā)展重點。根據(jù)乘用車市場信息聯(lián)席會數(shù)據(jù),2023年國內(nèi)新能源汽車零售銷量為774萬輛,同比增長36%。作為一家專業(yè)的汽車金融交易平臺,易鑫數(shù)年前即開始前瞻性布局新能源車這一高潛力業(yè)務。從去年數(shù)據(jù)來看,不僅在相關交易量和交易額上取得高速增長,新能源車融資額在其新車業(yè)務中的占比亦持續(xù)上升,2023年下半年達到33%。
掃一掃
下載《前瞻經(jīng)濟學人APP》進行提問
與資深行業(yè)研究員/經(jīng)濟學家互動交流讓您成為更懂行業(yè)的人