在數(shù)據(jù)時代你很焦慮,滿世界都是人工智能和大數(shù)據(jù)。到底數(shù)據(jù)處理的流程是什么樣的? 怎么才能不被一些假專家和懂些皮毛的人給騙了呢?
在大數(shù)據(jù)和人工智能時代已經(jīng)創(chuàng)造了很多數(shù)據(jù)和人工智能的奇跡,數(shù)據(jù)是人工智能和大數(shù)據(jù)的基礎(chǔ)。請注意:脫離數(shù)據(jù)樣本談人工智能的人都是騙子!
由于數(shù)據(jù)處理的整個過程需要數(shù)據(jù)專家的介入,領(lǐng)導(dǎo)和公司的決策層往往看不懂?dāng)?shù)據(jù)技術(shù)專家和人工智能專家的處理過程。在實際業(yè)務(wù)過程中,領(lǐng)導(dǎo)層對于專業(yè)的處理流程也全無興趣。而他們需要對數(shù)據(jù)處理的全流程進(jìn)行了解和認(rèn)識。
數(shù)據(jù)處理的全流程如下:
1. 數(shù)據(jù)系統(tǒng)規(guī)劃;
2. 數(shù)據(jù)采集(軟件數(shù)據(jù)、硬件數(shù)據(jù)、特殊數(shù)據(jù));
3. 數(shù)據(jù)清洗與治理;
4. 數(shù)據(jù)存儲;
5. 數(shù)據(jù)建設(shè)目標(biāo)和二次規(guī)劃論證;
6. 數(shù)據(jù)建模;
7. 數(shù)據(jù)分析;(離線、實時分析)
8. 數(shù)據(jù)業(yè)務(wù)接口;(可供人工智能和其他業(yè)務(wù)板塊使用)
9. 數(shù)據(jù)可視化。
我們看完全流程后發(fā)現(xiàn),中間的這些過程特別是第1步的數(shù)據(jù)系統(tǒng)規(guī)劃和第5步的數(shù)據(jù)建設(shè)目標(biāo)和二次規(guī)劃在很多書里面都沒有提到過。其實在國際一流的IT信息技術(shù)咨詢公司,除了完成規(guī)劃以外,在實際項目中還會對于數(shù)據(jù)進(jìn)行二次、三次、多次論證。由業(yè)務(wù)專家和數(shù)據(jù)架構(gòu)師一起,對于是否能夠達(dá)到實際的應(yīng)用目標(biāo)進(jìn)行分析。
如果發(fā)現(xiàn)論證中無法通過數(shù)據(jù)解決客戶的問題,會重新對原有的數(shù)據(jù)來源、數(shù)據(jù)樣本進(jìn)行分析、處理和建模階段的要求提高。以滿足客戶的實際業(yè)務(wù)生產(chǎn)需求。
而數(shù)據(jù)可視化和API是最終交給業(yè)務(wù)部門使用的價值體現(xiàn)。因此,數(shù)據(jù)可視化平臺的選擇非常重要。