曹永誠：有效數(shù)據(jù)的三大原則：影響必要因子、取樣頻率、涵蓋期間

數(shù)據(jù)至少得滿足這三個條件，才具備有效性與產(chǎn)出效益

文：曹永誠

發(fā)布時間： 2019-05-14 09:57:00

在說明有效數(shù)據(jù)的三大原則，我們已經(jīng)在上一篇「數(shù)據(jù)是新能源，但不是多多益善」文章當(dāng)中，了解有效數(shù)據(jù)需要滿足的第一個條件就是「影響必要因子」本篇將繼續(xù)說明另外二個必備條件…

有效性數(shù)據(jù)必須具備的第二個條件在於: 這些數(shù)據(jù)蒐集時的取樣頻率是否足夠。

也就是說，每隔多久取得一次數(shù)據(jù)，是每秒、每分鐘、還是每小時呢? 因為很多數(shù)據(jù)的特性都是反應(yīng)在變化上，若取樣的頻率不夠，那麼這些重要的特性就會消失殆盡。

舉個簡單的例子，若想診斷馬達(dá)的健康程度，往往會安裝震動感測器進(jìn)行數(shù)據(jù)蒐集。但馬達(dá)的震動特性變化非常快，因此至少得一秒蒐集1,000次才足夠反應(yīng)其特性，後續(xù)的大數(shù)據(jù)分析也才會有效。倘若只是每秒收一筆數(shù)據(jù)，所能夠產(chǎn)出的價值差異將會非常大。

但這也衍生出一些問題。例如以一秒一千筆的數(shù)據(jù)量，除非採用特殊機(jī)制，否則很難經(jīng)由機(jī)臺上的機(jī)上盒，用網(wǎng)路通訊連結(jié)控制器的方式，來取得這麼大量的數(shù)據(jù)。通常得透過直接連接感測器來進(jìn)行。這種蒐集方式若採7X24(一周七天，一天24小時，全年無休)，那就得考量到數(shù)據(jù)是否會灌爆網(wǎng)路與資料庫? 或許得設(shè)計分層負(fù)責(zé)，把感測器的原始數(shù)據(jù)(Raw Data)先在端點(diǎn)工業(yè)電腦做前處理，然後再傳到雲(yún)端。

當(dāng)然，並不是每一種物理量都得這麼高速頻繁的蒐集數(shù)據(jù)。例如溫度數(shù)據(jù)，在一般狀況下大約只需每秒取一筆就夠了。

不同的物理量在不同的製程下，所需取樣的頻率就是不同，得視需求盡可能取到足夠的頻率，這樣的數(shù)據(jù)才足以供後續(xù)使用。

第三個條件是數(shù)據(jù)的涵蓋期間得足夠。

就像是假使我們想要建立數(shù)學(xué)模型，診斷人的健康程度並預(yù)測何時會生病的話，我們所需蒐集的數(shù)據(jù)期間，必須涵蓋人從健康時期到生病時期這整個週期，當(dāng)然最好有五次週期以上的數(shù)據(jù)為佳。

?倘若我們所蒐集到的數(shù)據(jù)都是人身體健康時期的數(shù)據(jù)，除非從健康到生病總是線性變化，否則所建立的健康數(shù)學(xué)模型根本就無從預(yù)測。更何況非線性是常態(tài)，這種僅侷限於健康時期的數(shù)據(jù)，若想用來預(yù)測數(shù)據(jù)中從沒發(fā)生過的生病，就會類似數(shù)學(xué)上的外插，而外插準(zhǔn)確度從來都是『天知道』。

可惜在我的職涯中，卻常常遇到客戶安裝機(jī)上盒開始數(shù)據(jù)蒐集之後，不到二周的時間，客戶老闆就急著催我，何時可以開始建立數(shù)學(xué)模型預(yù)測機(jī)臺故障呢? 唉，這真的是極大的困擾啊!

總之，若要讓數(shù)據(jù)成為可以煉金的資產(chǎn)，而不是燒錢的負(fù)債，就得在數(shù)據(jù)蒐集之前事先做好規(guī)劃。千萬不要以為亂蒐集、隨手蒐集、有什麼就收什麼、先收下來再說等做法，可以在日後突然煉出一堆黃金、賺大錢。

這種憑運(yùn)氣的做法其實跟買彩券致富差不多。較佳的做法是從價值面著手，先思考想煉出什麼黃金，例如預(yù)知保養(yǎng)。然後分析所需的數(shù)據(jù)種類，例如哪些零組件會影響機(jī)臺健康。最後才開始設(shè)計蒐集手法並著手進(jìn)行。這樣所蒐集到的數(shù)據(jù)才是可以產(chǎn)生價值的有效數(shù)據(jù)。