隨著大數據時代的到來與經濟的不斷發展，物流企業管理人員面對的數據呈現豐富化、多樣化的趨勢，這為善于使用從數據中挖掘出有用信息的物流企業帶來了全新的機遇，也給粗放式管理的物流企業帶來了新的挑戰。如何從繁雜的數據集中發掘出有價值的信息，對每個希望在大數據時代實現風險管理與評估的物流企業都具有重要的研究意義。

數據挖掘在物流企業風險管理與評估中既有計算機科學技術與機器學習的內容，還融合了金融學、統計學、經濟學等多方面的學科理論與方法[1]。

物流企業獲取到用于進行風險管理評估的數據，往往呈現海量性、多樣性的特點。物流企業可能從多個數據庫中取得大量呈現多個維度，具有多種形式的信息，例如文字、圖表等，形成龐大的數據集。這一方面體現了應用數據挖掘技術的意義，另一方面也對數據的清洗和預處理提出了更高的要求。

物流企業在進行風險管理時所參考數據往往是跨越多個層面，涉及多個維度的，這些未經過處理的臟數據中往往或多或少地存在噪點、分散、缺失值、離群值等問題[3]，無法直接對這些非結構化數據進行數據挖掘。在物流企業風險管理與評估的數據挖掘中，主要有以下幾個問題：（1）數據冗余。原始數據集中不可避免地會有許多沒有挖掘價值的冗余數據，如在收集員工離職記錄數據時的員工編號，格式混亂的采購記錄等信息。這些噪點信息非但不會有助于物流企業從過往的數據記錄中挖掘出新知識，還會阻礙數據挖掘模型的開發與調試，降低模型的性能，導致數據挖掘結果的低質量甚至錯誤。（2）數據缺失。物流企業管理者收集到的數據經常會由于各種原因出現缺損，如某次統計未能記錄所有數據項，或明顯不可采信的矛盾數據。數據缺失往往會造成較大的影響，因為包含缺失值的數據樣本難以被計算與劃分類別，許多對輸入數據集較為嚴格的算法也無法處理這樣存在缺失的數據。而如果忽略掉存在缺失值的樣本，又會丟棄掉這些樣本中其他有價值的數據項中蘊含的信息，使數據集的數據量減少，得出偏頗的挖掘結果。（3）離群值。數據集中有時會出現與其他數據項距離較大的異常數據項或一個異常的小數據簇，這大多數時候是由于記錄錯誤或統計失誤造成的，但有時也蘊含著重要的風險信息。若不經處理直接輸入，一定程度上會干擾某些對離群值敏感的算法的結果，還會導致物流企業管理者錯過這些離群值中可能蘊含的風險信息。這些問題會降低數據的質量，導致數據挖掘模型出現運行速度慢、準確性差、難以提取足夠的有用信息等一系列問題。而物流企業管理者在收集數據，形成原始數據集時，受統計標準不規范、統計誤差等影響，往往總是會收集到具有這些問題的非結構化數據。這些數據難以結構化，給物流企業的數據挖掘工作帶來困難。

物流企業在將獲取到的非結構化數據處理為結構化的數據后，便可以對這些結構化數據進行數據挖掘建模，發掘其中隱含的風險信息。此時物流企業需要面對兩大問題。第一大問題是難以找到與物流企業需求完全貼合的數據挖掘算法。在預測性數據挖掘中，由于數據具有較強的動態性與實時性，一個運行時間較長的算法往往是不被容忍的。第二大問題是數據挖掘算法的開發。在信息化時代，具備一定規模的物流企業產生的風險信息資源往往較為龐大，對從這些資源中抽取出的數據集進行挖掘往往需要耗費大量的時間。如果將靜態的算法套用到復雜多變的需求中，而不對其進行定制與進一步開發，是難以完成物流企業風險管理與評估的數據挖掘任務的。

物流企業在應用數據挖掘技術時，往往會統合各部門的數據，建立信息化大數據管理平臺。這一方面提高了物流企業的信息化程度，另一方面也成為物流企業新的風險點[4]。對于集成了物流企業所有業務數據、管理信息的大數據平臺而言，一旦出現信息泄露，物流企業將會損失多個維度的大量數據，商業資源的損失更甚從前。此外，若出現不可抗力因素導致保存數據的硬件損壞，物流企業也會一次性損失大量的數據資源。這些問題對想要搭建大數據管理平臺的物流企業提出了新的挑戰。

要想對非結構化的原始數據進行數據挖掘，發現其中蘊含的物流企業風險信息，我們需要對獲取到的數據進行清洗及預處理，提升數據集的質量，并使其更易于建模。針對原始數據集面臨的問題，主要有以下幾種解決思路。（1）數據降噪。原始數據集中常常存在由于各種測量錯誤、記錄錯誤導致的噪點，為此我們要通過噪聲降除算法進行處理。例如將有序的原始數據進行分箱，根據一定的規則劃分出某屬性的多個區間，再通過平均值平滑、邊界值平滑等方法聚合各分箱中的數據，這樣可以將一個區間內的一組數據用一個有代表性的數據表示，在不改變數據原有含義的基礎上便于輸入模型進行分析。或者基于數據集的其他特征運用聚類方法進行分簇，通過離群的孤立點或小數據簇找出噪點。在實際操作中，應使用機器挖掘與人工檢驗相結合的方法，由熟悉業務的管理人員或核心員工判斷是否應作為普通噪點處理。（2）數據填充。為了應對原始數據集中的數據缺失，將含有缺失項的數據樣本整個丟棄是最簡單易行的方法。但這種方法只適用于含有數據缺失的樣本較少，或含有數據缺失的樣本不重要時使用，否則會造成數據集較為嚴重的萎縮。因此，我們還可以采取另一種思路，即用一定的方法將其填充起來。如將一些未能收集到或已丟失的數據項用特殊值填充，使其可被作為有意義的數據項處理，又可以標記該數據項具有特殊意義。或者利用統計學方法，結合該數據樣本的其他數據項，采取中值填充、均值填充等方法，也可找到大致合理的值實現缺失數據項的填充。（3）離群值處理。數據集中的離群值有些是由于數據獲取時的誤差產生的，應進行異常值檢測與處理。傳統物流企業一般采用人工檢測的方法，選取對業務需求較為了解的員工，人為選出離群的數據項，但這種方法難以適應大數據時代信息處理的需要，且可能產生新的錯誤。現代物流企業應通過設計合適的算法或建立模型的方法解決問題，基于統計學的異常值檢測處理方法是最常用的離群值提取方法，這種方法將數據的基礎分布假設為正態分布，結合3σ法則判斷離群值，但不適用于基礎分布難以描述的模型。或者基于樣本兩兩之間的歐式距離、編輯距離在所有樣本中的該距離分布，識別出離群點或離群簇，進而將其刪除或進一步分析，挖掘其中可能隱藏的物流企業風險信息。

各物流企業的風險信息數據具有自己獨特的特性，對模型的準確度、實時性的要求也不盡相同。如有些物流企業對人事變動較為敏感，員工離職成為損失期望值較大的風險點，這些物流企業往往希望基于以往的離職員工簡歷、離職原因、股市變動等多維度信息進行描述性數據挖掘，盡可能詳細地從多方面描述導致員工離職的因素，幫助物流企業保護自己的人才資源。甚至如Entelo公司的“前獵頭”服務，通過70多個指標分析核心人才的離職傾向，推送給購買了他們服務的物流企業家。還有的公司以期貨市場波動為主要風險點，希望基于近幾日的市場信息盡快完成預測性數據挖掘任務，注重模型的運行效率。由此可知，一個適合物流企業風險管理的數據挖掘模型應該是針對某一物流企業的需求定制的，且具有較強的交互性與可視化功能。

面對搭建信息化大數據平臺時面臨的新風險，物流企業需要在多方面做出應對。一方面可以成立大數據平臺管理小組，由深刻理解業務且具備大數據與IT知識的管理人員領導。同時由于大數據平臺統合了物流企業的所有業務數據與管理信息，如果采用物流企業外部招聘的方法獲取大數據平臺管理小組的成員，由于這些人員對物流企業業務與風險點不熟悉導致出現工作效率較低、錯誤率較高的問題，還會增加物流企業數據泄露的風險。因此，從物流企業內部選拔一批熟悉公司業務與風險，并具備一定IT知識的綜合性人才進行培養，是物流企業獲取大數據風險管理人才較好的辦法。另一方面，物流企業應健全大數據信息管理體系，建立起一套全面、高效、安全的大數據信息管理系統與規章制度。規范大數據管理人員的權限分級管理、身份識別工作，強化數據加密存儲的意識與能力，確保權限不足的人員訪問相應加密數據時受到制約。

總而言之，數據挖掘技術可以從多個維度實現高價值數據的提取，在大數據時代有著豐富的應用與廣闊的前景，對想要實現風險管理與評估的大數據時代物流企業具有重要意義。本文研究了數據挖掘技術應用的過往經驗與現狀，以及物流企業應用落地的問題與對策，隨著數據挖掘技術的發展與物流企業應用經驗的積累，數據挖掘技術在物流企業風險管理與評估中必將有更大的用武之地，為市場經濟的發展提供更強的動力。