ERP系統(tǒng)中數據倉庫的應用
時間：
楊照華1由 分享
摘要：隨著信息的日益豐富，知識爆炸成為必然，從數據中發(fā)現知識（KDD）和數據挖掘已成為重要的技術。在廣泛實施了ERP后，如何從海量的業(yè)務信息中找到有價值的知識已成為企業(yè)經營成敗的關鍵，在這種背景下，將數據遷移到數據倉庫變得非常重要。數據倉庫的建設是一個復雜、長期的過程，特別是針對企業(yè)ERP系統(tǒng)的建設。我們通過一個汽修行業(yè)進銷存系統(tǒng)數據倉庫的構建，系統(tǒng)闡述了如何在ERP環(huán)境中構建數據倉庫，并對系統(tǒng)的物理實施進行了論述。
關鍵詞：信息；ERP；數據倉庫；OLTP；OLAP；數據挖掘
當今社會是一個信息爆炸的時代，信息豐富而知識貧乏的現象非常普遍。“啤酒搭著尿布賣”的故事曾經觸動了多少人的神經。信息作為現代企業(yè)的寶貴資源，占據著越來越重要的地位，已經成為現代企業(yè)科學管理的基礎，正確決策的前提，有效調控的手段。
目前，面對激烈的市場競爭，許多大型企業(yè)紛紛實施“以客戶為中心，以服務求發(fā)展”的經營策略。 如何優(yōu)化客戶關系，增強企業(yè)的競爭優(yōu)勢已經成為現代企業(yè)關注的焦點。現有的應用系統(tǒng)往往以“產品”為中心，以“單據（票證）”處理為基礎，是面向聯機事務處理（Online Transaction Processing，簡稱OLTP）的系統(tǒng)，而以客戶為中心的經營管理模式要求對現有業(yè)務系統(tǒng)的數據進行有效的集成并加以重組，建立面向聯機分析處理（Online Analysis Processing，簡稱OLAP）的系統(tǒng)。通過分析客戶的行為，掌握不同類型客戶的特征，進而為客戶提供更加優(yōu)質的服務，尤其是個性化的服務，同時全面掌握并理解、分析企業(yè)業(yè)務的發(fā)生情況，充分發(fā)揮企業(yè)現已積累的數據，為各級管理人員提供科學化管理和決策的有力依據，以提高企業(yè)的經營業(yè)績，保證利潤的持續(xù)增長。
同時，隨著企業(yè)信息化程度的不斷提高，各類應用系統(tǒng)同時并存并支撐著企業(yè)的業(yè)務應用。越來越多企業(yè)的信息化主管在開發(fā)企業(yè)應用時已經考慮到數據集成和將來對數據的整體有效利用，因此，在實施了ERP解決方案之后，很多企業(yè)選擇實施數據倉庫產品來避免信息孤島，實現應用的內部聯系和信息的共享。
什么是數據倉庫呢？一般認為，數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策(Decision Making Support)。
面向主題：操作型數據庫的數據組織面向事務處理任務，各個業(yè)務系統(tǒng)之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織的。
集成的：數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統(tǒng)加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關于整個企業(yè)的一致的全局信息。
相對穩(wěn)定的：數據倉庫的數據主要供企業(yè)決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以后，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。
反映歷史變化：數據倉庫中的數據通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。
一個典型的企業(yè)數據倉庫系統(tǒng)通常包含數據源、數據存儲與管理、OLAP服務器以及前端工具與應用四個部分。
數據源：是數據倉庫系統(tǒng)的基礎，是整個系統(tǒng)的數據源泉。通常包括企業(yè)內部信息和外部信息。
數據的存儲與管理：是整個數據倉庫系統(tǒng)的核心。在現有各業(yè)務系統(tǒng)的基礎上，對數據進行抽取、清理，并有效集成，按照主題進行重新組織，最終確定數據倉庫的物理存儲結構，同時組織存儲數據倉庫元數據（具體包括數據倉庫的數據字典、記錄系統(tǒng)定義、數據轉換規(guī)則、數據加載頻率以及業(yè)務規(guī)則等信息）。
OLAP服務器：對分析需要的數據按照多維數據模型進行再次重組，以支持用戶多角度、多層次的分析，發(fā)現數據趨勢。其具體實現可以分為：ROLAP、MOLAP和HOLAP。
前端工具與應用：前端工具主要包括各種數據分析工具、報表工具、查詢工具、數據挖掘工具以及各種基于數據倉庫或數據集市開發(fā)的應用。其中數據分析工具主要針對OLAP服務器，報表工具、數據挖掘工具既針對數據倉庫，同時也針對OLAP服務器。
在傳統(tǒng)的ERP系統(tǒng)中，一般的核心應用都是進銷存管理和賬務管理，數據庫中的數據也是緊緊圍繞產品信息、票據和賬目明細進行的。這樣的數據層可以很好地實現OLTP，但如果要為企業(yè)高層提供決策數據的話，就有必要對這樣原始的、松散的、孤立的數據進行抽取、清洗、加上時間標記并進行合理的分類，以使之能夠進入數據倉庫并支持OLAP。
下面通過一個小型汽修行業(yè)進銷存系統(tǒng)（以下簡稱A系統(tǒng)）數據倉庫的建立，來說明ERP系統(tǒng)數據倉庫建立的步驟及應注意的一些問題。
A系統(tǒng)原有的數據層是典型的數據庫系統(tǒng)，核心表為產品信息表、客戶信息表、供應商信息表、庫存表、銷售表、客戶明細表和供應商明細表等。這些表格在運行中很好地解決了OLTP，同時可對企業(yè)高層提供基本的一些OLAP，如庫存查詢、銷售查詢等，但這些功能相對高層決策的需求是遠遠不夠的，因此有必要對原系統(tǒng)的數據庫進行改造，建立合理有效的數據集市或數據倉庫，以適應企業(yè)遠期的戰(zhàn)略目標。
數據倉庫的建立是一個復雜的過程，首先要進行規(guī)劃和分析，我們對原系統(tǒng)的數據進行分析，將原來孤立分散的數據元素進行抽取和清洗分類，把數據劃分成了以下幾個類：客戶類（包含原有系統(tǒng)中的客戶信息、客戶賬目明細等相關客戶信息）、供應商類（包含相關供應商所有信息）、賬目類（包含進銷存的帳目往來及明細數據）、票據類（包含相關帳目票據）等。數據類的劃分將原來松散孤立的數據根據使用特征有機地結合到了一起，可以有效地支持OLAP，同時為以后系統(tǒng)的擴展及升級也打下了良好的基礎。不致于因一發(fā)而動全身。
將原有的數據庫數據進行清洗分類后，下一步即開始數據倉庫物理結構及存儲的實施。目前，IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有實力的公司相繼（通過收購或研發(fā)的途徑）推出了自己的數據倉庫解決方案，BO和Brio等專業(yè)軟件公司也在前端在線分析處理工具市場上占有一席之地。在A項目數據倉庫解決方案的選擇上，我們選擇了Microsoft的SQL Server 2005作為數據倉庫實現工具。做為微軟新一代的數據庫產品，SQL Server 2005提供了很多新的功能，性能更加強大，同時，A系統(tǒng)原來的數據層是采用SQL Server 2000，因此采用SQL Server 2005可以很好地實現數據的提取和轉換。同時，由于都是微軟的產品，我們今后擴充A系統(tǒng)時，前臺的查詢和報表工具就可以采用dot net平臺實現，無論采用C#還是VB.NET語言都可以實現強大的OLAP分析功能。
最終，由于經過了詳細的設計和建模，A系統(tǒng)數據倉庫的實施取得了良好的效果，系統(tǒng)的轉換較為成功，新系統(tǒng)在數據倉庫的支持下為高層決策提供了極好的支持。同時，由于采用了數據倉庫，A系統(tǒng)的功能和擴展性也有了很大提高。為以后進一步進行操作數據存儲（ODS）和數據挖掘(DATA MINEING)打下了堅實的基礎。
參考文獻：
[1]張友生，徐峰 《系統(tǒng)分析師技術指南》 清華大學出版社 2004
[2]http://www.enet.com.cn/article/2006/1212/A20061212332464.shtml 《九大數據倉庫解決方案的性能和特點比較》
[3]http://www.enet.com.cn/article/2006/1212/A20061212332464_2.shtml《九大數據倉庫解決方案的性能和特點比較》
[4]朱德利《SQLServer2005數據挖掘與商業(yè)智能完全解決方案》 電子工業(yè)出版社 2007
[5]飛思科技產品研發(fā)中心編《Oracle 9i數據倉庫構建技術》電子工業(yè)出版社 2003。
關鍵詞：信息；ERP；數據倉庫；OLTP；OLAP；數據挖掘
當今社會是一個信息爆炸的時代，信息豐富而知識貧乏的現象非常普遍。“啤酒搭著尿布賣”的故事曾經觸動了多少人的神經。信息作為現代企業(yè)的寶貴資源，占據著越來越重要的地位，已經成為現代企業(yè)科學管理的基礎，正確決策的前提，有效調控的手段。
目前，面對激烈的市場競爭，許多大型企業(yè)紛紛實施“以客戶為中心，以服務求發(fā)展”的經營策略。 如何優(yōu)化客戶關系，增強企業(yè)的競爭優(yōu)勢已經成為現代企業(yè)關注的焦點。現有的應用系統(tǒng)往往以“產品”為中心，以“單據（票證）”處理為基礎，是面向聯機事務處理（Online Transaction Processing，簡稱OLTP）的系統(tǒng)，而以客戶為中心的經營管理模式要求對現有業(yè)務系統(tǒng)的數據進行有效的集成并加以重組，建立面向聯機分析處理（Online Analysis Processing，簡稱OLAP）的系統(tǒng)。通過分析客戶的行為，掌握不同類型客戶的特征，進而為客戶提供更加優(yōu)質的服務，尤其是個性化的服務，同時全面掌握并理解、分析企業(yè)業(yè)務的發(fā)生情況，充分發(fā)揮企業(yè)現已積累的數據，為各級管理人員提供科學化管理和決策的有力依據，以提高企業(yè)的經營業(yè)績，保證利潤的持續(xù)增長。
同時，隨著企業(yè)信息化程度的不斷提高，各類應用系統(tǒng)同時并存并支撐著企業(yè)的業(yè)務應用。越來越多企業(yè)的信息化主管在開發(fā)企業(yè)應用時已經考慮到數據集成和將來對數據的整體有效利用，因此，在實施了ERP解決方案之后，很多企業(yè)選擇實施數據倉庫產品來避免信息孤島，實現應用的內部聯系和信息的共享。
什么是數據倉庫呢？一般認為，數據倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策(Decision Making Support)。
面向主題：操作型數據庫的數據組織面向事務處理任務，各個業(yè)務系統(tǒng)之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織的。
集成的：數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統(tǒng)加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關于整個企業(yè)的一致的全局信息。
相對穩(wěn)定的：數據倉庫的數據主要供企業(yè)決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以后，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。
反映歷史變化：數據倉庫中的數據通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。
一個典型的企業(yè)數據倉庫系統(tǒng)通常包含數據源、數據存儲與管理、OLAP服務器以及前端工具與應用四個部分。
數據源：是數據倉庫系統(tǒng)的基礎，是整個系統(tǒng)的數據源泉。通常包括企業(yè)內部信息和外部信息。
數據的存儲與管理：是整個數據倉庫系統(tǒng)的核心。在現有各業(yè)務系統(tǒng)的基礎上，對數據進行抽取、清理，并有效集成，按照主題進行重新組織，最終確定數據倉庫的物理存儲結構，同時組織存儲數據倉庫元數據（具體包括數據倉庫的數據字典、記錄系統(tǒng)定義、數據轉換規(guī)則、數據加載頻率以及業(yè)務規(guī)則等信息）。
OLAP服務器：對分析需要的數據按照多維數據模型進行再次重組，以支持用戶多角度、多層次的分析，發(fā)現數據趨勢。其具體實現可以分為：ROLAP、MOLAP和HOLAP。
前端工具與應用：前端工具主要包括各種數據分析工具、報表工具、查詢工具、數據挖掘工具以及各種基于數據倉庫或數據集市開發(fā)的應用。其中數據分析工具主要針對OLAP服務器，報表工具、數據挖掘工具既針對數據倉庫，同時也針對OLAP服務器。
在傳統(tǒng)的ERP系統(tǒng)中，一般的核心應用都是進銷存管理和賬務管理，數據庫中的數據也是緊緊圍繞產品信息、票據和賬目明細進行的。這樣的數據層可以很好地實現OLTP，但如果要為企業(yè)高層提供決策數據的話，就有必要對這樣原始的、松散的、孤立的數據進行抽取、清洗、加上時間標記并進行合理的分類，以使之能夠進入數據倉庫并支持OLAP。
下面通過一個小型汽修行業(yè)進銷存系統(tǒng)（以下簡稱A系統(tǒng)）數據倉庫的建立，來說明ERP系統(tǒng)數據倉庫建立的步驟及應注意的一些問題。
A系統(tǒng)原有的數據層是典型的數據庫系統(tǒng)，核心表為產品信息表、客戶信息表、供應商信息表、庫存表、銷售表、客戶明細表和供應商明細表等。這些表格在運行中很好地解決了OLTP，同時可對企業(yè)高層提供基本的一些OLAP，如庫存查詢、銷售查詢等，但這些功能相對高層決策的需求是遠遠不夠的，因此有必要對原系統(tǒng)的數據庫進行改造，建立合理有效的數據集市或數據倉庫，以適應企業(yè)遠期的戰(zhàn)略目標。
數據倉庫的建立是一個復雜的過程，首先要進行規(guī)劃和分析，我們對原系統(tǒng)的數據進行分析，將原來孤立分散的數據元素進行抽取和清洗分類，把數據劃分成了以下幾個類：客戶類（包含原有系統(tǒng)中的客戶信息、客戶賬目明細等相關客戶信息）、供應商類（包含相關供應商所有信息）、賬目類（包含進銷存的帳目往來及明細數據）、票據類（包含相關帳目票據）等。數據類的劃分將原來松散孤立的數據根據使用特征有機地結合到了一起，可以有效地支持OLAP，同時為以后系統(tǒng)的擴展及升級也打下了良好的基礎。不致于因一發(fā)而動全身。
將原有的數據庫數據進行清洗分類后，下一步即開始數據倉庫物理結構及存儲的實施。目前，IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有實力的公司相繼（通過收購或研發(fā)的途徑）推出了自己的數據倉庫解決方案，BO和Brio等專業(yè)軟件公司也在前端在線分析處理工具市場上占有一席之地。在A項目數據倉庫解決方案的選擇上，我們選擇了Microsoft的SQL Server 2005作為數據倉庫實現工具。做為微軟新一代的數據庫產品，SQL Server 2005提供了很多新的功能，性能更加強大，同時，A系統(tǒng)原來的數據層是采用SQL Server 2000，因此采用SQL Server 2005可以很好地實現數據的提取和轉換。同時，由于都是微軟的產品，我們今后擴充A系統(tǒng)時，前臺的查詢和報表工具就可以采用dot net平臺實現，無論采用C#還是VB.NET語言都可以實現強大的OLAP分析功能。
最終，由于經過了詳細的設計和建模，A系統(tǒng)數據倉庫的實施取得了良好的效果，系統(tǒng)的轉換較為成功，新系統(tǒng)在數據倉庫的支持下為高層決策提供了極好的支持。同時，由于采用了數據倉庫，A系統(tǒng)的功能和擴展性也有了很大提高。為以后進一步進行操作數據存儲（ODS）和數據挖掘(DATA MINEING)打下了堅實的基礎。
參考文獻：
[1]張友生，徐峰 《系統(tǒng)分析師技術指南》 清華大學出版社 2004
[2]http://www.enet.com.cn/article/2006/1212/A20061212332464.shtml 《九大數據倉庫解決方案的性能和特點比較》
[3]http://www.enet.com.cn/article/2006/1212/A20061212332464_2.shtml《九大數據倉庫解決方案的性能和特點比較》
[4]朱德利《SQLServer2005數據挖掘與商業(yè)智能完全解決方案》 電子工業(yè)出版社 2007
[5]飛思科技產品研發(fā)中心編《Oracle 9i數據倉庫構建技術》電子工業(yè)出版社 2003。