一、關于Dataphin(智能數據建設與治理)
Dataphin是阿里巴巴集團數據治理方法論基于內部實踐的產品化輸出,致力于幫助各企業用中臺方法論治理企業級好數據,構建起質量可靠、消費便捷、生產安全經濟的企業級數據中臺。
Dataphin支持在多種大數據架構之上構建數據中臺,具備一站式數據采、建、管、用全生命周期管理能力,顯著提升數據治理水平,在計算引擎利舊降本基礎上滿足企業多元化數智應用需求,為企業上云用數賦智夯實數字化能力底座。
二、DataphinV3.6版本概覽
01-拓展多引擎、多類型數據源、多消息渠道,滿足企業多元化數智應用需求
ADB引擎適配:新增適配以AnalyticDB for PostgreSQL作為計算引擎,可支持數據集成、離線&實時數據研發、數據質量、資產安全、數據服務等功能,助力企業構建統一的數據倉庫平臺。
數據源拓展:新增支持達夢數據源可用于離線集成、提升對國產數據庫的支持度;Hive及HDFS的數據源增加EMR版本選擇,實時集成輸出組件新增支持Hive,增強對Hive數據源的適配度。
自定義消息渠道:支持自定義消息發送渠道,通過配置化的方式實現與阿里云電話&短信、企業自有消息渠道的對接,以接收任務監控、質量監控、數據服務監控等告警信息。
02-貫穿事前規劃、事中監控、事后稽核的全鏈路數據治理能力
概念建模:可視化定義基于實際業務場景抽象出的業務實體及關系,以更好地反映業務之間的聯系,并為邏輯模型建設提供依據。
智能基線監控:支持配置天基線,添加需要保障的關鍵任務或字段后,系統可基于依賴關系自動圈選需要納入監控范圍的任務,同時支持配置靈活的告警規則及接收方式,以降低人工運維成本。
全域數據質量:拓展支持針對多種數據源表的質量監控,內置豐富的質量規則模板,同時支持基于業務場景自定義監控規則,以提升配置靈活性和業務監控覆蓋面。
數據標準落標:新增支持批量導入數據標準,提升配置效率;支持基于標準屬性和字段元數據進行關聯映射配置,實現標準和資產的關聯,作為后續落標稽核的基礎。
03-研發體驗優化,加速企業數字能力建設
編輯器優化:優化報錯提示,可快速定位到錯誤代碼行并提示錯誤原因及修復建議;新增set參數提示,可查看參數的默認值、類型及說明,提升數據開發效率。
集成組件優化:Orcale組件適配特殊字符的處理以減少運行報錯,hologres組件支持填寫SQL準備及完成語句,hana組件支持小寫表名等,降低集成任務配置成本。
補數據優化:支持一鍵過濾下游暫停調度的任務極其全部下游,以保障補數據整體鏈路可正常執行,減少人工篩選成本。
脫敏方式拓展:支持配置底層查詢直接過敏或僅展示脫敏,以支持簡單的where/join等子查詢場景,對業務使用更友好。
三、新版本重點特性詳解及應用場景示例
特性1:基礎研發版支持AnalyticDB PostgreSQL計算引擎
應用場景:構筑可線性擴展的企業數據倉庫服務,加速企業數據分析和運營體系搭建
AnalyticDB PostgreSQL強兼容PG/Greenplum開源生態,兼容Oracle/TD語法生態,具備秒級彈性和數據共享等國內領先的產品能力;支持復雜SQL優化、海量數據關聯聚合、資源負載管理,可提供PB級企業數據分析服務。
Dataphin基礎研發版支持以AnalyticDB PostgreSQL作為計算引擎,用戶現有的OLTP數據庫實例,如RDS MySQL,PostgreSQL,或傳統數據庫實例 Oracle,SQL Server等,均可以通過Dataphin的數據集成和調度能力同步到AnalyticDB PostgreSQL;結合數據質量監控、安全分類分級及脫敏配置等功能,打通入庫、清洗、分析和洞察的全鏈路,助力企業構建統一的數據倉庫平臺,加速面向業務場景的數據分析和運營體系搭建。
特性2:概念建模
應用場景: 可視化定義基于實際業務場景抽象出的業務實體及關系,為邏輯模型建設提供依據
主題域層級從1級拓展到最多5級,企業可基于主題域更好的構建資產類目體系,實現數據分層管理。
新增概念建模能力,在數倉規劃及數據架構設計階段,支持可視化配置基于實際業務場景抽象出的業務實體及其之間的關系,并以實體關系流程圖的形式直觀展示,有利于數據消費者更好理解數據和數據對應的業務。如制造業中的“原材料采購”場景,可以抽象出“客戶、訂單、原材料商品、地址”等業務對象,以及“供應商詢價、下采購單、財務預付款、供應商發貨、到貨簽收、財務付尾款”等業務活動。
此外,業務實體間的關系類型,在原有關聯, 繼承, 層級的基礎之上, 新增前后序、流轉、包含關系, 以便更精確的反映真實業務聯系。如:“采購”流程包含“供應商發貨”和“到貨簽收”兩個事件,兩個事件之間是流轉關系,而“采購”是“供應商評審”的后續流程。
概念模型創建完成后,可基于定義的業務實體快速創建對應的邏輯表,默認繼承實體之間的關系并自動翻譯為數據表之間的關聯邏輯,實現概念模型和邏輯模型的映射,為模型開發提供業務輸入和指導。
特性3:基線運維
應用場景:保障核心業務數據的產出任務,及時發現異常并預警,降低對業務用數的影響
1、添加需要保障的任務或字段后,系統將基于依賴關系自動推算需要納入監控范圍的上游節點,降低人工配置成本。
配置時只需要關注需要保障產出及時性的核心業務數據對應的任務或字段即可,而無需關心整體依賴鏈路的上游節點,系統將基于任務之間的依賴關系自動推導計算需要納入監控范圍的節點。這樣一來,即使更新了任務依賴關系,也無需更新基線配置,大大降低了人工操作成本;同時也提升了監控準確性,避免因為配置不同步而導致的監控缺失。
2、可自定義配置基線整體的預警及破線告警、基線監控范圍內單個節點的運行出錯或變慢告警,便于及時發現異常并處理。
可以將需要保障數據的預計產出時間配置為基線的“保障時間”;同時可以根據任務復雜度和業務重要程度,預估任務運行出現異常可能需要的處理時間,將其配置為基線的“余量”,承諾時間-余量即為基線的預警時間。周期運行過程中,系統將根據基線鏈路上每個節點最近7天的歷史運行概況,推算保障節點的預計運行完成時間。如果推算出的時間晚于配置的預警及承諾時間,則會發送基線告警,給開發人員和業務人員對應的通知。
此外,還可以給基線鏈路上的單個任務或字段配置運行變慢或運行出錯的告警,便于盡早發現可能出現的異常并處理,保障業務數據能正常產出。
3、支持查看每條基線的運行詳情,如果存在預警或破線的風險,可自動識別定位到關鍵路徑上的關鍵實例,便于開發運維人員直接處理,減少人工分析定位。
特性4:數據標準
應用場景:支持標準和資產的映射關聯,以作為質量稽核的參考,提升企業資產治理水平。
1、標準屬性配置優化,支持批量導入數據標準,提升配置效率。
支持配置屬性字段的取值類型(自定義輸入、枚舉單選、枚舉多選)及取值約束,同時也可引用碼表作為枚舉取值來源,以增強標準定義的規范性。如,指標的“業務分類”屬性需要來源于企業的“業務系統”碼表、“字段長度”屬性的取值范圍需要限制在0～128字符等。
支持下載標準定義模板,并通過上傳Excel文件方式批量導入數據標準,實現歷史標準的批量遷移入庫。支持查看導入執行日志;支持配置導入沖突處理策略;支持一鍵下載異常記錄及異常提示,以提升配置效率。
2、支持基于標準屬性和元數據字段進行關聯映射配置,實現標準和資產的關聯,作為后續落標稽核的基礎。
支持將標準屬性和資產元數據進行關聯映射配置,實現標準和資產的關聯。可以在資產目錄查看字段及指標的落標映射結果,以便參考映射到的標準定義進行開發,將數據治理前置到研發鏈路。針對不滿足關聯標準的資產,可以盡早進行整改,提升企業整體數字能力建設的標準化成熟和資產的健康度。
3、支持碼表、詞根的定義及管理。
碼表可用于約束標準屬性字段的取值范圍,提升標準定義的準確性;詞根可作為數據表、字段等研發對象命名的參考依據,提升研發規范性。
特性5:全域數據質量
應用場景:通過對全域數據表及數據源的監控,將數據質量風險前置,進一步提升資產健康度。
1、支持計算引擎內及多種數據源表的質量監控,支持數據源連通性及表結構異動性監控。
數據質量模塊分為域內版和全域版。其中,域內版可以針對計算引擎內的物理表及字段,以及Dataphin特有的邏輯表、指標和實時元表進行質量監控;同時還支持對已創建數據源的連通性以及監控范圍內的表結構異動性進行監控。全域版在支持計算引擎內物理表的基礎上,還支持10余種數據源的表監控,如MySQL、Oracle、Hana等。結合使用全域版和域內版的功能,能夠拓展可監控的資產對象類型,將數據質量風險前置,降低對后續研發鏈路的影響。
2、基于DAMA體系內置豐富的質量規則模板,開箱即用;可自定義監控規則并支持配置規則觸發方式,以靈活適配多樣化的業務需求。
基于DAMA(國際數據資產管理協會)體系,Dataphin質量模塊內置完整性、唯一性、及時性、一致性、有效性、穩定性6類場景的系統模版及規則,大大降低使用門檻;支持自定義SQL的方式創建規則模版,以靈活適配多樣性的業務需求。此外,支持配置靈活多樣的規則觸發條件,如定時觸發、代碼運行觸發、任務調度觸發等,可滿足不同的開發場景。
3、自動生成質量監控報告,支持查看下載異常數據,可作為質量整改的參考。
特性6:編輯器優化
應用場景:優化報錯及參數自動提示,提升開發效率和使用體驗。
1、報錯提示優化:支持快速定位到錯誤代碼行并標識錯誤語句,提示錯誤原因及修復建議;可自動識別不規范的代碼語句,支持一鍵修復或忽略提醒。
2、支持set參數提示:提示可選的參數,并支持查看參數的默認值、類型及說明;指定參數后,如有默認值或枚舉值,自動提示可選值。
特性7:實時集成支持增量同步到Hive
應用場景:實時增量從MySQL或Oracle抽取數據同步到Hive
支持批量在Hive目標庫自動建表,可自動為目標表添加系統附加字段;支持處理DDL,如新增表、刪除表、表結構變更等8種場景;提供預覽字段功能,可查看源表與目標表字段的差異對比,減少手動建表操作。支持智能檢查目標表規范性及可用性,針對異常結果給出告警、錯誤等不同等級的提示,將問題前置以降低任務運行錯誤的可能性。
此外,新增實時集成任務的提交詳情,異常及風險提示一目了然,校驗流程透明化。
特性8:離線集成組件優化
應用場景:適配多種數據源的特殊邏輯及異常處理,提升集成任務配置流暢度。
輸入組件,對PostgreSQL、AnalyticDB for PostgreSQL類型的數據源,在使用QuerySQL方式時,支持添加常量字段
Hana組件支持小寫表名
由于AnalyticDB for PostgreSQL僅支持在建表時指定分區字段,不支持后續添加,因此在整庫遷移目標數據源為AnalyticDB for PostgreSQL時,自動添加分區字段,以適配需要創建分區的場景
Hologres輸出組件支持填寫SQL準備語句和完成語句
優化Oracle來源表帶有特殊字符(如/)時的處理策略,使離線管道任務能正常運行而無需使用自定義組件,降低配置成本
特性9:補數據支持過濾暫停節點
應用場景:批量選中多層節點進行補數據,可一鍵過濾暫停節點,避免阻斷補數據任務執行。
調度方式為“暫停調度”的任務,生成的補數據實例默認為暫停運行。暫停運行的節點會阻斷下游其他實例的運行,此外如果選擇了多個補數據業務日期且設置為周期間串行(即并發分租數為1),還會影響后續業務日期實例的執行,阻斷整個補數據進程。
基于該背景,Dataphin新增支持在配置補數據任務時,可一鍵過濾暫停調度的任務極其下游節點。此外某些場景下,暫停調度的任務在補數據對應的業務日期下需要正常參與調度,如每月第一天運行的財務月結算任務,需要在指定的臨時結算日期運行。針對這種場景,新增支持配置選中的暫停任務在選中的補數據業務日期的運行方式,可選空跑、正常運行、暫停運行,以靈活適配多樣性的業務求。
特性10:脫敏規則支持配置脫敏方式
應用場景:通過配置查詢時不脫敏僅展示脫敏,以支持簡單的where/join等條件,對業務使用更友好
數據開發中,常常對一些敏感字段需要配置脫敏規則,以保障數據安全。默認情況下,在整個研發鏈路中,配置了脫敏規則的數據均使用脫敏后的結果參與計算,會導致where/join等條件不生效的問題,影響業務使用。基于此背景,Dataphin支持針對脫敏規則配置不同的脫敏方式:
底層脫敏:在數據被查詢時就進行脫敏。SQL的處理過程中,均使用脫敏后的結果處理,能對數據起到更好的保護效果
僅展示脫敏:在數據被查詢時不進行脫敏,僅在最后對外展示的時候進行脫敏。SQL處理過程中,均使用原文進行處理,因此可以支持簡單的where/join等條件,對業務使用更友好。需要注意的是,如果對敏感字段使用UDF處理(如字符串截取),會觸發脫敏降級,該字段生成的衍生字段會統一降級為***。
通過該能力,開發人員可以根據不同的使用場景配置不同的脫敏策略,以更好地適配業務需求,平衡好數據安全性和使用靈活性。
特性11:自定義消息渠道
應用場景:快讀對接阿里云電話/短信以及企業自有消息渠道,以獲取告警及消息通知
支持實例級別和租戶級別的自由配置,不同租戶可開啟不同的消息渠道。支持快速對接阿里云的電話及短信渠道,或經過簡單的參數配置對接企業自由的消息渠道。配置完成后,支持發送測試消息,以快速驗證渠道可用性,保證消息可正常發送。
特性12:跨租戶發布配置優化
應用場景:導入導出配置優化,支持對接外部存儲系統,發布流程更順暢
1、導出文件配置優化:
新增可設置“是否導出建表語句”;如設置了導出,可在待發布對象列表下載建表文件
新增支持設置“是否運行下載發布文件”
新增支持發布文件外部存儲設置(本期支持啟用OSS存儲),可設置導出完成后“是否自動轉存外部存儲”,并支持設置同名文件沖突處理策略;若開啟外部存儲,待發布對象列表可一鍵轉存并查看轉存記錄
2、導入數據源校驗優化:
按照“數據源名稱”進行匹配,如有名稱相同的數據源則校驗數據源類型,類型一致則認為在目標環境匹配成功
如果未匹配到同名數據源,僅提示風險,不阻斷發布(可能導致依賴對應數據源的任務發布失敗)
四、總結與展望
本次發布的V3.6版本中,Dataphin圍繞數據資產建設、數據資產治理、基礎平臺等三大功能板塊進行了完備性、安全性、研發效率、開放性、穩定性、易用性、可交付性等方面進行了優化和升級。在下一個版本中,我們將持續提升資產建設平臺的易用性及可交付性、資產治理平臺的完備性以及基本戶平臺的穩定性和開放性進行迭代,敬請期待!
評論前必須登錄！
注冊