首頁> 産品技術 > Nebula內容平台

Nebula內容平台

传统广电业务架构采用烟囱式的建设方式,生产系统、媒资系统、发布系统、播出系统等独立建设,由MPC媒體处理中心对业务进行统一调度。随着全媒體的逐步发展,媒體对象数量越来越大、媒體对象类型越来越多、媒體对象关系错综复杂,传统架构中资源四处分散难管理、单点不堪重负易故障、数据没有副本难恢复、系统纷繁复杂难扩展等问题日益显现。Nebula內容平台是一个以数据为核心面向业务的基于数据融合架构及媒體應用特性的PaaS平台。利用成熟的分布式集群技术解决日益膨胀的内容数据问题,降低了数据通信成本和产品维护成本,能够为业务系统提供更稳定、更安全的内容、存储以及数据分析与挖掘的一体化服务。

Nebula內容平台将多个节点集成形成集群,在相应的交换机的配合下供上载、收录、NLE非编等工具使用,为用户提供内容管理和数据挖掘服务。用户利用上载、收录等方式将数据、日志等存入Nebula內容平台中,通过NLE非编、检索、编目等工具从Nebula內容平台获取并使用数据,存储工具对数据的使用过程中产生的数据间的关系,用户通过发布工具将非编、编目等的结果发布至其他平台,Nebula內容平台通过数据挖掘模块对平台内的数据进行数据挖掘和分析,并以云标签、热力图、曲线图等方式展现给用户。
展開
“全局、科學、安全、便捷、智能”,就是Nebula。
 
-資源管理全局化
 
Nebula采用一種統一地址描述資源的方法,以扁平化的存儲方式存儲資源,以圖向量等方法描述各對象間的關系,大大地簡化了對象間關系的保存以及查詢,檢索的性能也得到了提升。
 
Nebula改變了傳統架構煙囪式的建設方式,打破了固有結構的局限性,好比將所有的資源同在一個容器中,相對自由、彼此獨立,又相互聯系,增強了數據間的邏輯性也方便了用戶的使用,使得資源管理全局化。
 
-存儲方案科學化
 
在分布式对象存储、键值存储、文档存储等技术的支撑下,Nebula根据储存内容的不同,制定了面向业务数据特征的存储方案,为不同类型的业务数据“私人定制”最适合的存储方案,更加科学地管理业务数据。Nebula的资源包括结构化数据、半结构化数据、非结构化数据以及媒體文件,这些资源采用上述存储方案存储在多种数据源中,包括MySQL、Mongodb、File、Index等。
 
Nebula采用了一種實現異構數據複合對象的事務一致性的方法保證業務過程中多個進程的最終一致性。這種方法將事務的所有數據來源進行統一管理,只有當所有的進程都成功時才提交,改變數據來源中存放的數據;若任意一個進程不成功,都要讓其他的數據源回滾,恢複這個事務中改變了的數據,保證了多個進程的最終一致性。在這種事務一致性方法的保障下,面向業務數據特征的存儲方案得以實施,也使得業務數據的存儲方案更適合業務數據本身,更加科學化。
 
-業務數據安全化
 
Nebula采用分布式技術和一致性Hash算法解決傳統架構中單點故障和數據沒有副本導致的數據丟失難以恢複問題。去中心化的設計,服務器故障時,其他服務器自動分攤故障服務器的任務爲系統提供服務,以此保證了計算、數據庫和存儲的安全性。
 
Nebula中分布式計算的安全性主要體現在對計算節點的監控和對故障節點任務的重新分配,同時提高系統的計算效率,自動負載均衡。Nebula采用非關系向數據庫Mongodb管理核心業務數據,增強了數據庫的安全性。存儲方面使用了分布式對象存儲保證了存儲的安全性。整個系統中業務數據安全化,用戶無需再爲數據擔憂。
 
-系統擴展便捷化
 
随着媒體数据的迅速增长,传统架构的系统复杂性、扩展成本高、难以应对突发性信息增长等缺陷使系统扩展陷入困境。Nebula横向扩展的便捷性体现在数据扩展和业务扩展上。
 
數據層,Nebula通過Mongodb和分布式系統的分片機制實現其橫向擴展。Mongodb的分片機制運行在每一個Collection的底層,當負載不均衡時,會自動啓用分片機制,可以通過添加分片的方式實現系統擴展,新增時分片機制自動啓用,將周圍分片的數據分配在新的分片中,不需要動用所有的服務器重新劃分所有的數據,方便快捷。分布式對象存儲的擴展性分爲對象存儲設備的擴展和一致性Hash計算的擴展。文件系統將文件分片形成對象,每個對象爲一個數據塊,分散地保存在不同的服務器節點,對象存儲設備可以通過添加節點的方式擴展。一致性Hash算法去中心化的思想使得計算節點的添加變得容易,對其他節點不造成影響,無需統一的分配,添加的節點按照一致性Hash的算法工作。
 
業務層,Nebula主要采用了Docker技術,將系統中所需的複雜的環境封裝在Docker中,以規範化接口的形式提供給用戶,降低了環境依賴,爲用戶和測試人員提供便利,更方便系統業務的擴展。
 
-數據挖掘智能化
 
Nebula是一个以数据为核心面向业务的基于数据融合及媒體應用特性的PaaS平台,除了能为业务系统提供更稳定、更安全的内容、存储的服务外,还能提供数据分析与挖掘的服务。Nebula采用了多种数据挖掘的方法精准定位用户关心的业务问题,并以热力图、统计曲线、标签云等方式可视化展现,直观反映用户关心的业务数据,智能化地为用户提供服务。