|
搜索
搜 索
高等教育領域數字化綜合服務平臺
基于Hadoop云計算平臺的海量數據挖掘研究與應用
本研究低成本搭建了彈性可擴展的Hadoop云計算平臺
中山大學
2021-04-10
一種基于帶寬感知的 Hadoop 調度方法和系統
本發明公開了一種基于帶寬感知的 Hadoop 調度方法，包括：對Hadoop 任務調度建立一個作業時間完成模型，為 Hadoop 調度系統建立一個數學模型，將 Hadoop 的任務調度問題轉化為一個為待調度的作業尋找一個使得該作業的作業完成時間最短的任務調度方法的問題；利用 SDN 提供的實時網絡管理與流量控制功能，提出了一種基于時隙的網絡帶寬分配機制，將每一條鏈路的剩余帶寬的占用期劃分為相等的時隙，在作業完成時間模型和網絡時隙帶寬分配機制的基礎之上；在為某個任務分配計算節點之前，綜合考慮任務的本地性與實時網絡帶寬情況，為每一個任務分配一個能夠提供最早完成時間的計算節點。本發明解決了現有方法中不能同時從全局視角和實際網絡可用帶寬兩方面進行任務調度的問題。
華中科技大學
2021-04-11
一種基于Hadoop的海量矢量數據劃分方法及系統
本發明涉及一種基于Hadoop的海量矢量數據劃分方法及系統。該方法包括：基于Hilbert空間填充曲線對空間數據集中的空間要素進行空間編碼；通過Map函數和Reduce函數實現空間要素的鍵值化，并生成空間數據樣本信息集；根據所述空間數據樣本信息集生成空間數據劃分矩陣；根據所述空間數據劃分矩陣將各個空間要素劃分入對應的存儲數據塊中，同時將相鄰數據塊分發至同一集群節點上。本發明系統將Hilbert空間填充曲線引入到數據抽樣和劃分規則中，充分考慮空間數據相鄰對象的空間位置關系、空間對象的自身大小以及相同編碼塊的空間對象個數等影響要素，不僅保證了樣本信息集的空間分布特征，提高了海量矢量數據的空間索引效率；同時也保證了基于HDFS數據塊存儲的負載均衡。
中國農業大學
2021-04-11
一種基于 Hadoop 多作業環境下的資源調度方法
本發明公開了一種基于 Hadoop 多作業環境下的資源調度方法， 包括：(1)實時采集集群負載、Hadoop 平臺以及硬件三方監控信息，(2) 實時采集集群各計算節點上用戶的作業執行監控信息，(3)匯總集群三 方監控數據，建模評估節點的計算能力，并將集群節點劃分為優勢計 算節點和劣勢計算節點，(4)若節點為優勢計算節點，則啟動基于相似 度評估的作業任務資源需求配置策略，(5)若節點為劣勢計算節點，則 還原為 Yarn
華中科技大學
2021-04-14