前言:如果实时展现热门文章,比如近8小时点击量最大的文章前100名。如果是你来开发这个功能,你怎么做?

1、TopN排行榜问题描述:

在系统中,我们经常会遇到这样的需求:将大量(比如几十万、甚至上百万)的对象进行排序,然后只需要取出最Top的前N名作为排行榜的数据,这即是一个TopN算法。常见的解决方案有三种:

(1)直接使用List的Sort方法进行处理。

(2)使用排序二叉树进行排序,然后取出前N名。

(3)使用最大堆排序,然后取出前N名。

 第一种方案的性能是最差的,后两种方案性能会好一些,但是还是不能满足我们的需求。最主要的原因在于使用二叉树和最大堆排序时,都是对所有的对象进行排序,而不是将代价花费在我们需要的少数的TopN上。对于堆结构来说,并不需要你获取所有的数据,只需要对前N个数据进行处理。因此可以通过堆的进入排出,用小顶堆实现,调整最小堆的时间复杂度为O(logN),总时间复杂度为O(nlogN)。

2、TopN算法思想

有大量数据n个,要求取出这组数据中最大的K个值。对于这个问题,解法有很多如排序,不过效率最高的要数最小堆。

  1. 取出数组的前n个元素,创建长度为n的最小堆。
  2. 从n开始循环数组的剩余元素,如果元素(a)比最小堆的根节点大,将a设置成最小堆的根节点,并让堆保持最小堆的特性。
  3. 循环完成后,最小堆中的所有元素就是需要找的最大的n个元素。

3、Java代码实现

1)首先是小根堆初始化的内部类

class MinHeap
{
    public int[] data; // 堆的存储结构 - 数组
    private int n;  // 数组heap的容量
	    
    // 将一个数组传入构造方法,并转换成一个小根堆
    public MinHeap(int[] data)
   {
	   this.data = data;
	   n = data.length;
	   buildHeap();
   }

   private void buildHeap() 
   {
    // 完全二叉树只有数组下标小于或等于 (data.length) / 2 - 1 的元素有孩子结点,遍历这些结点。
	for(int i = (n/2-1);i>=0;i--)
	    heapify(i);
   }
		
  private void swap(int[] nums,int i,int j)
  {
	 int temp = nums[i];
	 nums[i] = nums[j];
	 nums[j] = temp;
  }

  private void heapify(int parentIndex) 
  { // 自上往下堆化

	int temp = data[parentIndex];
	int childIndex = 2* parentIndex + 1;
	while (childIndex < n) 
	{
	        if(childIndex+1< n && data[childIndex+1] < data[childIndex])
	               childIndex ++;
	        if(temp<=data[childIndex])
	               break;
	        data[parentIndex] = data[childIndex];
	        parentIndex = childIndex;
	        childIndex = 2 * parentIndex + 1;
        }

	 data[parentIndex] = temp;
  }
}

2)TopN方法

public class TonN
{

   class MinHeap{...};

   public static void main(String[] args)
   {
	        // 源数据
	        int[] data = {56,275,12,6,45,478,41,1236,456,12,546,45};
	 
	        // 获取Top5
	        int[] top5 = new TopN20().topK(data, 5);
	 
	        for(int i=0;i<5;i++)
	        {
	            System.out.println(top5[i]);
	        }
   }
 
   // 从data数组中获取最大的N个数
   private  int[] topK(int[] data,int k)
   {
	   // 先取K个元素放入一个数组topN中
	   int[] topN = new int[k];
	   for(int i = 0;i< k;i++)
	   {
	       topN[i] = data[i];
	   }
	 
	   // 转换成最小堆
	   MinHeap heap = new MinHeap(topN);
	 
	  // 从k开始,遍历data
	  for(int i= k;i<data.length;i++)
	   {
	       //如果第i个数字小于堆顶,则继续循环,否则将其替换为堆顶元素,然后进行向下调整
	       int root = data[0];
	 
	       // 当数据大于堆中最小的数(根节点)时,替换堆中的根节点,再转换成堆
	       if(data[i] > root)
	       {
	            heap.data[0] = data[i];
	            heap.heapify(0);
	       }
	   }
	 
       return topN;
   }


}

输出结果:

TopHitsAggregationBuilder排序_最小堆