前言:如果实时展现热门文章,比如近8小时点击量最大的文章前100名。如果是你来开发这个功能,你怎么做?
1、TopN排行榜问题描述:
在系统中,我们经常会遇到这样的需求:将大量(比如几十万、甚至上百万)的对象进行排序,然后只需要取出最Top的前N名作为排行榜的数据,这即是一个TopN算法。常见的解决方案有三种:
(1)直接使用List的Sort方法进行处理。
(2)使用排序二叉树进行排序,然后取出前N名。
(3)使用最大堆排序,然后取出前N名。
第一种方案的性能是最差的,后两种方案性能会好一些,但是还是不能满足我们的需求。最主要的原因在于使用二叉树和最大堆排序时,都是对所有的对象进行排序,而不是将代价花费在我们需要的少数的TopN上。对于堆结构来说,并不需要你获取所有的数据,只需要对前N个数据进行处理。因此可以通过堆的进入排出,用小顶堆实现,调整最小堆的时间复杂度为O(logN),总时间复杂度为O(nlogN)。
2、TopN算法思想
有大量数据n个,要求取出这组数据中最大的K个值。对于这个问题,解法有很多如排序,不过效率最高的要数最小堆。
- 取出数组的前n个元素,创建长度为n的最小堆。
- 从n开始循环数组的剩余元素,如果元素(a)比最小堆的根节点大,将a设置成最小堆的根节点,并让堆保持最小堆的特性。
- 循环完成后,最小堆中的所有元素就是需要找的最大的n个元素。
3、Java代码实现
1)首先是小根堆初始化的内部类
class MinHeap
{
public int[] data; // 堆的存储结构 - 数组
private int n; // 数组heap的容量
// 将一个数组传入构造方法,并转换成一个小根堆
public MinHeap(int[] data)
{
this.data = data;
n = data.length;
buildHeap();
}
private void buildHeap()
{
// 完全二叉树只有数组下标小于或等于 (data.length) / 2 - 1 的元素有孩子结点,遍历这些结点。
for(int i = (n/2-1);i>=0;i--)
heapify(i);
}
private void swap(int[] nums,int i,int j)
{
int temp = nums[i];
nums[i] = nums[j];
nums[j] = temp;
}
private void heapify(int parentIndex)
{ // 自上往下堆化
int temp = data[parentIndex];
int childIndex = 2* parentIndex + 1;
while (childIndex < n)
{
if(childIndex+1< n && data[childIndex+1] < data[childIndex])
childIndex ++;
if(temp<=data[childIndex])
break;
data[parentIndex] = data[childIndex];
parentIndex = childIndex;
childIndex = 2 * parentIndex + 1;
}
data[parentIndex] = temp;
}
}
2)TopN方法
public class TonN
{
class MinHeap{...};
public static void main(String[] args)
{
// 源数据
int[] data = {56,275,12,6,45,478,41,1236,456,12,546,45};
// 获取Top5
int[] top5 = new TopN20().topK(data, 5);
for(int i=0;i<5;i++)
{
System.out.println(top5[i]);
}
}
// 从data数组中获取最大的N个数
private int[] topK(int[] data,int k)
{
// 先取K个元素放入一个数组topN中
int[] topN = new int[k];
for(int i = 0;i< k;i++)
{
topN[i] = data[i];
}
// 转换成最小堆
MinHeap heap = new MinHeap(topN);
// 从k开始,遍历data
for(int i= k;i<data.length;i++)
{
//如果第i个数字小于堆顶,则继续循环,否则将其替换为堆顶元素,然后进行向下调整
int root = data[0];
// 当数据大于堆中最小的数(根节点)时,替换堆中的根节点,再转换成堆
if(data[i] > root)
{
heap.data[0] = data[i];
heap.heapify(0);
}
}
return topN;
}
}
输出结果: