给一个超过100G大小的log file,log中存着IP地址 ，设计算法找到出现次数最多的IP地址？答：首先看到100G的日志文件，我们的第一反应肯定是太大了，根本加载不到内存，更别说设计算法了，那么怎么办呢？既然装不下，我们是不是可以将其切分开来，一小部分一小部分轮流进入内存呢，答案当然是肯定的。在这里要记住一点：但凡是大数据的问题，都可通过切分来解决它。粗略算一下：如果我们将其分成1000个
一、大数据技术的发展的三个阶段01存起来-等待机遇 2009年开始BAT大力发展Hadoop技术，这个期间主要解决海量数据的存储与简单分析问题。 既然大数据有价值，那么就先将数据存起来。要发挥数据的价值，我们先要有数据。网站浏览点击行为日志存储每个人都有潜在的
在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。Test and training error为什么低训练误差并不总是一件好的事情呢：上图以模型复杂度为变量的测试及训练错误函数。Under and overfitting低度拟合或者过度拟合的例子。上图多项式曲线有各种各样的命令M，以红色曲线表示，由绿色曲线适应数据集后生成。Occam’s raz
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
