大数据处理策略
有时候数据不能一次性加载到内存中(因为内存不足), 一般的方法就不能用了.
这个时候的策略可以是增量学习(在线学习):小批量的数据逐渐学习, 每次只有一小部分数据是在内存中的
scikit-learn中不同任务的增量估计器列表:
分类:
sklearn.naive_bayes.MultinomialNB
sklearn.naive_bayes.BernoulliNB
sklearn.linear_model.Perceptron
sklearn.linear_model.SGDClassifier
sklearn.linear_model.PassiveAggressiveClassifier
回归:
sklearn.linear_model.SGDRegressor
sklearn.linear_model.PassiveAggressiveRegressor
聚类:
sklearn.cluster.MiniBatchKMeans
分解/特征提取:
sklearn.decomposition.MiniBatchDictionaryLearning
sklearn.decomposition.IncrementalPCA
sklearn.cluster.MiniBatchKMeans
示例
在线文本分类器
