里冲的最近发布_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费直播
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

2121

2121

原创 2018-01-22 17:53:12 601 阅读

32132

``11

原创 2018-01-22 17:52:48 491 阅读

324

232

原创 2017-12-11 20:28:41 574 阅读

我的友情链接

51CTO博客开发

原创 2017-11-22 23:11:53 197 阅读

1

其他

1

原创 2017-04-10 12:10:10 315 阅读

1

其他

1

原创 2017-04-07 14:20:10 353 阅读

区块链

区块链

转载 2017-04-07 12:57:10 631 阅读

11

其他

1

原创 2017-03-23 14:55:26 303 阅读

Spark streaming vs JStorm

大部分时候大家在选择技术方案的时候还是比较迷茫，是该选择JStorm还是Spark Streaming？一般会流于一些并不重要问题的讨论，最后做出目光非常短浅的选择，几个月之后再改变技术方案。造成严重的开发量的浪费，甚至拖延关键产品的上线，或者上线后问题层出不穷，不断和业务方妥协谈判。所以，明确这两个最主流的流计算框架的应用场景至关重要，下面我说下经验之谈，避免更多的人走弯路。Spark Stre

Spark streaming JSto

转载 2017-02-26 11:35:59 1338 阅读

基于Netty的RPC框架

其他

1

原创 2017-02-17 23:44:28 614 阅读

Jetty内嵌式HttpServer

其他

jetty

原创 2017-02-17 23:44:01 856 阅读

如何处理高并发业务场景

要具备高并发的经验确实需要有实际项目,因为业务逻辑其实很容易理清,但是要在高并发的情况下如何找到业务繁忙的热点并进行优化,完全只能凭经验.假如没有靠谱的公司,接触不到高并发的业务场景怎么办?从处理技巧上,可以通过大牛学习高并发的架构,比如张宴:张宴的博客 - Web系统架构与底层研发.至少你可以知道处理高并发的业务逻辑是:前端:异步请求+资源静态化+cdn后端:请求队列+轮询分发+负载均衡+共享缓

高并发

转载 2017-01-18 16:48:52 3606 阅读

Spark项目故障总结

1.OOM问题，reduce端的缓冲大小，太大的话，吃撑了，一下过来很多数据，容易OOM，默认48，可以改小哦。spark.reducer.maxSizeInFlight，48---》242.JVM-GC导致的shuffle文件拉取失败，shuffle file not foundspark.shuffle.io.maxRetries 3 第一个参数，意思就是说，shuffle文件拉取的时候，如果

spark

原创 2017-01-08 14:56:36 1842 阅读

spark 应用程序性能优化经验

一常规性能调优1 . 分配更多资源--num-executors 3 \ 配置executor的数量--driver-memory 100m \ 配置driver的内存（影响不大）--executor-memory 100m \ 配置每个executor的内存大小--executor-cores 3 \ 配置每个executor的cpu

spark

转载 2017-01-05 13:39:15 7862 阅读 1收藏

Spark Shuffle

1. Shuffle相关当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。概念上shuffle就是一个沟通数据连接（map和reduce）的桥梁。每个ReduceTask从每个Map Task产生数的据中读取

spark

转载 2017-01-04 23:10:13 830 阅读 1点赞