昨天花两小时帮可口可乐的dmp集群排查了一个集群故障.故障表象为块的复制很慢, 导致集群报超时错误, 大量机器报超时错误. 还有一批机器报Slow BlockReceiver write packet to mirror 的WARN首先按常规排查处理, 检查机器操作系统环境, 各种tcp参数已优化, 各种limit也已经优化.然后检查硬件用 hdparm 测试了几个服务器的几块硬盘读写速
本次记录一下限制用户spark8s进程数量的方法, 我们的jupyterlab是跑在pod里面的, sparkui是通过自定义jupyterlab url的方式来映射出来, 而lab url只有一个, 所以每次只能允许用户开启一个pyspark8s的notebook, 但使用过程中发现, 用户可以开好几个spark8s kernel的notebook, 其实使用是没什么问题的, 只是后面几个开的s
今天记录一下如何开发jupyter自定义magic,就是jupyter里面%%或者!这样用来标识解释器环境的东西.以下代码以访问greenplum数据库为例.importpsycopg2importpsycopg2.extrasfromconfigparserimportConfigParserimportpandasaspdfromIPython.core.magicimport(cell_ma
因为甲方的“数据科学家”经常执行一些危险代码或命令而不自知, 而lab本身又不记录用户的操作记录, 导致一些数据被删除了缺找不到人背锅, 所以我们必须给jupyter加上code和terminal执行的日志, 以防甲方甩锅. 也是不得已而为之. 我们给甲方“数据科学家”用的jupyterlab是放在k8s pod里面的, 算是个云平台吧. 以后有时间再说说我们这个私有数据云的架构设计.现在在搞大老
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
