这次改的是用jupyterlab跑sparkonk8sjupyterlab本身是跑在k8s里面的，然后甲方因为无论开多大内存，无论用vaex还是pandas都会内存溢出，所以打算用sparkonk8s方式跑，认为这样就不会溢出了，当然，实际上还是会溢出的。如何搭建sparkonk8s就不说了，官网就有教程。只说一下改造思路。这里有两个难点，一个是sparkkernel的创建，因为有人用spark，
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
