1. 简介UnsafeRow是InternalRow的子类，它表示一个可变的基于原始内存(raw-memory)的二进制行格式，简单来说UnsafeRow代表一行记录，用于替代java对象（属于Tungsten计划的一部分，可以减少内存使用以及GC开销） InternalRow：spark sql内部使用的表示行的抽象类，对应表示输出的行有org.apache.spark.sql.Row/Gene
转载
2023-10-14 16:16:26
51阅读
简介Velox作为计算引擎，可以被Presto、Spark嵌入使用，Velox内部在Operator数据传递中使用的数据结构是列式结构RowVector，而Presto和Spark在计算节点之间也有对应的数据结构SerializedPage和UnsafeRow。在Presto、Spark使用Velox计算引擎的过程中需要处理两种数据格式的转换。对于这种情况Velox提供了VectorSerde接口
原创
2023-11-29 16:53:16
178阅读
