最近公司要开发一个spark项目，学习下spark使用，由于公司原因必须使用java，以下代码全部基于java实现。spark基础基于内存实现，效率高于hadoop，内存不足的时候也会将中间结果写入磁盘，效率会降低。操作容易，hadoop只提供了map和reduce两个操作，对于某些复杂任务，会写很多map和reduce，操作非常复杂，而且由于map阶段完全完成后才会进行reduce，效率会降低。
转载
2023-12-13 23:59:46
30阅读
寻路模块本身的实现是没有持久状态的，场景地图的障碍信息是独立出去的静态不变数据，全局共享，这是合理的设计。但是一个无状态的 pathfinding 对象却被实例化了很多份，供不同的服务独立使用。一开始，我很奇怪，一个无状态的寻路函数，为什么需要保存一个全局对象。读了代码后发现，寻路算法的初始化过程需要初始化一大块内存。具体说来，是一个大约 200x200x16 的三维数组，每个单元大约有 16 字
转载
2024-09-30 22:55:19
29阅读
如果能够理解 R 函数的运行机制，那么对 R 的运行机制就能够掌握十之八九。通过前几章的学习，我们掌握了一些最常用的基本函数的用法，但是可能对其内部机制仍有疑惑。比如创建如下的函数：test0 <- function(x, y) {if (x > 0) x else y}这个函数有点特殊，看似只有当
原创
2019-02-11 10:07:00
82阅读
问题 将一个只读的属性定义为property属性方法，只有在访问它时才参与计算。 但是，一旦访问了该属性，我们希望把计算的
原创
2023-12-12 14:29:15
62阅读
前言 Python与Golang中的“惰性求值”主要出现在闭包中。 本文主要通过几个简单案例介绍一下Python中闭包的惰性求值与Golang中闭包与Goroutine的惰性求值机制与理解。Python中闭包的惰性求值简单的案例 先来看一个使用Python实现闭包惰性求值的简单案例：def outer():
x = 1
def inner():
print(
转载
2024-01-11 22:29:25
74阅读
最近在学scala的时候，函数传参可以是传名参数，或者传值参数 1.Scala中的传名参数是什么意思？lazy关键字有什么作用？ Scala官方文档的定义是：传名参数 仅在被使用时触发实际参数的求值运算。 它们与 传值参数 正好相反。 要将一个参数变为传名参数，只需在它的类型前加上 ⇒。 def c ...
转载
2021-08-18 15:59:00
190阅读
2评论
本文介绍了 python 的生成器，构造一些有趣的惰性计算程序，可以作为 python 函数式的基础。1. iterator and generator 众所周知，python3 里面的 range 返回是一个对象而不是列表，它的前身是 python 2 的 xrange。python 2 里面的 range 会生成一个列表，当这个列表很大时，会有严重的性能问题:for x in range(0,
转载
2024-01-11 13:07:23
67阅读
惰性求值（Lazy Evaluation）是一种编程语言的特性，它在需要运算结果时才会进行计算，而不是在定义时就立即计算。这种
原创
2024-04-17 11:25:25
42阅读
起步我们希望将一个只读的属性定义为 property 属性方法，只有在访问它时才进行计算，但是，又希望把计算出的值缓存起来，不要每次访问它时都重新计算。解决方案定义一个惰性属性最有效的方法就是利用描述符类来完成它，示例如下:class lazyproperty:
def __init__(self, fun):
self.fun = fun
def __get__(self, instance,
转载
2023-12-01 09:58:55
55阅读
1.简述Spark的技术特点 基于内存的弹性分布式数据集（RDD）：Spark提出的弹性分布式数据集，是Spark最核心的分布式数据抽象，Spark的很多特性都和RDD密不可分。 Transformation & Action：Spark通过RDD的两种不同类型的运算实现了惰性计算，即在RDD的Transformation运算时，Spark并没有进行作业的提交；而在RDD的Action操作
转载
2024-01-14 18:10:29
86阅读
惰性求值的本质是计算保存、计算构建和计算触发机制实现。 MASConstraint的实现是其典型案例。（本结论为错）。 [self.userIcon mas_makeConstraints:^(MASConstraintMaker *make) { make.left.mas_equalTo(15)
转载
2018-03-27 19:34:00
58阅读
2评论
董付国老师Python系列教材推荐与选用参考开学第一课：一定不要这样问老师Python问题3000道Python习题免费在..
转载
2024-03-10 11:44:27
52阅读
一.基本概念《一》.函数式编程：1.什么是函数式编程？1) 是面向过程的编程方式；整个程序是以函数为基本单元； 2) 纯粹的函数式编程语言编写的函数没有变量； 3) 函数式编程特点:函数可以作为变量和返回值进行使用； 4) 一个函数如果接另外一个函数作为参数传入，那么这个函数就称为高阶函数；示例: >> def myadd(x,y,f) &nb
转载
2024-07-11 10:37:56
29阅读
背景：惰性求值？来看一个lazy.js主页提供的示例：varpeople=getBigArrayOfPeople();varresults=_.chain(people).pluck('lastName').filter(function(name){returnname.startsWith('Smith');}).take(5).value();上例中，要在非常非常多的人里面，找出5个以Smi
原创
2021-01-10 18:58:45
283阅读
如果在一个连续的逻辑操作中，操作结果在最后一个操作完成之前就已经明确了的话，那么该操作往往就不必再继续执行了，因为这已经不会对最终结果产生任何影响。 定义如果在一个连续的逻辑操作中，操作结果在最后一个操作完成之前就已经明确了的话，那么该操作往往就不必再继续执行了，因为这已经不会对最终结果产生任何影响 ...
转载
2021-07-19 14:49:00
180阅读
2评论
惰性求值惰性求值（Lazy evaluation）是在需要时才进行求值的计算方式。表达式不在它被绑定到变量之后就立即求值，而是在该值被取用的时候求值。除可以得到性能的提升（更小的内存占用）外，惰性计算的最重要的好处是它可以构造一个无限的数据类型。yield的概念yield的功能类似于return，但是不同之处在于它返回的是生成器。生成器生成器是通过一个或多个yield表达式构成的函数，每一个生成器
举个例子，比如我们的web服务器应用，我们可能会写一个类似拦截器一样的模块来提前把一些公共参数抽取出来，比如像toke的contr...
原创
2022-11-11 12:24:28
201阅读
解答前篇有掘友提出的疑惑，惰性求值是否能很好的连接“闭包”和“异步”这 JS 两大问题呢？目前看，还是很值得期待~
原创
2022-01-16 11:16:58
432阅读
Java 中惰性求值的潜能，完全被忽视了（在语言层面上，它仅被用来实现 短路求值 ）。更先进的语言，如 Scala，区分了传值调用与传名调用，或者引入了 lazy 这样的关键字。尽管 Java 8 通过延迟队列的实现（java.util.stream.Stream）在惰性求值的方面有些改进，但是我们会先跳过 Stream，而把重点放在如何使用 lambda 表达式实现一个轻量级的惰性求值。基于 l
原创
2021-05-30 11:10:56
718阅读
Java Supplier是一个功能接口，代表结果的提供者。Supplier的功能方法是get()。一个Supplier可以通过lambda表达式、方法引用或默认构造函数来实例化。Supplier在Java 8中被引入，属于java.util.function包。Supplier功能接口的源代码如下。@FunctionalInterface
public interface Supplier<
转载
2023-06-25 21:09:47
113阅读
