Cluster [ˈklʌstər] 集群;
通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
broker [ˈbroʊkər] 安排,协商 vt 经纪人 n.
分布式架构 Broker
Broker — 类似于消息的转发器,负责控制和管理集群,Server 启动时向 Broker 注册,从而 Broker 在接到 Client 的消息后可以得知要将消息转发给哪个 Server,然后在 Server 做出应答或发生异常后再将回应通知给 Client
schema[ˈskiːmə] 提要,纲要;
数据库Schema有两种含义,一种是概念上的Schema,指的是一组DDL语句集,该语句集完整地描述了数据库的结构.还有一种是物理上的Schema,指的是数据库中的一个名字空间
kafka里也有schema命名空间。
shuffle[ˈʃʌfl] 洗牌,
根据均匀分布随机分区元素。
rebalance[ri’bæləns]重新平衡
分区元素循环,每个分区创建相等的负载。 在存在数据偏斜时用于性能优化。
【shuffle与rebalance】两者都是自动完成的,所以我理解的是它们都是均匀地重新分配( shuffle() >均匀分布和rebalance() >循环)并随机地rebalance()分配数据。 然后我推断rebalance()以更好的方式分配数据(“每个分区的负载相等”),因此任务必须处理相同数量的数据,但是shuffle()可以创建更大和更小的分区。 那么,在哪种情况下你可能更喜欢使用shuffle()不是rebalance() 。我想到的唯一事情是,可能rebalance()需要一些处理时间,因此在某些情况下,它可能会花费更多时间来进行重新平衡,而不是在未来转换中改进的时间。
我一直在寻找这个,没有人谈过这个,只在Flink的邮件列表中,但他们没有解释shuffle()如何工作。
Inspector[ɪnˈspektə®] 检查员; 视察员; 巡视员;
命名时常用到的单词
Integration [ˌɪntɪˈɡreɪʃn] 集成,整合
attempting[əˈtemptɪŋ] v. 努力; 尝试; 试图;
例如:ERROR: Attempting to operate on hdfs namenode as root
错误:试图以root身份对hdfs namenode进行操作
semicolon [ˌsemiˈkəʊlən] 分号
操作数据库时报错如下:
Uncaught:
SyntaxError: Missing semicolon. (1:4)
语法错误丢失分号“;”