2019/2/20 星期三此笔记参考2017年 优化与2019/2/20 星期三Hive的设计思想和技术架构Hive的基础Hive是一种数据仓库工具，他的功能是讲SQL语法表达的数据运算逻辑转换为mapreduce程序在hadoop集群上对海量数据进行分析 //Hive创建索引hive的设计思想库：sql语法表达成MapReduce的jar库因为，sql语法相对是一个规则的东西，我们把sql语法用
HIve数仓新零售项目注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，Python Java Scala SQL 代码，CV NLP 推荐系统等，Spark Flink Kafka Hbase Hive Flume等等~写的都是纯干货，各种顶会的论文解读，一起进步。 今天继续和大家分享一下HIve数仓新零售项目 #博学谷IT学习技术支持 文章
转载
2023-09-15 20:48:42
109阅读
1. 优设哥其实在最早做设计的时候，就是设计银行的客户关系管理系统以及电商网站的后台管理界面。 做那种界面的时候，和设计网页的感觉不一样。因为得考虑的不只是美观，更多应该在操作体验及视觉舒适度上下足功夫。 这种界面会成为管理员长时间驻留的地方，会有很多数据表格。如果我们的配色太鲜艳或者太暗沉，都会让
转载
2016-12-18 08:38:00
166阅读
2评论
动静态分区的区别动静态分区建表是一样的 #静态分区SP(static partition) 1.静态分区是手动指定的，会根据自己的设定在大文件下面创建对应的子文件夹数量 添加语句:alter table mydemo.customer add partition(year='1999') partition(year='2000')这个表示添加两个分区，也就是创建两个子文件夹。 2.静态分区的分区
看到这篇文章感觉，不错。现在自己总结下，如下图所示：01. 设计并不只有视觉 用户为何要使用这款应用、这款网页?怎样用?这是设计要去解决的现实问题，网站的加载速度如何?这也是设计要解决的问题。 点击、触控、悬停的效果如何?这还是设计要解决的问题，不仅仅是视觉，很多细节上的整体体验都需要设计去规划。 02. 以用户为中心设计师不是独裁者，不应该”统治”用户体验，而是应该根据用户的具体情况，让设计
HDFS是用户空间文件系统，不像ext3文件系统需要挂载，只用应用程序显式地编译它即可集群中的各个主机只存储文件系统的一个数据子集，当需要存储更多数据块时，只需要添加更多挂载了多个物理磁盘的主机即可实现。文件系统的元数据存储在中央服务器中，提供数据块的目录结构，并维护整个文件系统的全局状态HDFS数据块默认大小为64MB，远高于传统文件系统的数据块大小(4KB或8KB)，提升了大型数据流I/O操作
原创
2015-07-10 13:13:39
1089阅读
RestrictedPython 设计理念 Python 是一种图灵完备的编程语言。在 Web 上下文中为用户提供 Python 接口是一种潜在的安全风险。Web 框架和内容管理系统 (CMS) 希望通过 Web (TTW) 为其用户提供尽可能多的可扩展性，这也意味着用户有权通过 Python 脚本 ...
转载
2021-07-19 20:13:00
604阅读
2评论
整体来看，Yolo算法采用一个单独的CNN模型实现end-to-end的目标检测，首先将输入图片resize到448x448，然后送入CNN网络，最后处理网络预测结果得到检测的目标。其速度更快，而且
原创
2022-12-10 11:14:43
156阅读
设计理念本文档解释了 Django 开发人员在开发 Django 时使用的一些基本哲学， 它的目标是解释过去并指导未来。总体松耦合Django 栈的基本目标是 低耦合高内聚。框架里的不同层（Layers）不应该知道对方的代码，除非它们确实需要。例如，模板系统不需要知道用户的 Web 请求，数据库层不需要了解如果显示数据，而视图并不关心程序员所使用的模板系统。尽管为了方便 Django 带有一个完整的堆栈，但堆栈的各个部分尽可能独立于另一个堆栈。更少的代码Django 应用的代码应该尽可能地精
原创
2021-08-10 10:19:20
152阅读
# -*- coding: utf-8 -*-#python 27#xiaodeng#Python学习手册 640#模块设计理念#如同函数，模块也有设计方面的折中考量，需要思考哪些函数要放进模块，模块通信机制等#模块设计理念：#总是在python的模块内编写代码。#模块耦合要降到最低：全局变量 ...
转载
2015-10-30 09:11:00
125阅读
2评论
目录文章目录目录声明式 API无侵入性可移植性OperatorOperator 的实现原理StatefulSet 与 Operator 的区别声明式 API声明式（Declarative）的编程方式一直都会被工程师们拿来与命令式（Imperative）进行对比，前者是 “面向结果的”，后者是 “面向过程的”。通常，我们接触的都是命令式编程，它要求我们描述为了达到某一个效果或者目标所需要完成的指令，常见的编程语言 Go、Ruby、C++ 其实都为开发者了命令式的编程方法。而 SQL 则是种常见的声明
原创
2021-07-14 13:42:32
435阅读
设计理念本文档解释了 Django 开发人员在开发 Django 时使用的一些基本哲学， 它的目标是解释过去并指导未来。总体松耦合Django 栈的基本目标是 低耦合高内聚。框架里的不同层（Layers）不应该知道对方的代码，除非它们确实需要。例如，模板系统不需要知道用户的 Web 请求，数据库层不需要了解如果显示数据，而视图并不关心程序员所使用的模板系统。尽管为了方便 Django 带有一个完整的堆栈，但堆栈的各个部分尽可能独立于另一个堆栈。更少的代码Django 应用的代码应该尽可能地精
原创
2022-03-02 13:32:54
236阅读
From: https://liudongdong1.github.io/ 微服务架构，在集中式架构中，系统分析、设计和开发往往是独立进行的，而且各个阶段负责人可能不一样，那么就涉及到交流信息丢失的问题， 另外项目从分析到开发经历的流程很长，很容易最终开发设计与需求实现的不一样，微服务主要就是解决第 ...
转载
2021-08-09 10:52:00
500阅读
2评论
第1章 需求分析和实现思路
1.1 实时数仓分层
在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。1.2 每层职能
分层数据描述生成计算工具存储媒介ODS
# 旅行图与动态规划
在计算机科学领域，旅行图是一种重要的数据结构，用于表示一系列的旅行点以及它们之间的距离。旅行图被广泛应用于旅行商问题（TSP）等相关领域。本文将介绍旅行图的基本概念和应用，并通过动态规划方法解决旅行商问题。
## 旅行图的定义与表示
旅行图由一组旅行点和它们之间的距离组成。在计算机中，我们可以使用矩阵或者邻接表来表示旅行图。下面是一个旅行图的示例，其中包含5个旅行点（A
TensorFlow 的设计理念主要体现在以下两个方面。 （1）将图的定义和图的运行完全分开 我们知道，编程模
转载
2022-11-17 00:00:57
108阅读
# Java系统设计理念实现指南
作为一名经验丰富的开发者，我将为刚入行的小白介绍如何实现"Java 系统设计理念"。在本文中，我将向你展示整个过程的流程，并提供每个步骤的代码示例和注释。
## 过程流程
下面是实现"Java 系统设计理念"的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 确定系统需求 |
| 2 | 设计系统架构 |
| 3 | 编写业务逻辑
原创
2023-09-13 15:18:18
48阅读
Docker的思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。用...
原创
2022-03-15 16:38:11
155阅读
关键词：Spring,设计,组件,Context,Co
原创
2023-07-21 22:25:26
31阅读
一定记住业务关联1，实体，属性。2、主键，索引。2、关系。3实体关系：根据业务确定实体间的静态关系，根据关系设计关联属性或关联表，例如：多对一经常在多的一方设计属性字段3、规则，4、过程，数据模型设计步骤1实体范围：把系统所有重要的实体罗列出来2实体主键：给实体确定主键4查询属性：根据查询业务的查询字段，设计相关字段，并根据数据量及分布情况设计索引5展示属性：根据业务需要，确定需要展示的属性，设计
原创
2020-12-29 21:39:31
310阅读
