搭建集群的时候，hdfs的数据挂载点一定要指定到独立的目录，不要制定到/home之类的下面，因为在使用过程中很有可能导致某个挂载点满了，要是这样的话，/home可能就满了，影响linux系统的正常使用。如果多个挂载点存储空间大小相差较大，那么一般设置策略的时候最好设置按照空间，而不要用默认的轮训方式，要不容易空间小的磁盘先满。impala在使用过程中要注意建表的时候指定路径不要指定到根目录
原创
2018-06-22 13:43:45
684阅读
一、环境变量错误导致电脑无法进入图形化界面，只能使用命令行ctrl+alt+f6，并且几乎所有命令无法使用该中情况可以解决（ubuntu），因为少
原创
2023-05-31 00:02:25
66阅读
你好呀，我是歪歪。前几天和一个大佬聊天的时候他说自己最近在做线程池的监控，刚刚把动态调整的功能开发完成。想起
转载
2021-12-29 11:14:38
324阅读
05年毕业，到今年12年了，对一个人的工作经验来说，不长不短。一直想写个十年总结，但迟迟没有动笔，受某偶像刺激，好好整理一下日常的点滴，写下这篇狗尾续貂之作。愿我走过的弯路不会有人再走，愿我的翅膀能帮助别人飞过和我一样飞过的高山。
原创
2021-07-28 17:07:30
86阅读
2018年的数博会，让更多的人看到了大数据的发展前景，当然，也看到了未来的发展趋势。大数据现处于高爆发的时期，人才需求紧张，专业大数据人才企业往往高薪难聘。所以大数据领域的求学者也颇为众多，那么对于0基础的小白而言，快速入门大数据究竟是先学python还是java呢?其实想要搞清楚先学python还是java，我们不妨先来了解二者的区别。首先：先来简单了解一下pythonPython语法简洁清晰，
转载
2022-03-15 14:03:59
1063阅读
一、背景mysql 表中已有 4 亿数据，为提高查询效率，需创建分区，一开始计划是创建 HASH 分区，结果报错：ERROR 1659 (HY000): Field 'partno' is of a not allowed type for this type of partitioning1 查询
转载
2019-11-21 08:52:00
258阅读
2评论
大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大数据领域中的脏活累活，很多时候数据治理厂商做了很多工作，客户却认为没有看到什么成果。大部分数据治理咨询项目都能交上一份让客户
原创
2019-07-25 10:31:42
1144阅读
这个小系列更新到第七篇，还剩一篇就结束。继续利用吃饭前这会儿码字，另外不敢写多了，洗稿的太可怕了，都是给他们添砖加瓦了。 另外有读者朋友留言问了些问题，我抽出时间写成小文章发出来。知识星球已经建好了，等一些其它物料具备了再开放， 目前只是熟悉的仅限十几个好友在里面。ps 最近研究了二次元AI 作画的本地部署， NovelAI 标准tag 还是可以，手工图、AI作图很多图片放到一起，熟悉
原创
2022-12-27 11:09:25
86阅读
JAVA技术交流QQ群：170933152 相对补集：A={1，2，3，4，5} B={1，2，3，10}差集：B-A={10}，即把B中属于A的元素去掉。补集：因为B不包含于A，所以不能求补。如果B={1，2，3}那么：B关于A的补为{4，5}，B-A=空集差集：一般地，记A和B是两个集合，则所有属于A且不属于B的元素构成的集合,叫做集合A和集合B的差集。补集一般指绝对...
原创
2022-03-25 17:28:17
48阅读
围观数据产品经理，绝大数的都要在面向需求做设计与面向领导做设计做出自己的选择。
原创
2022-12-27 10:46:59
59阅读
JAVA技术交流QQ群：170933152 相对补集：A={1，2，3，4，5} B={1，2，3，10}差集：B-A={10}，即把B中属于A的元素去掉。补集：因为B不包含于A，所以不能求补。如果B={1，2，3}那么：B关于A的补为{4，5}，B-A=空集差集：一般地，记A和B是两个集合，则所有属于A且不属于B的元素构成的集合,叫做集合A和集合B的差集。补集一般指绝对...
原创
2021-07-18 08:40:36
151阅读
有赞技术 有赞coder作者：顺风车部门：数据中台一、介绍数据资产治理（详情见：数据资产，赞之治理）的前提要有数据。它要求数据类型全、量大，并尽可能多地覆盖数据流转的各个环节。元数据采集就变得尤其重要，它是数据资产治理的核心底座。在早期的采集系统，我们主要面向数仓，通过“API直连方式”采集Hive/Mysql表的元数据。随着业务的快速发展，数据运营、成本治理的需求越来越强烈。元数据需要覆盖到数
原创
2021-04-30 23:17:20
409阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于sq...
转载
2021-06-10 21:53:18
448阅读
