软件测试建设原则，是一个永远说不完的话题，后续会以一个体系的形式更新。 Tynam 2021/01/08 软件测试行业经过快速的发展，至今已经沉淀了许多门类，各式的应用。如果要研发一款产品，那么测试是一项必不可少的工作。从最初的功能测试、到现在的自动化测试、性能测试、安全测试，以及近两年萌芽的大数据
原创
2021-06-04 16:57:39
228阅读
软件测试行业从2000年到2010年随着互联网信息产业的迅速掘起，经历了十年初始累积阶段。2010年后开始迅速发展，直到现在2020年，各种培训机构迅速扩张、高校课程开展、企业在软件开发中测试成为必备的一项工作。对于软件测试工作也有一套完整的体系，体系背后涌现了大量的不同版本、不同层次的设计方案，例
原创
2022-05-15 13:21:55
182阅读
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优
转载
2021-12-14 11:40:43
216阅读
金九福利！大数据人高薪跳槽指南！
转载
2021-12-14 11:51:03
182阅读
导读：腾讯作为国内体量最大的互联网公司之一，业务涵盖用户日常生活的方方面面，面对如此巨大业务数据量，如果不能对数据进行专业化处理并高效有序地存、管、用，如果不能使数据产生应有的价值，那么数据资产将会成为数据垃圾，成为社会和企业的负担。大数据平台作为腾讯底层的基础设施之一，每天必须处理千万级规模的离线数据任务及十万亿级别的实时计算，否则无法满足业务每天数以亿计的数据分析计算的需求。本文主要介绍腾讯大
转载
2023-10-04 19:53:42
951阅读
什么原则是对所有安全建设都需要的？这个原则适用于所有领域、所有行业的、所有规模的公司。提升安全建设能力的原则我认为主要有以下几个方面：关注结果，关注整体，最小化原则，发挥优势，保持乐观。
原创
2021-02-05 15:58:12
663阅读
每个行业的高管都知道数据很重要。没有它，就不可能有推动组织超越竞争对手的数字转型。没有分析来推动新的收入来源。甚至连基本的业务都做不好。但是，要为这些计划提供数据，必须是现成的、高质量的、相关的。好的数据治理确保数据具有这些属性，使其能够创造价值。问题是，今天的大多数治理程序都是无效的。这个问题通常是从高层开始的，最高层不认识数据治理的价值创造潜力。结果，它变成了一组政策和指导，归属于IT执行的支
转载
2024-08-28 12:21:50
99阅读
智慧警务系统开发解决方案，大数据可视化平台建设以警务视频大数据为核心，人工智能能效提升为驱动，基于公安机关实战业务需求，将人车识别、视频结构化结合智能研判进行多场景技战法整合应用，构建的精准灵活、智能高效、贴近实战的整体解决方案。 在架构上，拥有“感、传、管”的三大特点：感：多为感知前端，实现立体式多维度数据采集传：高效视频专网，实现数据无阻塞、低时延传输、完成视频高效调看和解析管：先进
转载
2024-01-24 17:08:46
47阅读
最近由于即将要结课，老师要求写一篇基于大数据与系统思维来探讨现代计算理论与技术发展的论文来作为最终的考核，于是在博客上发现了一篇2015年发布的文章，我感觉写的很好，具体内容如下： 开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的
转载
2023-10-10 20:13:06
76阅读
技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。 它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。 大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后
转载
2022-08-03 11:07:38
235阅读
# 大数据云平台建设标准入门
在现代科技发展的背景下，大数据的应用日渐广泛。为了有效地管理、存储和分析海量数据，越来越多的企业开始构建大数据云平台。本文将介绍大数据云平台建设的标准，并通过代码示例和图表进行说明。
## 什么是大数据云平台？
大数据云平台是一种通过云计算技术来支持数据存储和分析的综合性服务平台。它结合了大数据技术与云计算，为企业提供可扩展、高效的数据处理能力。构建这样的平台需
政务大数据平台建设方案
转载
2022-04-28 21:44:08
262阅读
# 大数据建设四层架构介绍
在当今这个信息爆炸的时代，大数据技术正日益成为各行业发展的核心驱动力。为了有效利用和管理海量数据，企业和组织通常采用“大数据建设四层架构”。本篇文章将通过对四层架构的详细讲解，结合代码示例，帮助读者更好地理解这一重要概念。
## 四层架构概述
“大数据建设四层架构”通常分为以下四个层级：
1. **数据源层**：指数据产生和收集的原始数据，包括结构化和非结构化数
大数据应用，ETL应用，数据架构
原创
精选
2014-09-29 17:06:33
4722阅读
点赞
在越来越多商城沦为“试衣间”、电器卖场沦为“产品体验店”、建材市场沦为“材料展示中心”的今天，越来越多的传统行业已经意识到他们需要变革，需要用大数据的手段来帮助他们突破重围。大数据的起源要归功于互联网、电商、电信运营商、金融等行业，由于这些行业自身的特点，在生产运营过程中能够天然获取海量的数据，他们是大数据行业的先行者。但可以断言，大数据更大的需求、有广泛的应用前景仍然在传统行业，大数据将会是传统
转载
2023-12-13 16:50:26
214阅读
大家经常听到一个词，叫做“画像”，结合具体对象就是：“用户画像”、“商品画像”、“产品画像”、“资产画像”……特别是大数据时代下，在实际企业中，利用大数据进行“画像”建设是企业经营的基础，建设企业竞争优势重要的工具之一，当然也是大数据在企业应用最价值重要的场景之一。去评价一家企业数据化运营程度，或者说数据驱动程度，或者说是否是用“数据说话”。也许尝试问下面几个问题可以进行评估：1、是否建设了“画像
原创
2021-04-16 13:40:29
365阅读
一、数据仓库：一个面向分析、反映历史变化的的数据仓库； 中小公司数据量：一天1000万条数据，17G；一个月500G，一年6T数据量；数据仓库技术：1、传统数仓一般是采用关系型数据库； 2、大数据领域中： 使用HDFS做存储、使用spark 或mapreduce做运算、使用spark sql或者hive做sql引擎； impala既可以做运算又可是做sql引擎； click house即可以做存储
原创
2022-04-22 10:03:42
359阅读
数据仓库理论一和二，主要讲流量域； 数据仓库理论三和四，主要讲业务域，即业务库里的数据。一、sqoop导入数据处理字典表，小杂表：全量导入 实体表（量级很大），事实表（每天都变化的业务表）：增量导入增量导入后的数据，存储在数仓的 ODS 层中，对于统计分析，不便利；需要滚动合并生成全量快照。1、将数据全量导入建表并全量导入2、将每天的增量数据使用sqoop导入，放在ODS层导入增量脚本：#####
原创
精选
2022-04-24 14:38:16
549阅读
一、用户画像：就是为所有用户，生成各类“标签”，比如消费等级（A,B,C），活跃等级(A,B,C)， 流失风险等级（A,B,C），品类偏好 TOP3，活跃事实（月登陆次数，月访问时长）更多java、大数据学习面试资料，请扫码关注我的公众号：...
原创
2022-01-10 15:20:17
118阅读
四、DWS 层开发
原创
2022-01-10 15:20:20
375阅读
点赞
