一、 项目背景 广义上来说，博物馆包括博物馆、文化馆、图书馆、美术馆、科技馆等各种公共服务场馆。随着“文化自信”“文化强国”的国策，公共文化服务成为一个城市的综合能力的重要指标，博物馆成为城市名片，同时承担着文创传承、图书文献、自然科普、艺术教育、非遗传承等重大的社会职责。 智慧博物馆作为博物馆运营的信息化平台，充分借助互联网、物联网、云计算、大数据、通讯等信息化技术，让场馆服务变得智慧化、智能化
转载
2024-05-09 13:34:53
21阅读
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是
原创
2021-07-22 11:29:36
662阅读
我们都知道一句话“巧妇难为无米之炊”，数据源就是数据产生价值中的那些大米。那大数据时代企业需要哪些数据呢?根据我个人理解我觉得可以大致分为以下几类： 1、(内部)企业自身业务生产经营环节产生的内部数据(包括销售、客服、仓储、财务等) 2、(运营)可以理解为企业发展过程中掌握在第三方手中的数据，如企业的广告供应商以及一些传播与媒体数据(新媒体、H5、app等) 3、(外部)包括传统调研数据
创建数据源 1.1 关系数据源连接 操作入口：在 定制管理> 数据管理>数据源 节点下右键选择新建关系数据源，或是在定制管理快捷按钮选择 数据源连接，则打开数据源连接窗口。 在“关系数据源管理”界面进行关系数据源连接配置项的设置，如下表： 配置项 说明 名称 新建的数据源的标示名，必须唯一。 别名
转载
2017-11-01 14:30:00
575阅读
2评论
一、大数据是什么?大数据，big data，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：。1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求二、大数据的处理流程下图是数据处理流程： 1、底层是数以千亿计的数据源，数据源可以是SCM(供应链数据)，4PL(
转载
2024-01-15 09:08:52
35阅读
传统的大数据架构: 原始数据经过ETL之后进行数据处理然后直接落地提供服务.本质上只是用大数据架构替换了之前的传统数据库,基本的思想没有发生变化,流式架构: 原始数据进过数据拉取然后通过流式处理进行ETL和数据处理然后落地到本地或直接提供服务在传统大数据架构的基础上流式架构非常的激进直接拔掉了批处理虽然有存储部分但是该存储更多的是以窗口的形式进行存储的,并非是发生在
转载
2023-07-13 10:44:13
142阅读
目录1 HBase 数据源1.1 HBase Sink1.2 HBase Source2 MySQL 数据源3 SHC 操作Hbase基本使用3.1 生成 JSON1 HBase 数据源Spark可以从外部存储系统读取数据，比如RDBMs表中或者HBase表中读写数据，这也是企业中常常使用，如下两个场景：1）、要分析的数据存储在HBase表中，需要从其中读取数据数据分析日志数据：电商网站的商家操作日志订单数据：保险行业订单数据2）、使用Spark进行离线分析以后，往往将报表结果保存
原创
2021-03-14 19:20:01
422阅读
从数据采集角度来说，都有哪些数据源呢？
这四类数据源包括了：开放数据源、爬虫抓取、传感器和日志采集开放数据源一般是针对行业的数据库。国内，贵州做了不少大胆尝试，搭建了云平台，逐年开放了旅游、交通、商务等领域的数据量爬虫抓取，一般是针对特定的网站或 App。如果我们想要抓取指定的网站数据，比如购物网站上的购物评价等，就需要我们做特定的爬虫抓取。第三类数据源是传感器，它基本上采集的是物理信息。比如图像
转载
2024-01-09 23:04:15
146阅读
1:配置-数据源连接-新建数据源-指定数据源名称2：选择数据库类型，暂时不配置jdbc3:指定服务器，数据库名称，登陆用户名和密码4：测试5：测试OK（OLE DB类型的）6：返回上一步 ，勾选 配置JDBC 连接 7：下一步，会多出配置jdbc字符串的一步 8：测试OK（JDBC类型） 9：返回测试整个连接sqlserver_t
转载
2023-06-28 18:08:22
313阅读
配置一个数据源 Spring在第三方依赖包中包含了两个数据源的实现类包，其一是Apache的DBCP，其二是 C3P0。可以在Spring配置文件中利用这两者中任何一个配置数据源。DBCP数据源DBCP类包位于 /lib/jakarta-commons/commons-dbcp.jar，DBCP是一个依赖 Jakarta commons-pool对象池机制的数据库连接池，所以在类路径下还必须包括
## 如何在MySQL中创建数据源
作为一名经验丰富的开发者，我很乐意教你如何在MySQL中创建数据源。下面是整个过程的流程图示意：
```mermaid
graph TD
A[开始] --> B[连接到MySQL数据库]
B --> C[创建数据库]
C --> D[创建数据表]
D --> E[插入数据]
E --> F[关闭连接]
F --> G[结束]
```
下面我将详细介绍每个步
原创
2024-01-04 03:53:30
112阅读
# MySQL创建数据源的完整指南
在现代的软件开发中，数据库是一个不可或缺的部分。MySQL是一款广泛使用的关系型数据库管理系统，它能够简单高效地进行数据存储、更新和管理。本文将详细介绍如何创建一个 MySQL 数据源，特别是针对初学者。首先，我们将明确整个过程，并通过表格整理出关键步骤。
## 流程概览
| 步骤编号 | 步骤 | 描述
## Java 创建数据源
数据源是连接数据库的一种方式，它提供了对数据库的访问和操作功能。Java 中使用数据源可以简化数据库的连接和管理，提高程序的性能和可维护性。本文将介绍如何使用 Java 创建数据源，并提供相关代码示例。
### 数据源的作用
在传统的数据库连接方式中，每次需要连接数据库时都需要手动创建连接对象、使用完毕后关闭连接。这种方式会导致频繁的连接和关闭操作，降低了程序的性
原创
2023-08-05 17:20:59
165阅读
1、去掉application.yml文件里面的mybtis配置mybatis:
configuration:
map-underscore-to-camel-case: true
mapper-locations: /mybatis/**/*Mapper.xml
typeAliasesPackage: com.tfkj.**.domain
log-impl: org.ap
转载
2024-03-26 10:16:52
36阅读
注意在创建数据源之前，你需要先使用 TiUP 部署 DM 集群。本文档介绍如何为 TiDB Data Migration (DM) 的数据迁移任务创建数据源。数据源包含了访问迁移任务上游所需的信息。数据迁移任务需要引用对应的数据源来获取访问配置信息。因此，在创建数据迁移任务之前，需要先创建任务的数据源。详细的数据源管理命令请参考管理上游数据源。第一步：配置数据源（可选）加密数据源密码在 DM 的配
转载
2023-11-08 21:36:53
56阅读
一件事情，做可能很容易；但坚持一定很难。 之前的Bug分享区，好像每周没那么多可以分享的。那这个模块从这期开始就得“改朝换代”，毕竟物竞天择，适者生存。 自我怀疑区，也就是一些算法题，看似很简单，实则大家尽情发挥，有些题一定会让你自己怀疑你自己是不是个程序员 &
转载
2024-05-31 13:29:57
64阅读
HDFS 和MapReduce 是离线大数据处理背后的主要技术。1.简介HDFS 的英文全称是Hadoop Distributed File System ，即Hadoop 分布式文件系统，它是Hadoop 的核心子项目。实际上， Hadoop 中有一个综合性的文件系统抽象，它提供了文件系统实现的各类接口，而HDFS 只是这个抽象文件系统的一种实现，但HDFS 是各种抽象接口实现中应用最为广泛和最
转载
2024-09-06 00:04:34
107阅读
1. 简介ArcGIS for Sever 从10.1 推出了一个非常实用的功能，就是注册数据源（register data store）。注册数据源，就是将当前是数据路径赋予arcgis for server的账户（安装的时候，默认为arcgis）的相关的操作权限，通过注册数据源，发布服务时候，数据将不会拷贝到服务器端，而任然停留在当前位置。服务器端服务使用的数据和客户端端发布服务使用的数据是同
转载
2024-08-26 14:38:55
229阅读
通过Mybatis的Interceptor拦截执行的SQL语句，判断SQL语句操作的表是否需要进行分库，若需要分库，则根据SQL语句的参数值和分库算法进行分库，分库核心使用Spring的AbstractRoutingDataSource进行数据源的动态切换，同时使用Spring的LazyConnectionDataSourceProxy代理AbstractRoutingDataSource，延迟获
转载
2024-06-05 23:02:05
58阅读
动态数据源的实现，主要依赖AbstractRoutingDataSource类，这个类提供了抽象方法protected abstract Object determineCurrentLookupKey();这个方法返回一个key，根据这个key spring就能决定使用哪个数据源，所以我们要实现动态数据源，只要继承这个类，实现这个方法，就能动态切换数据源大
转载
2023-07-28 00:36:28
328阅读
