用户信息表（t_user_info）字段名称字节数类型描述User_id4uint32用户编号（主键）User_name20Char[20]名称Msg_count4uint32发布消息数量,可以作为t_msg_info水平切分新表的auto_incrementFans_count4uint32粉丝数量Follow_count4Uint32关注对象数量备注：以User_id取模分表 用户之
转载
2023-07-09 19:02:45
131阅读
# 使用 Scrapy 抓取新浪微博并存储到 MongoDB 数据库的完整指南
在这篇文章中，我们将学习如何使用 Scrapy 框架从新浪微博抓取数据并将数据存储到 MongoDB 数据库中。本文将详细介绍整件事情的流程，并逐步解释每一步所需的代码。这对于刚入行的小白来说，将是一个很好的学习项目。
## 整体流程
在进行开发前，了解整个流程是非常重要的。以下是实现这一功能的步骤：
| 步骤
原创
2024-08-09 11:42:58
73阅读
Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key-value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。1. 按照我们一般的使用Redis的场景应该是这样的：也就是说：我们会先去redis中判断数据是否存在，如果存在，则直接返回缓存好的数据。而如
转载
2023-07-03 17:06:50
0阅读
如果一个用户关注了10000个人,如果这些人有更新了,系统会提示有新微博,这是如何实现的？如果有人给你评论了,系统也会提示出来,我知道页面会定时刷新，但是这后台负担也太大了吧？ 在这方面有没有高性能的架构或技术什么的呢？谈谈个人看法：微博技术架构的关键点在于如何优化Cache和消息队列的使用效率，以及合理规划数据存储方式。如此海量的数据推送必然是通过异步消息队列处理，而不是简单的数据库直接写入，因此系统的负载压力会逐层分散到后端数据库上，并不是集中于某几台数据库上。新数据通知，应该通过各种基础服务预先计算出的数据集合，再通过客户端每30秒的轮询请求返回，并非请求后的实时计算，因此压力可能更多的
转载
2013-01-17 14:40:00
280阅读
2评论
java.sql.SQLException: ORA-00928: 缺失 SELECT 关键字atoracle.jdbc.driver.SQLStateMapping.newSQLException(SQLStateMapping.atoracle.jdbc.driver.DatabaseError.newSQLException(DatabaseError.atoracl...
原创
2021-08-31 09:41:16
67阅读
java.sql.SQLException: ORA-00928: 缺失 SELECT 关键字atoracle.jdbc.driver.SQLStateMapping.newSQLException(SQLStateMapping.atoracle.jdbc.driver.DatabaseError.newSQLException(DatabaseError.atoracl...
原创
2022-03-25 14:18:05
163阅读
1需求分析 11.1背景说明 11.2系统目标与系统边界 11.3功能需求分析 11.3.1系统的功能描述 11.3.2系统总体功能图 41.3.3主要业务流程描述 61.4数据需求及业务规则分析 81.4.1数据需求描述 81.4.2数据字典 81.4.3业务规则描述 111.4.4数据约束描述 122概念设计 132.1确定实体集及属性 132.1.1实体集分析 132.1.2实体集属性数据字典 132.2确定联系集及属性 132.2.1联系集分析 132.2.2联系集属性数据字典 132.3概念模型（E-R图） 132.4检查是否满足需求 132.5改进的E-R图及数据字典 143逻辑. Read More
转载
2013-05-30 20:22:00
141阅读
2评论
本博文为前篇博文新浪云应用SAE日志查看的延续。 在读写云数据库MySQL之前，须要说明的是，在新浪云平台上使用数据库时。该平台默认会为每个应用单独新建一个数据库database实例。在该实例中再创建各种我们须要的表tables。当然，通过设置能够让多个应用共享同一个数据库实例。以下为应用加入数据库
转载
2017-07-13 17:48:00
75阅读
2评论
经过一段时间的开发，更新，迭代，新浪云容器 Java 环境逐渐成熟起来，相比过去的 Java 运行环境，可用性和易用性都得到了大量的提升。同时也收到了不少用户反馈的使用问题，特此在这篇文章里综合介绍一下容器 Java 使用以及相关服务的整合。环境说明新浪云容器 Java 环境基于 Docker 搭建，支持多实例负载均衡，近乎原生虚拟机环境，使用无门槛。JDK 1.8Web 容器 tomcat-8.
在se11创建数据库时，有些数据是不希望创建后被手动直接修改的但是有些时候有必要
原创
2022-07-13 20:16:24
353阅读
Mysql为了减少对MySQL数据库的访问压力，在前面部署了Memcached缓存，挡住了99%的访问压力，只有1%的请求会访问数据库。然而对于微博业务来说，这1%的请求也有几万QPS，对于单机只能扛几千QPS的MySQL数据库来说还是太大了。为此我们又对数据库端口进行了拆分，你可以看下面的示意图，每个用户的UID是唯一的，不同UID的用户按照一定的Hash规则访问不同的端口，这样的话单个数据库
原创
2023-03-14 18:13:44
187阅读
湖南亚信安慧科技有限公司，原亚信科技AntDB团队，近日获得信创工委会颁发的创新活跃度荣誉，充分肯定了其在科技创新领域的杰
原创
2024-01-17 07:11:13
78阅读
1. 概述新闻是我们了解外界的重要渠道，以前，我们一般通过报纸和电视来获取新闻，那时候，获取新闻不仅有一定的成本，效率还不高。而如今，获取新闻的途径太多太方便了，大量重复的新闻充斥着各大平台，获取新闻已经没有什么成本，问题变成了过滤和鉴别新闻的可信程度。下面用 【新浪新闻】 作为采集对象，抛砖引玉，演示下新闻从采集到分析的整个过程。2. 采集流程主要流程分为4个步骤：2.1 采集从新浪滚动新闻页面
转载
2023-08-09 23:19:47
92阅读
.mdf：主要数据文件.ldf：日志数据文件.ndf：次要数据文件方法一：分离附加选择mdf文件备注：如果导入不成功，则需要修改mdf，ldf文件的权限。右键-属性-安全-编辑，完全控制选择允许。方法二：查询语句EXEC sp_attach_db @dbname= '你的数据库名', @filename1 ='mdf文件路径（包缀名）', ...
原创
2021-07-12 12:01:58
143阅读
.mdf：主要数据文件.ldf：日志数据文件.ndf：次要数据文件方法一：分离附加选择mdf文件备注：如果导入不成功，则需要修改mdf，ldf文件的权限。右键-属性-安全-编辑，完全控制选择允许。方法二：查询语句EXEC sp_attach_db @dbname= '你的数据库名', @filename1 ='mdf文件路径（包缀名）', ...
原创
2022-04-02 10:28:44
145阅读
ADO（ActiveX Data Objects）是一种面向对象的数据访问技术，它提供了一组对象和接口，让开发人员可以方便地从
原创
2023-09-09 07:31:57
524阅读
因为测试工程师在日常工作中会参与数据库设计评审、测试环境搭建、日志跟踪，这些会涉及数
原创
2023-05-24 15:08:36
722阅读
开源分析数据库ClickHouse以快著称，真的如此吗？我们通过对比测试来验证一下。ClickHouse vs Oracle先用ClickHouse（简称CH）、Oracle数据库（简称ORA）一起在相同的软硬件环境下做对比测试。测试基准使用国际广泛认可的TPC-H，针对8张表，完成22条SQL语句定义的计算需求（Q1到Q22）。测试采用单机12线程，数据总规模100G。TPC-H对应的SQL都比
