最近在测试ijk播放器的解码性能等功能，所以搭建了nginx模拟直播推流，在这里，主要讲解rtmp和hls推流方式的环境搭建。笔者采用的是Mac系统，不过Windows也大同小异，就不再单独篇幅进行介绍了。一、安装HomebrewHomebrew是mac系统下的一个软件包的管理器，通过使用该工具，能很方便的去安装以及卸载软件。在命令行中执行如下命令即可安装。/usr/bin/ruby -e "$(
今天看到一篇文章《YARN或将成为Hadoop新发力点》，讲解Hadoop问题，以及YARN的解决方案。作为多年系统架构设计人员来说，这是个很挑战的命题。 这个博客有点标题党的意味，但仍然会作为一个严肃的技术问题来讨论。 首先，要界清怎样才算是一个大规模的系统。我认为有这么几点：1、服务于大量终端，百万、千万
转载
2023-09-21 07:01:35
81阅读
导读：特征工程在推荐系统中有着举足轻重的作用，大规模特征工程处理的效率极大的影响了推荐系统线上的性能。第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎FESQL，针对AI场景支持SQL接口，兼容Spark 3.0同时提供高性能的Native执行引擎。本次分享题目为基于Spark的大规模推荐系统特征工程及优化，主要内容包括：
转载
2021-06-11 23:30:09
217阅读
分享嘉宾：陈迪豪 第四范式 架构师编辑整理：刘璐出品平台：第四范式天枢、DataFunTalk导读：特征工程在推荐系统中有着举足轻重的作用，大规模特征工程处理的效率极大的影响了推荐系统线上的性能。第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎FESQL，针对AI场景支持SQL接口，兼容Spark 3.0同时提供高性能的Na
原创
2021-03-26 20:39:33
501阅读
本篇文章将从一个实际项目出发，分享如何使用 Spark 进行大规模日志分析，并通过代码演示加深读者的理解。
原创
2023-06-15 10:43:40
224阅读
点赞
主成分分析也称主分量分析或矩阵数据分析，一种数据分析的技术，主要思想是将高维数据投影到较低维空间，提取多元事物的主要因素，揭示其本质特征。它可以高效地找出数据中的主要部分，将原有的复杂数据降维，去除整个数据中的噪音和冗余，将把相关的变量变为若干不相关的综合指标变量，是一种最小均方意义上的最优变换，目的是去除输入随机向量之间的相关性，突出原始数据中的隐含特性。主成分分析方法的优势在于数据压缩以及对多
原创
2021-03-24 16:33:55
751阅读
本期由河海大学摄影测量与遥感在读研究生李子宽分享，主题为《大规模点云可视化技术》，下面我们来一起回顾一下吧。
原创
2022-12-29 13:45:26
220阅读
到2021年，估计全球会有更多的人拥有移动电话(55亿)，将超过用上自来水的人数(53亿)。与此同时，带宽紧张的视频应用将进一步增加对移动网络的需求，其会占移动流量的78%。使用大规模多输入多输出(MIMO)技术的 5G网络将是支持这种增长的关键。根据Strategy Analytics的数据，预计5G移动连接将从2019年的500万增长到2023年的近6亿。MIMO技术如图1所示，单用
转载
2024-07-19 17:38:04
98阅读
魂牵梦萦fdsa
原创
2012-07-20 19:38:38
972阅读
看点：1. 详细解解答了 nginx rtmp配置过程。前写了一篇基于nginx的hls点播系统，本质上是把一个媒体文件做成m3u8索引，对应的文件都是提前做好放在服务器上的。nginx充当的是个Http 服务器的角色，之所以说是基于nginx的，是因为它可以设置限速。本文主要是描述一个直播系统，核心在于m3u8和里面对于的ts链接都是实时的，可以刷新。类似于cntv里面的直播。这里分按顺序分几个
转载
2016-05-23 16:20:00
307阅读
2评论
原文地址文 / 顾森 对中了。但在中文分词领域里，还有一个
转载
2023-07-10 20:43:40
459阅读
相信学过算法的童鞋都听说过一个很经典的问题：TSP问题，这个问题是NP问题，无法在多项式时间内进行求解。当问题规模较小时，还可以用穷举的方法进行求解，但是当城市一旦变多，穷举的时间将会指数级增加。就算采用启发式搜索，估计也很难求解。但是这个问题是可以尝试解决的，人工智能给我们提供了强大的武器，也许尽管无法求得全局最优解，但我们也能得到一个很不错的解。最主要的是，我们可以在可以忍耐的时间内得到一个解
转载
2024-08-10 07:41:47
159阅读
nginx的一大功能就是完成静态资源的分离部署，减轻后端服务器的压力，如果给这些静态资源再加一级nginx的缓存，可以进一步提升访问效率。第一步：添加nginx.conf的http级别的缓存配置 ##cache##
proxy_connect_timeout 500;
#跟后端服务器连接的超时时间_发起握手等候响应超时时间
proxy_read_timeout 600;
转载
2024-02-29 14:38:06
760阅读
[toc]## Nginx 是如何实现高并发的?Nginx 采用的是多进程(单线程) & 多路IO复用模型。使用了 I/O 多路复用技术的 Nginx，就成了”并发事件驱动“的服务器。其实现了异步，非阻塞，使用了epoll 和大量的底层代码优化。如果一个server采用一个进程负责一个request的方式，那么进程数就是并发数。正常情况下，会有很多进程一直在等待中。而nginx采用一个ma
转载
2024-05-02 15:48:36
39阅读
机器学习训练模型的主要目的是为了使模型的参数尽可能地逼近真实的模型，以便更准确地预测新数据。这通常通过定义一个损失函数来衡量模型预测与真实目标之间的差距，并使用优化算法（如梯度下降）来调整模型参数，以最小化这个差距。预训练模型是机器学习领域中的一种重要技术，它的出现主要是为了提高模型训练的效率和性能。预训练模型是一种迁移学习的应用，它的基本思想是利用在大规模数据集上训练得到的模型参数，作为新任务的
# 大规模推送系统设计架构
在现代的网络应用中，推送系统是一个不可或缺的部件。无论是消息通知、实况更新还是用户互动，它都扮演着重要的角色。下面，我们将通过一系列步骤来设计和实现一个大规模的推送系统。希望能帮助刚入行的小白理解设计思路和开发过程。
## 设计流程
为了更好地理解整个过程，我们将设计流程分为以下几个步骤：
| 步骤 | 描述
为了更好地方便大家讨论，我还是把企业级系统架构设计技术与互联网应用技术结合的主题分为多个。第一个，先讨论大规模并发性能问题吧。 这是企业系统互联网化要面对的第一个问题。
抛砖引玉，我先把我前些日子给南航的技术人员做技
转载
2012-05-19 18:11:00
616阅读
# 如何实现Redis的大规模应用
## 整体流程
首先，我们需要了解如何在大规模应用中使用Redis。以下是整个流程的简要概述：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 部署Redis集群 |
| 步骤二 | 优化Redis配置 |
| 步骤三 | 编写应用程序与Redis集群交互的代码 |
| 步骤四 | 测试和监控Redis集群 |
## 步骤一：部署Re
原创
2024-07-10 05:33:50
50阅读
整数规划-模型2022年2月26日TSP问题有一个邮递员，他每天负责向100个客户的家门口送一份报纸，他希望走最短的总路程来完成配送任务，这是TSP问题最原始的场景。用理论描述就是：找一个路径最小的哈密顿回路（Hamiltonian cycle） 。哈密顿回路：也称为一笔画问题，就是从一个点出发不重复的走完所有的点，最后在回到出发点。我们现在希望为邮递员找到这个最短的哈密顿回路。求解关
转载
2024-07-09 01:03:43
42阅读
首先，叙述一下当前面临的问题所在。当前系统通过接口调用其他系统的数据，返回的数据达到10万级，然后将这批数据插入到oracle数据库。怎样尽可能提高这一过程的效率？大致从两个时间节点来优化：一个节点是优化接口之间调用的响应速度，可以项目之间使用集群，实现负载均衡。接口拿到数据后可以暂存到Redis或kafka再者是MQ队列中，以提高接口直接的相率。当然了如果项目团队允许，分布式的Hbase也是个不
转载
2023-08-23 17:14:33
79阅读
