zhulinu的博客_成长日志,管理心得,运维

运维中被低估的日志

日志在运维中的作用是非常重要的，但非常不幸，日志在很多运维中被严重低估，直到磁盘空间不足的时候才想到，这有个大的日志文件把他删了，这样可以节省空间。

日志分析赛克蓝德 secilog se

置顶原创推荐 2015-12-31 09:40:08 4920 阅读 8点赞 4收藏 1评论

日志标准化必须面对的 4 类问题

引言在很多安全分析类产品建设的过程中都会涉及到关联分析，比如日志分析、soc、态势感知、风控等产品。之前的文章中阐述过五种最常见的关联分析模型，在文中也介绍了：要想达到很好的关联分析效果，前提是对采集过来的日志进行标准化解析。解析的维度越多、内容越准确，对关联分析的支撑性就越强。下面就来介绍一下日志解析的一些常用内容。一、概述很多公司在自己的产品介绍中描述产品有多少种日志解析规则等等，当然，这种内

日志分析

数据分析

运维

原创 2020-06-29 17:33:00 399 阅读

关于SOC、态势感知，5种常见的关联分析模型

引言在很多安全分析类产品建设的过程中都会涉及到关联分析，比如日志分析，soc，态势感知，风控等产品。关联分析可以认为是这类产品中最核心的能力之一。这个东西从名字上看就知道，千人千面，每个人的想法和理解都不一样。很多甲方都会提关联分析，但你要在细问要做什么样的关联分析，估计大多数甲方都不太能详细说出来，很多乙方对此也是藏着掖着，可能也是核心机密不愿意细说。下面就来聊一下我对关联分析模型的一点思考。一

spl

日志分析

数据分析

原创 2020-06-29 17:29:43 2535 阅读 2收藏

secsoso spl 语法说明

概述数据分析一直是近几年非常热的一个话题，但如何进行数据分析目前业界还没有一个统一答案，从抽象的角度来说，先要有数据，然后有目标，最后给个工具从数据中提取目标这个就是数据分析过程。但目前数据和目标都相对比较容易获取，但工具一直没有比较理想的工具。公司根据这种情况开发了一系列产品来缓解数据分析的过程，其中免费的命令行工具为secsoso。它们在搜索的时候都用了SPL(SearchProcessing

sp

日志分析

数据分析

原创 2020-06-29 17:27:50 844 阅读

运维利器：WEB日志分析场景介绍

spl,运维,日志分析,数据分析

spl

数据分析

web日志

日志分析

原创 2020-06-29 17:04:12 489 阅读

免费数据分析工具：secsoso

前段时间思考了理想数据分析平台，之后我们根据这个思路开发了spl语言并提供了一个数据分析平台，这个平台主要用在搜索ES，数据库索引中的数据。但后来发现对文件的事后处理也是个非常重要的事情。当问题发生后，很多时候需要对文件进行分析取证。在linux下还有一堆的命令可以使用，但很多时候使用起来也比较麻烦。在windows基本没有啥好的工具。在这种情况下我们开发了一款免费的对文件分析的小工具secsos

搜索

spl

数据分析

日志分析

原创 2020-06-29 10:53:10 832 阅读

理想的数据分析平台

数据分析尤其是大数据分析这几年的热度依然不减，但面对眼花缭乱的数据分析产品很难去选择，那什么是理想的数据分析平台呢。下面是根据我的个人理解的理想数据分析平台，在次强调我理想的数据分析平台。不要对号入座。在这里我并没有强调大数据分析平台，因为很多时候小数据分析都没有做好的情况下，谈大数据分析有点早，我一向的观点都是先把简单的少量的做好，才有机会做大量的复杂的平台。有句话叫不扫一屋何以扫天下。既然谈到

spl

数据分析

原创 2020-06-29 10:49:31 508 阅读

新加坡之旅

在我几十年的工作生活中，一直感觉生活过的很小心，可能和大多数这个年纪的人一样，尤其是在创业的几年。时间长了，一种不自然的感觉油然而生，总感觉需要改变点什么。不能总在埋头拉车，有时候也需要抬头看看天空。这次决心和家人一起出去走走，感受下生活。这次选择的目的地是新加坡，主要考虑几个原因，一是新加坡华人比较多，语言不是太大的障碍，二是新加坡不是特别远，在飞机上的时间不会太长。

新加坡

原创 2018-09-02 17:48:33 1156 阅读 1点赞

Windows登录日志详解

日志在很多时候是非常重要的，尤其是登录日志。从登录日志中可以发现很多有价值的信息，window2008及以后的日志基本一致，2003由于时间太长，微软都停止更新了，所以重点介绍2008的登录日志。

日志分析

赛克蓝德

SeciLog

原创 2016-10-07 09:18:39 7661 阅读 3收藏

这个创业者他没拿过融资也不和员工谈理想

公司的价值观，我们是个有理想的公司。

赛克蓝德

转载精选 2016-08-06 09:38:19 664 阅读

大数据的误区

本文仅从另一个视角看待大数据，有多少用户有真正的大数据，数据真的很值钱吗，小数据都没有用好如何用好大数据呢？

日志分析

赛克蓝德

SeciLog

原创 2016-03-28 14:26:00 962 阅读

致力成为一家小而美的公司：起点2016

小公司有序、简单、不拘束。小公司充满激情，对官僚主义嗤之以鼻。小公司不发好点子——好主意不问出处。在小公司里每个人都被需要，每个人都得参与，奖惩的依据是每个人对企业的贡献。小公司有远大理想，做出了榜样。

赛克蓝德日志分析 SeciLog

原创 2016-03-04 12:30:19 694 阅读

Elasticsearch 2.2.0 JAVA开发篇：搜索操作

Elasticsearch java API同时提供了强大的搜索功能，不过这也是很正常的因为所有的http接口到后面都要转换成java代码才可以执行。索引名和type名称都可以是多个，用逗号分开。

日志分析

Elasticsearch

赛克蓝德

原创 2016-02-20 08:59:02 1601 阅读

Elasticsearch 2.2.0 分词篇：中文分词

在Elasticsearch中，内置了很多分词器（analyzers），但默认的分词器对中文的支持都不是太好。所以需要单独安装插件来支持，比较常用的是中科院 ICTCLAS的smartcn和IKAnanlyzer效果还是不错的，但是smartcn不支持自定义词库，所以优先用IKAnanlyzer。

日志分析

Elasticsearch

赛克蓝德

原创 2016-02-20 08:54:43 1014 阅读 1点赞 2评论

Elasticsearch 2.2.0 精简(cat)API

在Elasticsearch提供了一套精简API来查看系统的状态，官方的文档叫cat API。主要的目的是由于Elasticsearch默认提供的接口返回都是JSON格式的，这种格式不利于人类的阅读，所以搞出来一套cat API来简化。

日志分析

Elasticsearch

赛克蓝德

原创 2016-02-20 08:52:12 1344 阅读

Elasticsearch最新版本2.20特性及如何安装

Elasticsearch的更新速度实在太快了，16年2月2日更新到了2.2版本，首先看一下这个版本增加了哪些新的特性。首先是基于Lucene 5.4.1，修复了Elasticsearch 2.1.2和Elasticsearch 1.7.5版本中存在的很多bug，同时Elasticsearch 2.2.0增加了两个很棒的新功能：查询分析器和增强地理位置字段。这个版本增加了更加严格的安全性和修复了2.1的一个重大bug，就是在分片恢复的时候会非常缓慢。

日志分析

Elasticsearch

赛克蓝德

原创 2016-02-03 17:10:07 684 阅读

Elasticsearch是什么以及核心概念

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以在很短的时间内存储，搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。Elasticsearch有几个核心概念，准实时索引(Near Realtime)，集群(cluster),节点(node), 索引(index),类型(type),文档(document),分片和复制(shards Replicas)。

日志分析

Elasticsearch

赛克蓝德

原创 2016-02-03 11:26:31 1022 阅读

ElasticSearch中的一些基本概念

ElasticSearch中的很多概念都和数据库不太一样，但有些概念可以通过数据库来理解，下面解释了ElasticSearch中的基本概念。

日志分析

Elasticsearch

赛克蓝德

原创精选 2016-02-02 22:08:55 940 阅读

Elasticsearch进化史

从2010年到2013年将近4年的时间，Elasticsearch的使用都不是太多，从2013年开始Elasticsearch才逐渐进入大家的视野，直至取得今年的成绩。说明一款好的产品一定要不停的打磨，一定要经得起时间的考研。让我们来看一下Elasticsearch的进化史。

日志分析

Elasticsearch

赛克蓝德

原创 2016-02-02 21:20:23 797 阅读

赛克蓝德日志分析软件(SeciLog)15年总结

SeciLog日志分析产品我们从15年4月份第一个版本上线到16年一月中旬，系统共升级了22个版本。对产品的定位，选型，目前的功能等我们做个总结。回首过去展望未来。

日志分析

赛克蓝德

secisland

原创 2016-01-31 00:52:58 1470 阅读

免费真的就是免费吗

2004年，德国城市慕尼黑市议会决定把政府部门的计算机设备逐步从价格昂贵的Windows系统迁移至免费的Linux系统。近万台计算机都迁移至Liunx后，慕尼黑政府官员才发现世上只有Windows好，还是决定回归Window怀抱。

赛克蓝德日志分析 secisland

原创 2016-01-26 23:36:21 1137 阅读 2点赞 1评论

从一个案例来看日志分析的重要性

这是一个真实的案例，发生在2016年一月份，作者做了完整的记录并发表在51cto的博客中，题目为《记录一次linux病毒清除过程》，这篇文章在16年一月中旬的51cto一周热赞排行中占据了好多天的第一。大概的内容是作者的服务器受到了入侵，被入侵者植入了木马，然后此木马不停的对外发起ddos工具，占用了大量的带宽，可见危害还是相当之大。文章中记录了作者是如何手动清除此木马的过程，在此不准备阐述如何解决此问题的，详细的解决办法请详见源文章。在这里我想反过来看待这个问题，就是如何能在事前预防此问题，事中时时的发现此，如果能提前预知，或者尽早的发现此问题，就可以极大的减少很多损失。

日志分析

赛克蓝德

secisland

原创精选 2016-01-17 10:49:10 1245 阅读 2点赞 1评论

SeciLog 1.22 发布，增加自定义告警，性能监控等

日志分析软件 SeciLog 1.22发布，对搜索进行了优化，增加了自定义告警，增加了统计功能，优化了图表查询，简化了配置，增加了性能监控，增加了es备份，针对企业版本增加了双机高可用性，日志权限管理等。

日志分析

赛克蓝德

secisland

原创 2016-01-14 10:28:53 1071 阅读 4点赞 1收藏 4评论

为什么需要日志审计系统

在很多企业环境中，日志没有得到重视。日志往往在日常工作中被完全忽视，仅仅在磁盘空间不足的时候才会引起人们的注意。而在这个时候它们往往未经查看就被删除了。

日志分析赛克蓝德 secisland

原创 2015-11-10 13:08:40 1340 阅读

secilog 1.17 发布增加了英文版本等新功能

日志分析软件 secilog 1.17发布，增加了英文版本，对日志导入增加了日志机器ip和日志机器名，或者日志ip和日志域名的关系。

赛克蓝德日志分析 secisland

原创 2015-11-04 09:51:46 899 阅读 2点赞 2评论

secilog 1.16 发布增加了集群.日志导入,日志过滤和归并等

日志分析软件 secilog 1.16发布，增加了集群，离线日志导入，日志过滤和归并，日志管理，配置管理等。

secisland 日志分析 secil

原创 2015-10-22 14:16:12 1043 阅读

secilog 1.15 发布，增加数据库采集网站访问统计

日志分析软件 secilog 1.15发布，增加了搜索保存数据库采集web日志报表等。上篇文章1.13，有兴趣可以了解一下。本次升级主要增加以下功能：日志搜索保存：通过日志搜索保存可以把常用的搜索保存起来，下次可以更方便的进行查询。 web日志报表：增加了web日志报表功能，可以代替类似cnzz，Piwik，AWStats等部分功能。

赛克蓝德日志分析 secilog

原创精选 2015-10-09 17:04:19 559 阅读

xplico1.1 centos 编译问题及解决方法

Xplico 是一个从 pcap 文件中解析出IP流量数据的工具，可解析每个邮箱 (POP, IMAP, 和 SMTP 协议), 所有 HTTP 内容, 由于产品可能会需要用到，所以研究了一下。产品中用到的linux版本是centos，本以为很简单，但实际情况比想象的复杂。

secisland 日志分析 seci-

原创精选 2015-08-20 08:56:26 1388 阅读 1点赞

seci-log 1.11 发布，日志分析软件增加 ftpserver 等功能

日志分析软件 seci-log 1.11发布，增加了增加了ftpserver，远程ftp，sftp采集简化配置等功能。

日志分析安全 secisland se

转载精选 2015-08-16 21:27:26 837 阅读

seci-log 1.10 发布增加了全文搜索集成密码加密等多个功能点

日志分析软件增加了多个功能点，增加了密码加密功能，对邮件，远程机器访问的秘密进行加密等功能

日志分析安全 secisland se

原创 2015-08-16 21:26:03 666 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

赛克蓝德