node中stream与日志管理
日志：用于记录上线之后的一些信息，因为在上线之后可能会产生bug，可以通过查看日志来查询bug。也可以通过查看日志来查询每天的访问的各种信息，例如：访问的浏览器 系统等。那么对于日志的开发需要处理那些方面呢，总结概述为下面的三个方面：
1.nodejs文件操作，nodejs stream
2.日志功能开发和使用
3.日志文件拆分，日志内容分析
那么日志存在文件之中的原因又有那些呢，总结为以下几个方面：
1.文件中的内容可以转到各个服务器上去计算运行，不需要配置。
2.日志中的内容只是一条一条的信息，本身对内存性能上的要求并不是太高
3.不存在mysql中的原因是，mysql是硬盘数据库，里面存放的是各表之间的某种关联关系，如果要将日志中内容放在其他服务器进行分析，使用MySQL则需要在服务器中对mysql进行配置以及保证各服务器上的数据库必须保证一致
4.不存在redis当中是因为redis是内存数据库，日志会随着时间的推移而变得越来越多因此，如果使用redis是非常的不划算的。因为redis中的内存是非常宝贵的，日志对于性能的要求不太高，因此不需要。
因此在这里需要去进行说明的就是在node中如何去操作stream，那么接下来就用一个实际的例子来说明。首先创建两个文件，第一个文件将其命名为data.text，第二个文件将其命名为index.js。第一个文件用于去存放日志中的信息，第二个文件用于去读写日志。具体的实现过程如下：
// 需要引入两个文件，一个fs，用于对文件做一系列操作, 引入path，获取文件的路径
const fs = require('fs');
const path = require('path');//获取文件的位置，通过path.resolve()来寻找
const fileName = path.resolve(__dirname,'data.txt');//读取文件
fs.readFile(fileName,(err, data) => {
if(err){
console.error(err);
return;
}
//此时获取到的文件格式是二进制的需要使用toString将其转换成字符串
console.log('data is \n',data.toString())
})//写入文件
const content = '\n这是新写入的内容';
const opt = {
flag: 'a' //'a'表示新追加的内容 'w'表示覆盖的内容
}
//需要在writeFile中传入四个参数，第一个参数表示需要写入的文件的路径，第二个参数表示要写入的内容 第三个参数表示要写入的方式
//第四个参数传入一个错误类型之后的反应
fs.writeFile(fileName , content , opt , err => {
if(err){
console.error(err);
}
})将第二个文件中引入上面的代码，即可实现写入和读文件操作。
了解完在node中如何读取文件之后，之后的内容就可以了解stream了。对于之前的I/O读取有以下的几个缺点：
1.IO包括 “网络IO”和“文件IO” 两者都有一个共性在输入与读取文件的时候，都是将IO操作中的数据读取完之后，才进行下一步的操作，很显然这样的处理方式是非常的不可取的。
2.相比于CPU计算和内存的读写，IO操作的速度就非常的慢了。
因此针对于上面文件的不足，在此就引入stream来进行优化，即：在有限的硬盘资源下，提高IO操作的速率的方法，就是使用流的思想。stream由三个部分组成 resource pipe deststream的思想就是缓冲思想，将文件初始中的数据先通过pipe给dest，然后就这样一直传送数据，最后直至到文件传输完成，即可完成文件传送过程，这也就是去提高IO操作效率的方法
因此在stream中其标准的输入输出为以下的方式：process中，std表示标准 in out表示输入与输出 pipe表示连接的管道，下面的这种输入输出方式是标准的输入与输出通过process来进行管理process.stdin.pipe(process.stdout)。因此对于stream流文件的实现过程就用下面的代码实例所展示一般：
//将req res以stream的方式连接
const http = require('http');const server = http.createServer((req,res) => {
if(req.method === 'POST'){
req.pipe(res);
}
})
server.listen(8000);//使用stream进行文件的copy,实现部分的代码如下：
const fs = require('fs');
const path = require('path');const fileName1 = path.resolve(__dirname, 'data.txt');
const fileName2 = path.resolve(__dirname, 'data-bak.txt');//创建一个读文件与一个写文件
const readStream = fs.createReadStream(fileName1);
const writeStream = fs.createWriteStream(fileName2);readStream.pipe(writeStream);
readStream.on('data' , chunk => {
console.log(chunk.toString());
})readStream.on('end',() =>{
console.log('copy done');
})//将文件中的内容读入，并通过res返回，具体的实现代码如下
const http = require('http');
const fs = require('fs');
const path = require('path');
const fileName1 = path.resolve(__dirname, 'data.txt');
const readStream = fs.createReadStream(fileName1)const server = http.createServer((req,res) => {
if(req.method === 'GET'){
readStream.pipe(res);
}
})server.listen(8000);至此为止关于流的操作到此就结束，下面部分讲解的就是如何使用stream来处理日志
1.在博客的服务器端去书写日志
首先需要去创建一个logs的文件夹，里面放的是各种的日志文件，然后在src目录下创建一个工具文件并且命名为utils并在这个文件下面去创建一个logs.js的文件，用于去写文件 具体的实现代码如下：首先引入nodejs自带的文件fs以及path
const fs = require('fs');
const path = require('path');然后再生成一个写的文件流
//生成写文件流
const createWriteStream = (fliename) => {
//join()中的内容所说的是上两级目录下的logs下的文件
const fullFileName = path.join(__dirname, '../' ,'../' , 'logs' ,fliename);
const writeStream = fs.createWriteStream(fullFileName , {
flags: 'a' //表示在文件中追加内容
})
return writeStream;
}然后再创建一个写日志的文件
const writeLog = (writeStream, log) => {
writeStream.write(log + '\n'); //写入内容
}最后就是写访问日志，再将这个方法导出
//写访问日志
const accessWriteStream = createWriteStream('access.log');const access = (log) => {
writeLog(accessWriteStream ,log);
}module.exports = {
access
}最后在app.js文件中去记录这个文件主要记录的内容有
req.method req.url req.headers['user-agent'] Date.now(）最后进行的就是日志拆分，那么为什么要进行日志的拆分呢，原因是我们需要对日志进行定时的管理，因为存储的文件是有限的。对于日志的拆分我们做一个了解即可，因为在这个部分由专门的运维人员来进行，在这里就主要叙述日志拆分的过程
1.日志的内容会随着时间的增加而增多，放在一个文件当中不好处理，因此需要我们去进行拆分
2.日志的拆分方式，在通常的情况下采用的方式都是按照时间来划分
3.实现方式通常的情况下都是linux的crontab命令，即定时任务来完成
4.虽然node也可以来对日志进行拆分，但是去定时的启动，其是在操作系统之上的软件部分定义的，而linux则是定义在
操作系统之上的，所以可以完成定时任务
5.设置定时任务，其格式： *****command,*****代表需要定时更新日志的时间
6.将access.log拷贝并且重新命名为年月日.access.log
7.清空access.log文件，继续积累日志
具体的实现过程如下：
1.首先是在utils文件下，新建copy.sh文件（在进行日志拆分的时候要记住需要在linux系统下才能完成）、
2.在copy.sh中写入下面的代码：
# ! bin/src
cd 日志文件路径
cp access.log $(date +%Y-%m-%d).access.log //%Y-%m-%d表示年月日
echo "" > access.log //将access.log文件中的内容清空定时拆分日志时，需要使用crontab -e进入编辑
然后使用* 0 * * * sh加上日志文件目录
然后就可以定时的触发脚本
在nodejs中提供了一个readline主要用于去分析日志 日志中的存储是一条一条数据这样的形式所储存的、因此在这里就可以很轻易的来分析日志，对于不同的功能由不同的处理方式，在下面实现的功能中主要是去分析所有的浏览器中chrome所占的比例，具体的分析日志的代码如下：
const fs = require('fs');
const path = require('path');
const readline = require('readline');//获取文件名
const fileName = path.join(__dirname, '../' , '../' , 'logs' ,'access.log');
//创建 read stream
const readStream = fs.createReadStream(fileName);//创建readline对象
const rl = readline.createInterface({
input : readStream
})let chromeNum = 0;
let sum = 0;//逐行读取
rl.on('line' , dataLine => {
if(!dataLine){
return;
} sum++;
//分析日志中的chrome
const arr = dataLine.split(' -- ');
if(arr[2] && arr[2].indexOf('Chrome') > 0){
chromeNum ++ ;
}
})rl.on('close' , () => {
console.log('占比为',chromeNum / sum)
})说到这里关于日志的处理过程就叙述完毕，再来总结以下整个的过程I/O读取，stream读取，使用stream进行日志管理，日志拆分，日志分析
