如果你的程序收到以下错误,或者需要大容量写入很多内容(几十几百MB甚至GB级别),则必须使用Stream文件流甚至更高级的技术。
Error: EMFILE, too many open files
业务场景,我们有一个IntradayMissingRecord的补全功能,每天大概是80-100W级别,如果需要在几分钟内把这么多记录写入到文件,需要根据某incremental逻辑去加载当天/当时间段所有记录,并且遍历并写入到一个文件中,这个时候createWriteStream可以更好的优化。
而且个人更推荐设置autoClose:true的设置,那么文件流系统会自动在内容写入之后和退出方法之后进行关闭。
首先,Stream (流,通常指文件流)是一个抽象接口,Node 中有很多对象实现了这个接口。例如,对http 服务器发起请求的request 对象就是一个 Stream,还有stdout(标准输出)。
Node.js,Stream 有四种流类型:
Readable?- 可读操作。
Writable?- 可写操作。
Duplex?- 可读可写操作.
Transform?- 操作被写入数据,然后读出结果。
所有的 Stream 对象都是 EventEmitter 的实例。常用的事件有:
data?- 当有数据可读时触发。
end?- 没有更多的数据可读时触发。
error?- 在接收和写入过程中发生错误时触发。
finish?- 所有数据已被写入到底层系统时触发。
/*
@params:path指定文件的路径
@params:options可选,是一个JS对象,可以指定一些选项如:
let option={
? ? ? ? ? ? ? flags: 'w',//指定用什么模式打开文件,’w’代表写,’r’代表读,类似的还有’r+’、’w+’、’a’等
? ? ? ? ? ? ? encoding: 'utf8',//指定打开文件时使用编码格式,默认就是“utf8”,你还可以为它指定”ascii”或”base64”
? ? ? ? ? ? ? fd: null,//fd属性默认为null,当你指定了这个属性时,createReadableStream会根据传入的fd创建一个流,忽略path。另外你要是想读取一个文件的特定区域,可以配置start、end属性,指定起始和结束(包含在内)的字节偏移
? ? ? ? ? ? ? mode: 0666,//通常不建议修改
? ? ? ? ? ? ? autoClose: true//autoClose属性为true(默认行为)时,当发生错误或文件读取结束时会自动关闭文件描述符
? ? ? ? ? }
const fs = require('fs')
//by zhengkai.blog.csdn.net
async function main() {
let datax = "XXXX"
const writeStreamFile = fs.createWriteStream('stream.txt', {flags: 'w',encoding:'utf-8',autoClose:true});
//write first line
writeStreamFile.write(datax);
datax=""
for (let index = 0; index < 100000; index++) {
datax=index+"___"
writeStreamFile.write(datax);
}
}
try {
main()
} catch (err) {
console.error('###### global err', err)
}