面试题：JavaScript Node流的性能优化

流的事件处理优化

data 事件：在 data 事件中处理每一块数据，而不是等待所有数据都读取完。这样可以及时处理数据，避免数据在内存中堆积。

const fs = require('fs');
const readableStream = fs.createReadStream('largeLogFile.log');
readableStream.on('data', (chunk) => {
    // 处理每一块数据
    console.log('Received a chunk of data:', chunk.length);
});

end 事件：在 data 事件处理完所有数据块后，end 事件会触发，可在此进行收尾工作，如关闭连接、记录处理结果等。

readableStream.on('end', () => {
    console.log('All data has been read and processed.');
});

error 事件：在读取过程中，如果发生错误，error 事件会触发。及时捕获错误并处理，避免程序崩溃。

readableStream.on('error', (err) => {
    console.error('An error occurred while reading the file:', err);
});

背压处理

当可读流产生数据的速度快于可写流处理数据的速度时，会出现背压问题。为了处理背压，可以使用 pause() 和 resume() 方法。

手动控制：在可写流的 drain 事件中，判断缓冲区是否已满。如果已满，暂停可读流；当缓冲区有空间时，恢复可读流。

const fs = require('fs');
const readableStream = fs.createReadStream('largeLogFile.log');
const writeableStream = fs.createWriteStream('output.log');

readableStream.on('data', (chunk) => {
    const writeResult = writeableStream.write(chunk);
    if (!writeResult) {
        // 缓冲区已满，暂停可读流
        readableStream.pause();
    }
});

writeableStream.on('drain', () => {
    // 缓冲区有空间，恢复可读流
    readableStream.resume();
});

管道（pipe）自动处理：使用 pipe 方法连接可读流和可写流，Node.js 会自动处理背压。

const fs = require('fs');
const readableStream = fs.createReadStream('largeLogFile.log');
const writeableStream = fs.createWriteStream('output.log');
readableStream.pipe(writeableStream);

缓冲区管理

设置合适的 highWaterMark：highWaterMark 是缓冲区的大小。对于可读流，它表示内部缓冲区的最大大小；对于可写流，它表示写入缓冲区的最大大小。可以根据系统内存和数据处理需求设置合适的值。默认情况下，highWaterMark 为 64KB（可读流）和 16KB（可写流）。

const fs = require('fs');
// 设置可读流的 highWaterMark 为 32KB
const readableStream = fs.createReadStream('largeLogFile.log', { highWaterMark: 32 * 1024 });
const writeableStream = fs.createWriteStream('output.log', { highWaterMark: 8 * 1024 });
readableStream.pipe(writeableStream);

清空缓冲区：在处理完数据块后，可以手动清空缓冲区（虽然 pipe 方法通常会自动管理）。对于可写流，可以通过 writeableStream.cork() 和 writeableStream.uncork() 方法。cork() 方法会将数据写入内部缓冲区，而 uncork() 方法会将缓冲区的数据刷新到目标流。

const fs = require('fs');
const writeableStream = fs.createWriteStream('output.log');
writeableStream.cork();
// 写入一些数据
writeableStream.write('Some data to buffer');
writeableStream.uncork();

通过以上从流的事件处理、背压处理和缓冲区管理等方面的优化措施，可以有效地处理大日志文件，避免内存溢出问题。

星途面试题库

面试题：JavaScript Node流的性能优化

知识考点

面试题答案

流的事件处理优化

背压处理

缓冲区管理