面试题：Node.js Stream在高并发日志聚合中的优化策略与实践

可读流：
- 高水位线（highWaterMark）：合理设置可读流的highWaterMark属性，它决定了内部缓冲区的大小。在高并发日志聚合场景下，如果日志数据量较大，可以适当调大highWaterMark，减少数据读取的频率。例如，默认highWaterMark是64KB，可以根据实际情况调整到128KB或更高，但不宜过大，否则会占用过多内存。
- 暂停模式：在不需要立即处理数据时，将可读流切换到暂停模式（stream.pause()）。当有处理能力时，再调用stream.resume()。这样可以避免在处理能力不足时，过多数据涌入缓冲区。
可写流：
- 自动排水（autoDestroy）：设置可写流的autoDestroy为true，当流发生错误或者结束时，自动释放相关资源，避免资源泄漏。例如在日志写入文件的可写流场景下，如果写入过程中出现错误，流会自动销毁，不会残留未关闭的文件句柄等资源。
- 对象模式（objectMode）：如果处理的日志数据是对象而不是二进制数据，可以开启可写流的objectMode。这样流不会对数据进行缓冲，直接处理对象，减少内存占用。

可读流缓冲区：
- 监听'data'事件：通过监听可读流的data事件，及时处理数据，防止缓冲区溢出。在处理函数中，尽快将数据传递给下一个处理阶段，比如传递给可写流进行聚合。例如：
```
const readableStream = getReadableStream();
readableStream.on('data', (chunk) => {
    // 处理日志数据chunk
    writeStream.write(chunk);
});
```
- 清空缓冲区：当处理完缓冲区数据后，可以手动调用stream.read()方法，从缓冲区读取并返回数据，以清空缓冲区，为后续数据接收做准备。
可写流缓冲区：
- 背压处理：当可写流的缓冲区已满（达到highWaterMark）时，会产生背压。可以通过监听可写流的drain事件来处理背压。当drain事件触发时，表明可写流又有空间可以写入数据了。例如：
```
const writeStream = getWriteStream();
const writeData = (chunk) => {
    const writeResult = writeStream.write(chunk);
    if (!writeResult) {
        writeStream.once('drain', () => {
            writeStream.write(chunk);
        });
    }
};
```
- 缓冲区大小调整：根据实际写入速度和数据量，动态调整可写流的highWaterMark。如果写入速度较慢，可以适当调小highWaterMark，减少缓冲区占用内存；如果写入速度快，可以适当调大。

可读流错误处理：
- 监听'error'事件：为可读流添加error事件监听器，捕获读取数据过程中可能出现的错误，如文件不存在（如果是从文件读取日志）、网络连接中断等。例如：
```
const readableStream = getReadableStream();
readableStream.on('error', (err) => {
    console.error('可读流错误:', err);
    // 进行相应的错误处理，如重试、记录错误日志等
});
```
可写流错误处理：
- 监听'error'事件：可写流同样要监听error事件，处理写入数据时的错误，如磁盘空间不足（如果写入文件）、网络写入失败等。例如：
```
const writeStream = getWriteStream();
writeStream.on('error', (err) => {
    console.error('可写流错误:', err);
    // 进行错误处理，如停止写入、通知相关系统等
});
```

在一个大型电商平台的日志聚合项目中，每天会产生大量的用户行为日志，需要进行实时聚合分析。我们使用Node.js Stream来处理日志数据。

优化前问题：
- 由于日志数据量巨大，经常出现资源竞争，导致部分日志丢失。
- 背压问题严重，可写流缓冲区满了之后，可读流还在不断读取数据，最终导致程序内存溢出崩溃。
优化策略实施：
- 流的配置：
  - 对于从日志文件读取数据的可读流，将highWaterMark从默认的64KB调整到256KB，减少文件I/O次数。
  - 对于写入数据库的可写流，设置autoDestroy为true，防止数据库连接泄漏。
- 缓冲区管理：
  - 在可读流的data事件处理函数中，及时将数据传递给可写流，并使用drain事件处理可写流的背压。
  - 定期检查并清空缓冲区，确保内存占用稳定。
- 错误处理：
  - 为可读流和可写流都添加了详细的error事件处理，对于可读流读取文件失败的情况，进行重试3次，对于可写流写入数据库失败的情况，记录错误日志并通知运维人员。
优化效果：经过优化后，系统的稳定性大幅提升，日志丢失率从10%降低到了1%以下，内存溢出问题也不再出现，能够稳定处理高并发的日志聚合任务。

星途面试题库