面试题：Node.js Stream类型应用与性能优化

利用Node.js Stream设计解决方案

可读流（Readable Stream）：用于读取小文件。通过fs.createReadStream创建，设置highWaterMark以控制缓冲区大小，避免一次性读取过多数据。例如：

const fs = require('fs');
const readableStream = fs.createReadStream('sourceFile.txt', { highWaterMark: 64 * 1024 });

可写流（Writable Stream）：用于将转换后的数据写入到另一个存储位置，如通过fs.createWriteStream创建目标文件的可写流：

const fs = require('fs');
const writableStream = fs.createWriteStream('destinationFile.txt');

转换流（Transform Stream）：在读取和写入之间对文件内容进行转换。可以继承stream.Transform类来自定义转换逻辑。例如：

const { Transform } = require('stream');
class MyTransform extends Transform {
  constructor() {
    super();
  }
  _transform(chunk, encoding, callback) {
    // 在此处进行内容转换
    const transformedChunk = chunk.toString().toUpperCase();
    callback(null, transformedChunk);
  }
}
const transformStream = new MyTransform();

双工流（Duplex Stream）：如果转换逻辑涉及到双向数据流动，可以使用双工流。不过在该场景下，一般转换流足以满足需求。

将这些流连接起来，实现高效处理：

readableStream.pipe(transformStream).pipe(writableStream);

可能遇到的性能瓶颈及优化

磁盘I/O瓶颈：
- 原因：大量小文件的读取和写入会导致频繁的磁盘I/O操作，磁盘的寻道时间和读写速度可能成为瓶颈。
- 优化：使用异步I/O操作，如fs.createReadStream和fs.createWriteStream本身就是异步的。可以考虑使用缓存，例如node-cache，对于重复读取的小文件内容进行缓存，减少磁盘I/O。还可以对文件进行预读取和预写入调度，合理安排I/O操作顺序。
内存使用瓶颈：
- 原因：如果缓冲区设置不合理，或者转换逻辑中产生过多的中间数据，可能导致内存占用过高。
- 优化：合理设置highWaterMark，控制可读流和可写流的缓冲区大小。在转换逻辑中，避免创建过多不必要的中间变量，及时释放不再使用的内存空间。例如在_transform方法中，处理完数据后尽快调用callback，让流继续处理后续数据。
网络瓶颈（若写入到网络存储）：
- 原因：如果写入目标是网络存储，网络带宽和延迟会影响性能。
- 优化：使用连接池管理网络连接，减少连接建立和断开的开销。可以对数据进行压缩后再传输，如使用zlib模块。还可以通过调整网络请求的并发数，根据网络状况动态调整，避免过多请求导致网络拥塞。

星途面试题库

面试题：Node.js Stream类型应用与性能优化

知识考点

面试题答案

利用Node.js Stream设计解决方案

可能遇到的性能瓶颈及优化