面试题：Node.js 文件系统与HTTP集成之高性能优化

可能出现的性能瓶颈

I/O 阻塞：频繁读取大文件时，传统的同步 I/O 操作会阻塞事件循环，导致服务器无法处理其他请求，降低并发性能。
内存占用：一次性将大文件读入内存可能导致内存占用过高，甚至引发内存溢出错误，特别是在高并发情况下，每个请求都进行这样的操作，内存压力巨大。
网络传输：大文件的网络传输速度可能成为瓶颈，特别是在客户端网络带宽有限的情况下，长时间占用网络连接，影响服务器处理其他请求。

优化方案及代码实现

使用异步 I/O 操作
- 方案说明：Node.js 提供了 fs 模块的异步方法，如 fs.readFile 的异步版本 fs.readFile（默认就是异步），以及更强大的 fs.createReadStream。这些方法不会阻塞事件循环，允许服务器在等待文件读取完成的同时处理其他请求。
- 代码实现：

const http = require('http');
const fs = require('fs');
const path = require('path');

const server = http.createServer((req, res) => {
    const filePath = path.join(__dirname, 'largeFile.txt');
    const readStream = fs.createReadStream(filePath);
    readStream.pipe(res);
    readStream.on('error', (err) => {
        res.statusCode = 500;
        res.end('Error reading file');
    });
});

const port = 3000;
server.listen(port, () => {
    console.log(`Server running on port ${port}`);
});

分块读取与渐进式传输
- 方案说明：通过 fs.createReadStream 配合 highWaterMark 参数设置每次读取的块大小，然后逐步将数据发送给客户端，减少内存占用，同时也能让客户端更快地开始接收数据。
- 代码实现：

const http = require('http');
const fs = require('fs');
const path = require('path');

const server = http.createServer((req, res) => {
    const filePath = path.join(__dirname, 'largeFile.txt');
    const readStream = fs.createReadStream(filePath, { highWaterMark: 16384 }); // 设置块大小为16KB
    readStream.on('data', (chunk) => {
        res.write(chunk);
    });
    readStream.on('end', () => {
        res.end();
    });
    readStream.on('error', (err) => {
        res.statusCode = 500;
        res.end('Error reading file');
    });
});

const port = 3000;
server.listen(port, () => {
    console.log(`Server running on port ${port}`);
});

缓存机制
- 方案说明：对于频繁读取的大文件，可以在内存或磁盘中设置缓存。如果文件在一定时间内没有被修改，再次请求时直接从缓存中读取，减少 I/O 操作。
- 代码实现（简单内存缓存示例）：

const http = require('http');
const fs = require('fs');
const path = require('path');

const cache = {};

const server = http.createServer((req, res) => {
    const filePath = path.join(__dirname, 'largeFile.txt');
    if (cache[filePath]) {
        res.write(cache[filePath]);
        res.end();
    } else {
        const readStream = fs.createReadStream(filePath);
        let data = '';
        readStream.on('data', (chunk) => {
            data += chunk;
        });
        readStream.on('end', () => {
            cache[filePath] = data;
            res.write(data);
            res.end();
        });
        readStream.on('error', (err) => {
            res.statusCode = 500;
            res.end('Error reading file');
        });
    }
});

const port = 3000;
server.listen(port, () => {
    console.log(`Server running on port ${port}`);
});

压缩传输
- 方案说明：在将文件发送给客户端之前，对文件内容进行压缩，减少网络传输的数据量，提高传输速度。Node.js 可以使用 zlib 模块实现压缩。
- 代码实现：

const http = require('http');
const fs = require('fs');
const path = require('path');
const zlib = require('zlib');

const server = http.createServer((req, res) => {
    const filePath = path.join(__dirname, 'largeFile.txt');
    const readStream = fs.createReadStream(filePath);
    const gzip = zlib.createGzip();
    res.setHeader('Content-Encoding', 'gzip');
    readStream.pipe(gzip).pipe(res);
    readStream.on('error', (err) => {
        res.statusCode = 500;
        res.end('Error reading file');
    });
});

const port = 3000;
server.listen(port, () => {
    console.log(`Server running on port ${port}`);
});

星途面试题库

面试题：Node.js 文件系统与HTTP集成之高性能优化

知识考点

面试题答案

可能出现的性能瓶颈

优化方案及代码实现