面试题：MongoDB中批量插入数据的方法及注意事项

Question

在MongoDB中，阐述使用`insertMany`方法进行批量插入数据的具体操作方式，以及在批量插入时可能会遇到哪些常见问题，如何避免这些问题？

Answer 1

insertMany方法批量插入数据操作方式

1. 语法格式： 在Node.js的MongoDB驱动中，使用insertMany方法批量插入数据的基本语法如下：

const { MongoClient } = require('mongodb');

// 连接URL
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);

async function run() {
    try {
        await client.connect();
        const database = client.db('testDB');
        const collection = database.collection('testCollection');

        const documents = [
            { name: 'John', age: 25 },
            { name: 'Jane', age: 30 }
        ];

        const result = await collection.insertMany(documents);
        console.log(result.insertedIds);
    } finally {
        await client.close();
    }
}
run().catch(console.dir);

在上述代码中： - 首先创建了MongoDB客户端实例并连接到指定的MongoDB服务。 - 选择数据库（testDB）和集合（testCollection）。 - 定义一个包含多个文档的数组documents。 - 使用insertMany方法将数组中的文档批量插入到集合中。insertMany方法返回一个Promise，解析后的结果包含插入文档的insertedIds数组。

2. 其他编程语言示例（Python）：

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/')
db = client['testDB']
collection = db['testCollection']

documents = [
    {'name': 'John', 'age': 25},
    {'name': 'Jane', 'age': 30}
]

result = collection.insert_many(documents)
print(result.inserted_ids)

Python示例中，使用pymongo库连接MongoDB，选择数据库和集合后，通过insert_many方法进行批量插入，同样返回插入文档的inserted_ids。

批量插入时常见问题及避免方法

1. 重复键错误：
   • 问题描述：如果集合中有唯一索引，批量插入的数据中包含重复键值时，插入操作会失败，并抛出重复键错误。例如，如果对name字段创建了唯一索引，插入两个name为John的文档就会出错。
   • 避免方法：在插入前对数据进行去重处理，或者使用upsert操作。upsert操作在遇到重复键时不会报错，而是更新已存在的文档。在Node.js中，使用updateOne或updateMany方法并设置upsert: true选项实现。如：

const { MongoClient } = require('mongodb');
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);

async function run() {
    try {
        await client.connect();
        const database = client.db('testDB');
        const collection = database.collection('testCollection');

        const document = { name: 'John', age: 25 };

        const result = await collection.updateOne(
            { name: document.name },
            { $set: document },
            { upsert: true }
        );
        console.log(result.upsertedId || result.modifiedCount);
    } finally {
        await client.close();
    }
}
run().catch(console.dir);

2. 内存问题：
   • 问题描述：如果批量插入的数据量非常大，可能会导致内存占用过高，甚至引发内存溢出错误。因为在插入操作执行前，所有要插入的数据都需要存储在内存中。
   • 避免方法：分批次插入数据，将大数据集拆分成多个较小的数据集进行插入。例如，将一个包含10000条记录的数组，拆分成100个包含100条记录的子数组，依次进行插入。在Node.js中可以如下实现：

const { MongoClient } = require('mongodb');
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);

async function run() {
    try {
        await client.connect();
        const database = client.db('testDB');
        const collection = database.collection('testCollection');

        const largeDocumentsArray = Array.from({ length: 10000 }, (_, i) => ({ id: i, data: 'Some data' }));
        const batchSize = 100;

        for (let i = 0; i < largeDocumentsArray.length; i += batchSize) {
            const batch = largeDocumentsArray.slice(i, i + batchSize);
            await collection.insertMany(batch);
        }
    } finally {
        await client.close();
    }
}
run().catch(console.dir);

3. 网络问题：
   • 问题描述：在批量插入过程中，如果网络不稳定，可能会导致部分数据插入成功，部分失败，且难以确定具体哪些数据插入失败。
   • 避免方法：启用MongoDB的写关注（Write Concern）机制，确保数据成功写入到指定的副本集节点或整个副本集。通过设置合适的写关注级别，可以提高数据插入的可靠性。在Node.js中，可以在insertMany方法调用时设置写关注参数。例如：

const { MongoClient } = require('mongodb');
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);

async function run() {
    try {
        await client.connect();
        const database = client.db('testDB');
        const collection = database.collection('testCollection');

        const documents = [
            { name: 'John', age: 25 },
            { name: 'Jane', age: 30 }
        ];

        const result = await collection.insertMany(documents, { writeConcern: { w: 'majority' } });
        console.log(result.insertedIds);
    } finally {
        await client.close();
    }
}
run().catch(console.dir);

这里w: 'majority'表示等待大多数副本集节点确认写入成功，以此提高数据写入的可靠性。