面试题：Redis定期复制MySQL数据到Redis的压缩存储方法之数据一致性问题

确保MySQL与Redis数据一致性的方法

使用事务：在MySQL中开启事务，确保从读取数据到写入Redis这一系列操作的原子性。例如，在Java中使用JDBC时：

Connection conn = DriverManager.getConnection(url, username, password);
try {
    conn.setAutoCommit(false);
    // 执行MySQL读取操作
    Statement stmt = conn.createStatement();
    ResultSet rs = stmt.executeQuery("SELECT * FROM your_table");
    // 将数据写入Redis
    Jedis jedis = new Jedis("localhost");
    while (rs.next()) {
        String key = rs.getString("primary_key_column");
        String value = rs.getString("data_column");
        jedis.set(key, value);
    }
    conn.commit();
    jedis.close();
} catch (SQLException e) {
    try {
        conn.rollback();
    } catch (SQLException ex) {
        ex.printStackTrace();
    }
    e.printStackTrace();
}

使用缓存更新策略：
- 读写穿透：应用程序先从Redis读取数据，如果不存在则从MySQL读取，然后将数据写入Redis。写入数据时，先更新MySQL，再更新Redis。
- 异步更新：使用消息队列（如Kafka、RabbitMQ），当MySQL数据更新时，发送一条消息到队列，消费者从队列中获取消息并更新Redis。例如在Spring Boot中结合RabbitMQ：
  - 生产者：

import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class MysqlUpdateProducer {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    public void sendMysqlUpdateMessage(String message) {
        rabbitTemplate.convertAndSend("mysql-update-exchange", "mysql-update-routing-key", message);
    }
}

    - 消费者：

import com.alibaba.fastjson.JSONObject;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import redis.clients.jedis.Jedis;

@Component
public class RedisUpdateConsumer {
    @Autowired
    private Jedis jedis;

    @RabbitListener(queues = "mysql-update-queue")
    public void handleMysqlUpdateMessage(String message) {
        JSONObject jsonObject = JSONObject.parseObject(message);
        String key = jsonObject.getString("key");
        String value = jsonObject.getString("value");
        jedis.set(key, value);
    }
}

处理网络故障或其他异常情况保证数据准确同步的措施

重试机制：在出现网络故障等异常时，设置重试次数和重试间隔。例如在Python中使用tenacity库：

from tenacity import retry, stop_after_attempt, wait_fixed

@retry(stop=stop_after_attempt(3), wait=wait_fixed(2))
def sync_data():
    # 连接MySQL和Redis，执行同步操作
    pass

数据校验与修复：定期对比MySQL和Redis的数据，可以使用哈希值对比。计算MySQL表中数据的哈希值（如使用MD5），与Redis中存储的哈希值对比。如果不一致，重新同步数据。例如在Python中：

import hashlib
import pymysql
import redis

def calculate_mysql_hash():
    conn = pymysql.connect(host='localhost', user='root', password='password', database='your_database')
    cursor = conn.cursor()
    cursor.execute("SELECT * FROM your_table")
    data = cursor.fetchall()
    hash_object = hashlib.md5(str(data).encode())
    conn.close()
    return hash_object.hexdigest()

def calculate_redis_hash():
    r = redis.Redis(host='localhost', port=6379, db=0)
    keys = r.keys('*')
    data = []
    for key in keys:
        data.append(r.get(key))
    hash_object = hashlib.md5(str(data).encode())
    return hash_object.hexdigest()

if calculate_mysql_hash() != calculate_redis_hash():
    # 重新同步数据
    pass

日志记录：记录每次同步操作的详细信息，包括开始时间、结束时间、是否成功、出现的异常等。这样在出现问题时可以快速定位和分析。例如在Java中使用log4j：

<appender name="FILE" class="org.apache.log4j.FileAppender">
    <param name="File" value="sync.log"/>
    <layout class="org.apache.log4j.PatternLayout">
        <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"/>
    </layout>
</appender>
<root>
    <priority value ="debug" />
    <appender-ref ref="FILE" />
</root>

import org.apache.log4j.Logger;

public class DataSync {
    private static final Logger logger = Logger.getLogger(DataSync.class);
    public void sync() {
        try {
            // 同步操作
            logger.info("Data sync completed successfully");
        } catch (Exception e) {
            logger.error("Data sync failed", e);
        }
    }
}

星途面试题库

面试题：Redis定期复制MySQL数据到Redis的压缩存储方法之数据一致性问题

知识考点

面试题答案

确保MySQL与Redis数据一致性的方法

处理网络故障或其他异常情况保证数据准确同步的措施