面试题：Redis在MySQL批量数据处理中的角色及简单应用

Redis在基于Redis的MySQL批量数据处理流程中的角色

缓存角色：
- 缓存经常查询的数据，减少对MySQL的直接查询压力。例如，在一个电商系统中，商品的基本信息（如名称、简介等）可以缓存在Redis中。当用户频繁查询商品信息时，先从Redis中获取数据，如果存在则直接返回，避免大量对MySQL商品表的查询。这样可以显著提高系统响应速度，同时减轻MySQL的负载。
- 缓存MySQL查询结果集。比如，在一个报表系统中，某些复杂的统计查询结果（如按月份统计的销售总额）可以缓存在Redis中。当再次请求相同的报表数据时，直接从Redis获取，而不需要重新在MySQL中执行复杂的查询语句。
队列角色：
- 作为数据缓冲队列，将需要批量处理的数据先放入Redis队列中。例如，在一个日志收集系统中，客户端产生的大量日志数据先发送到Redis队列。然后，后台程序从Redis队列中批量取出日志数据，经过一定的处理后再批量插入到MySQL的日志表中。这样可以避免因MySQL瞬间接收大量数据而导致的性能问题，同时可以对数据进行统一的批量处理，提高处理效率。
- 用于异步任务队列。在用户注册系统中，注册成功后可能需要进行一些额外的操作，如发送欢迎邮件、初始化用户相关的配置等。可以将这些任务封装成消息放入Redis队列，由后台的任务处理程序从队列中取出任务并执行，而不影响MySQL对用户注册数据的插入操作，实现业务解耦和异步处理。

利用Redis特性辅助MySQL批量插入或更新操作示例

利用Redis缓存辅助批量插入：假设我们要向MySQL的user表中批量插入用户数据，并且在插入前需要检查用户名是否已存在。

步骤如下：

首先，在Python中使用redis - py库连接Redis，使用pymysql库连接MySQL。

import redis
import pymysql

r = redis.Redis(host='localhost', port = 6379, db = 0)
conn = pymysql.connect(host='localhost', user='root', password='password', database='test')
cursor = conn.cursor()

假设有一批用户数据user_list = [('user1', 'password1'), ('user2', 'password2')]。
遍历用户数据，先从Redis中检查用户名是否存在：

for user, pwd in user_list:
    if r.exists(user):
        print(f'用户 {user} 已存在')
        continue
    r.set(user, pwd)  # 将用户名和密码缓存到Redis

然后将不存在的用户数据批量插入到MySQL：

sql = "INSERT INTO user (username, password) VALUES (%s, %s)"
cursor.executemany(sql, [(user, pwd) for user, pwd in user_list if r.exists(user)])
conn.commit()

利用Redis队列辅助批量更新：假设我们要更新MySQL中product表的商品库存信息，并且有大量的库存更新请求。

步骤如下：

同样先连接Redis和MySQL：

import redis
import pymysql

r = redis.Redis(host='localhost', port = 6379, db = 0)
conn = pymysql.connect(host='localhost', user='root', password='password', database='test')
cursor = conn.cursor()

假设有库存更新数据update_list = [('product1', 10), ('product2', 20)]，表示商品product1库存更新为10，product2库存更新为20。
将更新数据放入Redis队列：

for product, stock in update_list:
    r.rpush('product_stock_update_queue', f'{product}:{stock}')

后台程序从Redis队列中批量取出数据并更新MySQL：

while True:
    data = r.lrange('product_stock_update_queue', 0, 9)  # 每次取出10条数据
    if not data:
        break
    update_sql = "UPDATE product SET stock = %s WHERE product_name = %s"
    update_values = []
    for item in data:
        product, stock = item.decode('utf - 8').split(':')
        update_values.append((int(stock), product))
    cursor.executemany(update_sql, update_values)
    conn.commit()
    r.ltrim('product_stock_update_queue', len(data), -1)  # 删除已处理的数据

星途面试题库

面试题：Redis在MySQL批量数据处理中的角色及简单应用

知识考点

面试题答案

Redis在基于Redis的MySQL批量数据处理流程中的角色

利用Redis特性辅助MySQL批量插入或更新操作示例