面试题：Go匿名函数在高并发分布式系统中的应用与优化

设计思路

进度跟踪：使用一个结构体来记录每个切片的上传进度，通过一个全局的映射来存储所有切片的进度信息。在上传过程中，不断更新这个映射。
失败重试：利用Go语言的goroutine和channel来管理上传任务。当某个goroutine检测到上传失败时，通过channel通知调度器，调度器将该切片重新分配到其他可用节点。
性能优化：
- 限制并发数，避免过多的并发请求导致资源耗尽。可以使用sync.Semaphore来控制并发数。
- 使用连接池来管理与存储节点的连接，减少连接建立和销毁的开销。

关键部分代码示例

package main

import (
    "fmt"
    "sync"
    "time"
)

// 定义切片上传任务
type UploadTask struct {
    sliceID  int
    nodeID   int
    progress float32
}

// 全局变量
var (
    taskProgressMap = make(map[int]float32)
    availableNodes  = []int{1, 2, 3, 4}
    semaphore       = make(chan struct{}, 5) // 限制并发数为5
    wg              sync.WaitGroup
)

func uploadSlice(task UploadTask, done chan<- bool) {
    defer wg.Done()
    semaphore <- struct{}{} // 获取信号量
    defer func() { <-semaphore }() // 释放信号量

    fmt.Printf("开始上传切片 %d 到节点 %d\n", task.sliceID, task.nodeID)
    for i := 0; i < 100; i++ {
        time.Sleep(50 * time.Millisecond)
        task.progress = float32(i) / 100
        taskProgressMap[task.sliceID] = task.progress
        fmt.Printf("切片 %d 上传进度: %.2f%%\n", task.sliceID, task.progress*100)
    }

    // 模拟上传失败
    if task.sliceID%3 == 0 {
        fmt.Printf("切片 %d 上传到节点 %d 失败\n", task.sliceID, task.nodeID)
        done <- false
        return
    }
    fmt.Printf("切片 %d 上传到节点 %d 成功\n", task.sliceID, task.nodeID)
    done <- true
}

func scheduler(tasks []UploadTask) {
    for _, task := range tasks {
        done := make(chan bool)
        wg.Add(1)
        go uploadSlice(task, done)

        go func() {
            success := <-done
            if!success {
                // 重新分配任务
                newNode := availableNodes[(task.nodeID+1)%len(availableNodes)]
                newTask := UploadTask{
                    sliceID:  task.sliceID,
                    nodeID:   newNode,
                    progress: 0,
                }
                fmt.Printf("重新分配切片 %d 到节点 %d\n", task.sliceID, newNode)
                wg.Add(1)
                go uploadSlice(newTask, done)
            }
        }()
    }
    wg.Wait()
}

func main() {
    tasks := []UploadTask{
        {sliceID: 1, nodeID: 1, progress: 0},
        {sliceID: 2, nodeID: 2, progress: 0},
        {sliceID: 3, nodeID: 3, progress: 0},
    }
    scheduler(tasks)
}

代码说明

UploadTask结构体：用于表示一个切片的上传任务，包含切片ID、节点ID和上传进度。
taskProgressMap：全局映射，用于存储每个切片的上传进度。
availableNodes：存储所有可用的节点ID。
semaphore：用于限制并发数的channel。
uploadSlice函数：负责单个切片的上传，在上传过程中更新进度，并模拟上传失败的情况。
scheduler函数：调度器，负责启动所有上传任务，并处理上传失败时的重新分配。
main函数：创建一些示例任务并启动调度器。

星途面试题库

面试题：Go匿名函数在高并发分布式系统中的应用与优化

知识考点

面试题答案

设计思路

关键部分代码示例

代码说明