面试题：Go语言中如何利用管道实现简单的大数据分块处理

Question

假设你有一个非常大的数据集，需要逐块读取并处理，简述如何使用Go的管道来实现这个过程。请说明涉及的主要步骤，并给出简单的代码示例（不需要完整可运行，核心逻辑即可）。

Answer 1

1. 主要步骤：
   • 创建管道：使用make(chan dataType)创建用于传输数据块的管道，dataType是数据块的数据类型。
   • 数据读取函数：编写一个函数，该函数负责逐块读取大数据集，并将数据块发送到管道中。读取完成后关闭管道。
   • 数据处理函数：编写一个或多个函数，从管道中接收数据块并进行相应的处理。
2. 代码示例：

package main

import (
    "fmt"
)

// 假设数据块是字符串类型
type DataChunk string

// 模拟读取数据块的函数
func readData(ch chan DataChunk) {
    // 模拟从大文件逐块读取数据
    data := []DataChunk{"chunk1", "chunk2", "chunk3"}
    for _, chunk := range data {
        ch <- chunk
    }
    close(ch)
}

// 模拟处理数据块的函数
func processData(ch chan DataChunk) {
    for chunk := range ch {
        // 处理数据块
        fmt.Println("Processing:", chunk)
    }
}