面试题：Go日志包自定义格式与日志系统架构优化

日志系统架构设计

自定义格式实现方式

定义日志结构体：在Go中创建一个结构体来表示日志记录。例如：

type CustomLog struct {
    Timestamp string
    Module    string
    Level     string
    Message   string
    // 可以添加更多自定义字段，如请求ID等
    RequestID string
}

实现格式化函数：实现一个函数将 CustomLog 结构体格式化为所需的字符串格式。例如：

func formatLog(log CustomLog) string {
    return fmt.Sprintf("%s [%s] [%s] %s - RequestID: %s", log.Timestamp, log.Module, log.Level, log.Message, log.RequestID)
}

使用Go的日志包钩子：Go的日志包（如 log 包或第三方日志包，如 zap）支持钩子（Hook）机制。通过实现钩子接口，在日志写入前对日志记录进行自定义格式化。以 zap 为例：

type CustomHook struct{}
func (h *CustomHook) Fire(entry zapcore.Entry) error {
    customLog := CustomLog{
        Timestamp: entry.Time.Format(time.RFC3339),
        Module:    "your - module - name",
        Level:     entry.Level.String(),
        Message:   entry.Message,
        // 假设从上下文获取RequestID，实际实现可能更复杂
        RequestID: getRequestIDFromContext(entry.Context),
    }
    formattedLog := formatLog(customLog)
    // 将格式化后的日志输出到指定位置，如标准输出或文件
    fmt.Println(formattedLog)
    return nil
}
func (h *CustomHook) Levels() []zapcore.Level {
    return zap.LevelEnablerFunc(func(lvl zapcore.Level) bool {
        return true
    }).Levels()
}

然后在初始化 zap 日志记录器时添加这个钩子：

hook := &CustomHook{}
logger, err := zap.NewProduction(zap.Hooks(hook))
if err != nil {
    panic(err)
}
defer logger.Sync()

与分布式系统各个组件协同工作

上下文传递：在分布式系统中，使用上下文（context.Context）来传递日志相关信息，如模块名称、请求ID等。在每个组件的入口处，从上下文中提取或设置这些信息。例如：

func someComponent(ctx context.Context) {
    moduleName := "component - name"
    requestID := generateRequestID()
    ctx = context.WithValue(ctx, "module", moduleName)
    ctx = context.WithValue(ctx, "requestID", requestID)
    // 执行组件逻辑
    logger := getLoggerFromContext(ctx)
    logger.Info("Component started")
}

统一日志接口：为分布式系统中的各个组件提供统一的日志接口。这个接口封装了日志记录操作，并根据上下文信息自动填充日志结构体的相应字段。例如：

type Logger interface {
    Info(ctx context.Context, msg string)
    Error(ctx context.Context, msg string, err error)
}
type DefaultLogger struct{}
func (l *DefaultLogger) Info(ctx context.Context, msg string) {
    module := ctx.Value("module").(string)
    requestID := ctx.Value("requestID").(string)
    customLog := CustomLog{
        Timestamp: time.Now().Format(time.RFC3339),
        Module:    module,
        Level:     "INFO",
        Message:   msg,
        RequestID: requestID,
    }
    formattedLog := formatLog(customLog)
    // 输出日志
    fmt.Println(formattedLog)
}
func (l *DefaultLogger) Error(ctx context.Context, msg string, err error) {
    // 类似Info方法，增加错误信息处理
    module := ctx.Value("module").(string)
    requestID := ctx.Value("requestID").(string)
    customLog := CustomLog{
        Timestamp: time.Now().Format(time.RFC3339),
        Module:    module,
        Level:     "ERROR",
        Message:   fmt.Sprintf("%s: %v", msg, err),
        RequestID: requestID,
    }
    formattedLog := formatLog(customLog)
    fmt.Println(formattedLog)
}

优化日志的存储和检索性能
- 日志存储：
  - 使用分布式文件系统：如Ceph、GlusterFS等，将日志文件分布式存储，提高存储的可靠性和扩展性。
  - 按时间和模块分区：将日志按时间（如每天、每周）和模块进行分区存储。例如，将每天的某个模块的日志存储在一个单独的文件或目录中，便于管理和清理。
- 日志检索：
  - 使用日志索引：采用倒排索引等技术为日志建立索引。可以使用专门的日志索引工具，如Elasticsearch。将日志记录中的关键信息（如时间、模块、请求ID等）作为索引字段，以便快速检索。
  - 优化查询语句：在进行日志检索时，优化查询语句，避免全表扫描。例如，尽量使用精确匹配的查询条件，利用索引提高查询效率。同时，根据常见的查询模式对索引进行优化，如预计算一些常用的聚合结果，减少实时计算的开销。

星途面试题库

面试题：Go日志包自定义格式与日志系统架构优化

知识考点

面试题答案

日志系统架构设计