面试题答案
一键面试1. 最小文件优先策略（Smallest Files First）
- 策略描述：优先选择大小最小的HFile进行合并。在HBase中，HFile大小不一，该策略总是挑选那些尺寸相对较小的文件，将它们合并成更大的文件。
- 性能影响：
- 优点：能快速减少小文件数量，降低文件系统的元数据管理开销。小文件过多会增加文件系统查找和读取的负担，此策略可改善这一情况，提升整体读写性能。特别是在频繁写入产生大量小文件场景下，效果显著。
- 缺点：若持续选择小文件合并，可能导致每次合并的数据量相对较少，合并操作频繁发生，增加I/O开销，尤其是在高负载写入环境中，可能影响写入性能。
2. 最大文件优先策略（Largest Files First）
- 策略描述：优先挑选大小最大的HFile进行合并。在判断待合并文件集合时，总是将尺寸大的文件作为首选，组合这些大文件进行合并。
- 性能影响：
- 优点：每次合并的数据量较大，减少合并次数，降低I/O操作频率。对于读操作频繁的场景，大文件合并后能更高效地进行顺序读取，提升读取性能，因为顺序读取大文件比随机读取多个小文件效率更高。
- 缺点：合并大文件需要更多的系统资源，如内存和磁盘I/O带宽。若系统资源有限，可能导致合并过程缓慢，甚至影响正常的读写操作。同时，可能导致小文件长时间未被合并，影响文件系统整体效率。
3. 随机选择策略（Random Selection）
- 策略描述：从待合并的HFile集合中随机选择文件进行合并。在每次决定合并哪些文件时，不基于文件大小、时间等特定规则，而是随机抽取文件组成合并集合。
- 性能影响：
- 优点：一定程度上能避免因特定策略（如最小或最大文件优先）带来的极端情况。例如，不会一直集中处理小文件或大文件，相对均衡地对待所有文件，减少因长期偏向某类文件合并而产生的性能问题。
- 缺点：缺乏针对性，可能会选择不适合合并的文件组合，导致合并效果不佳。可能频繁合并大小差异大的文件，既无法充分利用大文件合并提升读性能的优势，也不能有效减少小文件数量，最终影响整体性能。
4. 时间戳优先策略（Oldest First或Newest First）
- 策略描述：
- Oldest First：优先选择创建时间最早的HFile进行合并。按照文件创建时间的先后顺序，将最早生成的文件作为合并的首要选择。
- Newest First：与Oldest First相反，优先选择创建时间最新的HFile进行合并。
- 性能影响：
- Oldest First优点：可及时处理早期生成的文件，防止旧文件长期存在导致数据碎片化。特别是对于一些有数据时效性要求的场景，能保证较新的数据以更紧凑的形式存储，提升读写性能。
- Oldest First缺点：若旧文件数据量较大且分散，合并可能需要耗费较多资源，影响系统性能。同时，如果新写入的数据频繁产生小文件，该策略可能无法及时处理这些小文件。
- Newest First优点：对于写入性能有一定提升，因为新数据通常是系统最常访问的，优先合并新文件能使新数据更快地以优化形式存储，减少后续读取新数据时的开销。
- Newest First缺点：可能导致旧文件长时间未被合并，造成文件碎片化，影响整体读性能。而且，如果新写入数据量过大，频繁合并新文件可能占用过多系统资源。