面试题答案
一键面试FilterList性能瓶颈产生原因
- 过滤链过长：在高并发读写场景下，若FilterList中包含大量的Filter，每个Filter都需要对数据进行处理，随着Filter数量增加，处理时间线性增长，导致性能下降。例如，一个表数据量大，设置了10个以上不同类型Filter用于复杂过滤，处理每条数据的过滤时间显著增加。
- 数据遍历次数多：每个Filter在处理数据时，都可能需要遍历一遍数据，当FilterList中有多个Filter时，数据会被多次遍历，加重磁盘I/O或网络传输负担。如先有RowFilter，再有ColumnFilter，两者都需遍历数据，浪费资源。
- 资源竞争：高并发环境下，多个读写请求同时使用FilterList，可能导致资源竞争。如CPU资源竞争，每个请求的Filter处理都需要CPU运算，过多请求导致CPU使用率过高，影响处理速度。
性能优化策略
- 数据预取：
- 提前获取相关数据：在应用层根据业务规则提前预估可能需要的数据，并批量从HBase中获取。例如，根据时间范围和用户ID范围预取一批数据，减少后续因FilterList过滤导致的数据获取次数。这样可以减少I/O操作次数，提高整体性能。
- 利用缓存：将预取的数据放入缓存（如Memcached或Redis）中。当下次有相同或相关过滤需求时，先从缓存中查找，若命中则直接使用缓存数据，避免重复从HBase获取。比如用户经常查询某段时间内的特定类型数据，将预取的这部分数据缓存起来，下次查询可直接从缓存读取。
- 缓存策略：
- Filter结果缓存：对于一些不经常变化的Filter条件及其结果，可以缓存起来。例如，某个固定时间段内的报表数据过滤条件不变，将过滤后的结果缓存。下次相同条件请求，直接返回缓存结果，减少FilterList处理时间。
- 中间数据缓存：在FilterList处理过程中，对于一些中间计算结果进行缓存。如在多个Filter依次处理数据时，将第一个Filter处理后的中间数据缓存，后续Filter可直接基于缓存的中间数据继续处理，避免重复计算。
- 优化FilterList结构：
- 合并相似Filter：如果FilterList中有功能类似的Filter，将其合并。比如多个针对同一列族不同列的SingleColumnValueFilter，可合并为一个MultiColumnValueFilter，减少Filter数量，降低处理时间。
- 合理安排Filter顺序：将开销小的Filter放在前面，开销大的Filter放在后面。例如，先使用RowFilter进行初步筛选，快速排除大量不符合行键条件的数据，再使用较复杂的ColumnFilter等对少量剩余数据进行处理，减少整体处理开销。
根据不同业务需求选择合适的FilterList应用策略
- 实时性要求高的业务：
- 策略：优先采用数据预取结合缓存策略。实时业务对响应时间要求极高，通过提前预取数据并缓存，可快速响应请求。如实时监控业务，需快速获取最新数据并展示，预取最新时间段内的数据并缓存，可保证数据快速呈现。
- 说明：对于实时性高的业务，FilterList处理时间不能过长，缓存策略能直接从缓存获取数据，极大缩短响应时间，满足实时性需求，同时保证高可用性和高性能。
- 数据量巨大且查询条件复杂的业务：
- 策略：优化FilterList结构，合并相似Filter和合理安排Filter顺序。同时结合数据预取，提前获取相关数据范围。例如大数据分析业务，查询条件复杂且数据量庞大，通过优化FilterList结构减少处理时间，预取相关数据减少I/O操作，提高系统性能。
- 说明：复杂查询条件下，FilterList处理负担重，优化结构可降低处理开销，数据预取减少数据获取时间，保障系统在大数据量复杂查询时的高可用性和高性能。
- 数据变化频繁但查询相对简单的业务：
- 策略：采用缓存策略中的中间数据缓存。由于数据变化频繁，整体结果缓存可能很快失效，但中间数据缓存可在每次变化后基于缓存中间数据快速重新计算最终结果。如电商商品库存实时变化，查询简单如查询库存大于某值的商品，中间数据缓存可提高处理效率。
- 说明：这种策略能适应数据频繁变化特点，通过缓存中间数据减少重复计算，在简单查询场景下保证系统高性能和高可用性。