面试题：ElasticSearch中位数绝对偏差聚合在数据离散程度分析中的应用场景

Question

请阐述在哪些实际业务场景下，你会选择使用ElasticSearch的中位数绝对偏差聚合来分析数据的离散程度，并举例说明。

Answer 1

适用场景

1. 金融交易数据分析：在金融领域，检测交易金额的异常波动。例如，银行需要监控客户的转账金额，防止洗钱等异常交易。正常交易金额可能在一个相对稳定的范围内波动，但异常交易（如洗钱行为）可能导致交易金额出现极端值。使用中位数绝对偏差聚合可以有效地识别这些偏离正常范围的交易，因为它对极端值具有较强的鲁棒性，不会像均值和标准差那样受到少数极端值的严重影响。
2. 传感器数据监测：在工业生产中，大量传感器实时收集数据，如温度、压力、湿度等。以工厂设备的温度监测为例，设备正常运行时温度在一定区间内波动。若出现故障，温度可能会异常升高或降低。通过中位数绝对偏差聚合来分析温度数据的离散程度，能及时发现温度数据中偏离正常波动范围的异常值，帮助运维人员提前预判设备故障，采取相应措施，避免生产事故。
3. 网站流量分析：分析网站的日访问量、页面浏览量等指标。在正常情况下，网站流量有一定的规律和波动范围。若出现突发的流量高峰（如被恶意攻击、热门内容引发大量访问）或低谷（如服务器故障、网络问题），使用中位数绝对偏差聚合可准确识别这些与常规流量模式偏离较大的情况，帮助网站运营团队及时发现并应对异常流量状况，保障网站的稳定运行。

举例说明

假设我们有一组银行交易金额数据：[100, 150, 120, 90, 130, 10000] 。如果使用均值和标准差来衡量离散程度，10000这个极端值会使均值和标准差大幅增大，无法准确反映大多数正常交易金额的离散情况。 而使用中位数绝对偏差聚合，先计算中位数，将数据排序为[90, 100, 120, 130, 150, 10000]，中位数为(120 + 130) / 2 = 125 。然后计算每个数据点与中位数的绝对偏差：[|90 - 125|, |100 - 125|, |120 - 125|, |130 - 125|, |150 - 125|, |10000 - 125|] = [35, 25, 5, 5, 25, 9875] 。再计算这些绝对偏差的中位数，排序后为[5, 5, 25, 25, 35, 9875]，中位数绝对偏差为25 。这个值能更稳健地反映出除极端值10000外，其他正常交易金额围绕中位数的离散程度，从而帮助银行更好地识别出10000这个异常交易金额。