5回中5回の100%、どう見る？

5回中5回成功は100%です。ただ、その100%をそのまま「最も高い成功率」と読むと、偶然による偏りが順位に強く表れることがあります。小標本ほど極端な比率が出やすいからです。

縮約は、極端な観測を無視する処理ではありません。観測数が少ないグループほど全体の中心を多めに借り、観測数が多いグループほど各グループの観測を残します。マゼンタから黄色への線の長さが、平均の移動量を表します。移動量は観測と中心の距離にも左右され、不確実性の大きさとは一致しません。

グループを比べるときは、観測比率が同じでも、観測数が違うことがあります。点の位置と信用区間を並べると、その違いも見えてきます。