日本語において「次」という言葉には、単に「順番の隣」という意味ではなく
「一個劣る」という意味がある（そもそも語意に降順が含まれてる）
次点、次席、次鋒とか
（語源は"継ぐ"と同じ）

「背が高い人」に引っ張られてるから間違いやすくなる

たとえば
「"背の高さ"において、"Cに次ぐ者"は誰か」
って聞き方なら間違える人少なくなると思う