その議員に投票した人にのみ
投票の撤回権（罷免権）があるってのはいいと思うよ

その議員に投票してない人にその権利があっては選挙の意味がなくなるからダメだけど