これ要はpythonで書いててメモリ管理のやり方しらないからOS側のページングに頼ってるだけの話じゃんね
自分でキャッシュ管理して物理メモリかディスク読み取りか振り分けるように作ればいいのに