ハリスは、ヘンリー・ヒュースケンを通訳兼秘書として伴い伊豆下田の玉泉寺に赴任した。一躍開国の舞台になった小さな港町では、髪と目の色が違う「異人」をみて、生活習慣の相違に、人々が大層驚いた。彼らの滞在にあたり、下田奉行はもとより、江戸幕府の多くの要人が訪れ動揺しながら見守っていた。
この中にあってハリスは、外交や貿易の仕事に異国で精力的に努めた。しかし本国との食生活の相違により精神的な緊張もあり、鮮血を吐いたり、消化器官の潰瘍で病弱であったりしたことで、牛乳を飲めない事が相当こたえた。そこで通訳の森山多吉郎を通じて下田奉行に「牛乳飲ませて欲しい」と強く要望した。
当時の下田奉行・井上信濃守と岡田備後守により「牛乳の儀に付き滞留の官吏へ及び應接候書付」報告書を幕府に提出しており、以下は通訳の森山を通したハリスとのやり取りの一部である。
（森 山）勤番の役人から牛乳を欲しがっているとききました。しかし日本では、牛乳は一切飲用に供していません。牛は農民が田畑の作業や荷物を運搬するために飼育するものであり、牛乳は仔牛に飲ませるのみです。従って要求はお断りします。
（ハリス）わかりました。それでは私が母牛を飼って搾乳します。
（森 山）牛は農耕と運搬のために飼養するもので、他人の譲り渡すことはできません。
（ハリス）山羊は当地におりますか。
（森 山）日本にも隣国にもいません。
（ハリス）山羊を香港に注文して当地で飼養しても良いですか。
（森 山）豕（豚）のようなものだから寺の境内で飼うのはよろしいが放飼はできません。
このようにハリスは牛乳を飲みたかったことが分かるものの、牛乳は子牛のもので人間が飲むなど考えたこともなかった当時の日本の様子がうかがえる。またハリスが自分で搾乳をするということに、下田奉行も驚いたのではないだろうか。
しかし、役人であっても、牛は農民の最も重要な財産であるとして、強制的にとりたてをしたり、各農村の共有財産として後生大事にもっている牧草地を提供したりすることもしなかった。牛は農民の財産であり、米作りに必要であったので非常に大切にしていたのである。従って、ハリスは日本人に牛乳を飲む習慣がないことから、牛乳を飲むための手立てが全て絶たれてしまったのである。
VIPQ2_EXTDAT: none:none:1000:512:: EXT was configured
