ワシントン大・札幌心臓血管クリニック・東北大・イェール大学の研究者グループによる未査読論文では、過去5年間にわたる試験で複数の大規模言語モデル（LLM）をテストしたところ、GPT-4は5年分全てに合格した。
東北大の坂口慶祐准教授、ワシントン大の博士候補生Jungo Kasaiらの研究では、LLMのAPI（ChatGPT、GPT-3、GPT-4）を過去5年間の日本の医師免許試験で評価。坂口らは「GPT-4がChatGPTとGPT-3を上回り、5年分の試験すべてに合格したことが示され、英語とは類型的に離れた言語におけるLLMの可能性が強調された」と書いている。
研究は、今後LLMの改良が進むにつれて、医療支援、教育、評価における非英語AIアプリケーションの可能性を示唆。しかし、坂口らは「日本語（および同様に英語から遠い言語）には、トークン化および国特有のカスタマイズの欠如によるAPIコストの増加およびウィンドウサイズの縮小という大きな制限がある」と課題も指摘している。
合格はしたものの、GPT-4は医学部受験生の多数決の成績を大きく下回っているという。LLMは、安楽死を示唆するなど、日本の医療現場では厳禁とされる選択肢を選ぶことも観測された。
https://www.axion.zone/gpt-2/
