本研究では、ジェスチャによる直感的なインタフェースを利用して、 3D オブジェクトを用いて視覚的に英語を学べるシリアスゲームを開発した。 言語学習において文字とイメージとの結びつきは重要である。 本システムでは英語を学び始めの小中学生を対象に３D オブジェクトを LeapMotion を用いて直感的に操作し、 置かれている状況を英文で表示して音声再生をすることによって状況のイメージと英文との結びつきを図る。 小学生を対象に本システムを体験してもらいシステムの評価を行った。 そこで問題点としてあがった UIや操作性の問題点を改善し、その問題点が改善されたかについて検証した。