地球とは異なる世界、ヘルヴァナール。
この世界には「魔力」と呼ばれるエネルギーがあり、生物の体内にはそれがあるのが常識。
しかし、まれにその魔力を持たないで生まれてしまう生物がおり、それらは名前の通り「無魔力生物」と呼ばれていた。

「魔力のない役立たずのお前は、このパーティーにいらないから今日で追放する」

主人公のリュディガーも「無魔力生物」であり、魔力が体内に無いことから魔術が使えず、こうして実力者ぞろいの冒険者パーティーを追放されてしまう。

それでも傭兵として生計を立てていた彼は、ある日ひょんなことから「精霊」と呼ばれる伝説の存在に遭遇する。
少女の姿をしたその精霊は、彼にこんなことを言ったのだ。

『そなたからは、伝説の匂いがする』

彼女の言う通り、リュディガーはこの世界でかつて伝説の冒険者として名をはせた冒険家の子孫でもあったのだ。
しかし、無魔力生物としてそんな先祖のことを考えるよりも、毎日を無気力に暮らすことがやっとだった彼に、少女精霊は続けてこう言った。

『そなたは旅に出る必要がある。そうしないと、世界が滅びるだろう』
「……は？」

リュディガーはこうして、自分の妹のトリス、そしてその後に知り合った奴隷として売られる予定だった女の子と、帝国騎士団の団員である女の子の合計三人を連れて冒険に出ることになった。
……のだが、裏の世界で暗躍する人物にあらぬ濡れ衣を着せられてしまい、精霊の機転で国外へと逃れることになる。

こうして国外に追放されたも同然となってしまった男と、彼を囲む女の子たちのハーレムパーティーの長い旅路が幕を開けた。