この寺の創建年代等については不詳であるが、714年（和銅7年）またはその翌年の715年（霊亀元年）上野国大掾藤原忠明の開基により創建されたと伝えられる。

「花園星神記」によれば、忠明がこの寺へ来て宿泊し、夜半目覚めてあたりを見渡すと、乾の方角に光明が立ち上っていた。不思議に思って侍臣を遣わせ調べると、冷水町の小祝池からとわかり、水底を探らせたところ、目が赤く首の白い珍しい亀を得た。これを時の帝に献じたところ喜ばれ、元号が霊亀に改められたという。

797年（延暦16年）に成立した「続日本紀」にも「妙見寺」に関する記載があることから、古くからある寺院と考えられている。古くは「七星山息災寺」と号し、妙見菩薩を祀る寺として信仰されてきた。羊妙見とも呼ばれ、多胡碑の「羊」との関連を指摘する向きもある。

平将門の乱では、染谷川の戦いで苦境に追い込まれた平良文が不思議な声を聞き、導かれてついて行ったところ当寺にたどり着いた。そこで僧から七星剣を渡され、以来妙見菩薩の加護を受けるようになった。良文と関係の深い秩父神社、千葉神社の妙見は当寺から勧請されたものである