寺伝によると、仙遊寺は天智天皇（626〜在位661〜672）の勅願により創建されたといわれています。実際に地元で指揮を執ったのが当時の国守であった越智守興（おちもりおき）。
作礼山の頂上付近に堂宇を建立したのが始まりといわれています。（作礼山の麓に越智守興をまつった三嶋神社があります）
天智天皇は、斉明天皇の皇太子（中大兄皇子）です。645年の乙巳の変（いっしのへん）・大化の改新で有名です。663年の白村江の戦いで大敗をした中大兄皇子は、朝鮮半島からの追撃に備えて筑紫に水城（のちの太宰府）を築いて防衛線を張り、対馬、九州北部、瀬戸内海沿岸、生駒山地、近江に至るまで、点々と古代山城（朝鮮式山城）を造営しました。
仙遊寺のある高縄半島は、瀬戸内海の要所である来島海峡があり、朝鮮式山城（古代城）の永納山城が築かれていました。また、近見山（山頂付近にかつての延命寺があった）のほか、海山、唐子山、世多田山などもあり、これらの山は当時の防衛拠点があったと考えられています。
眺望に優れた仙遊寺が建っている作礼山も当時の防衛の拠点として使われていたと考えられています。頂上には天智天皇ゆかりの五輪塔も残されています。
作礼山から瀬戸内海を眺めると、はるか遠い古代の出来事にも思いを馳せることができます。
中世の寺院の多くは、戦の拠点となっていました。政教分離が浸透してくる近世以降は、寺院で戦闘が行われることは稀ですが、中世では、武士や庶民の区別なく砦や寺院などに集まり、総出で戦闘が行われていたようです。（そのため寺院は、しばしば戦闘に巻き込まれ放火されるなどして焼失しました。）
仙遊寺もそのような状況であったようで、作礼山の山頂には城（砦）があったとの記録が残っています。
地域を二分した平家と源氏の戦いや、南朝、北朝に分かれて戦いが行われた時代もあり、当時はかなり混乱したことでしょう。
また、その後の戦国時代には、地域の内戦や他国からの侵攻がありました。瀬戸内海では村上水軍の動きが活発になっていきます。
地域の重要な拠点だった作礼山にある仙遊寺も、様々な歴史の渦に巻き込まれ、乗り越えてきたことが分かります。（このころ書かれた様々な文書が「仙遊寺文書」として残されていましたが昭和二十二年の山火事により消失しました。戦前に撮影されたフィルムが東京大学史料編纂所に残されています）
江戸時代には四国の街道やへんろ道の整備も本格的に行われるようになりました。仙遊寺にも江戸時代の石造物が多数残されています。
1687年（貞享4年）に書かれた真念『道指南』には仙遊寺のことがこのように紹介されています。
『五十八番 佐礼山 山上、南向き（原文ママ）』
『本尊 千手観音 立六尺、 作者不明。
たちよりて作礼の堂にやすみつつ六字を唱え経を読むべし
これより国分寺まで一里。
○にや村○松木村、この間に小川あり。○国分寺村。』
その後1689年（元禄2年）に書かれた『四国偏礼霊場記』には佐礼山千光院仙遊寺として次のように紹介されています。
『この寺は天智天皇（626−672）の勅願所だという。そのときから御代々の綸旨、院宣、御教書などが多数あるといわれる。
本尊は高さ六尺の千手観音菩薩である。八幡宮から上がること坂二十町ほど、高く険しくて珍しい木が多い。麓の田畑は錦のように美しく、遠く蒼海を望むと島々は波に浮かんで見える。左方には今治の金城がそばだち、この逸景はどこから飛んできたものだろう、ただ絵を眺めているような心持ちだ。』
幕末1800年（寛政12年）に書かれた『四国八十八箇所名所図会』にも佐禮山が紹介されています。
江戸末期から明治にかけて、宥蓮上人という高僧が山主となりました。上人は人望にあふれ多くの信者が仙遊寺に集いました。宥蓮上人は明治4年（1871）に仙遊寺で入定（生きたまま土中に埋まり永遠の禅定に入ること）しました。時代は幕末から明治にかけて社会の大きな転換点で、慶応4年には明治政府による「神仏分離令」の発令や、明治3年に出された詔書「大教宣布」による「廃物稀釈」が盛んになった時期です。当時はすでに明治政府により入定は禁止されていましたが、それをおしての行為でした。上人の入定は日本で最後の入定といわれています。
仙遊寺は昭和22年（1947）にあった山火事により、本堂ほか堂宇すべてが全焼しました。その際に「仙遊寺文書」も消失しました。幸いなことに、近所の人の協力により、御本尊、大師像は救われて焼失をまぬがれました。その後、昭和28年（1953）に現在の本堂が、昭和33年に大師堂が再建されました。
昭和中頃には車道が建設され、本堂の裏まで車で登れるようになりました。平成には山門、宿坊を供えた壇信徒会館が整備され、現在に至っています。