Secondo un'antica e costante tradizione i monaci di S. Guglielmo (Verginiani), nel 1142, edificarono un eremitaggio con annessa chiesetta nominata S. Maria a Castello. Questa primitiva chiesetta, sottostante all'attuale tempio, è abbellita da affreschi risalenti alla prima metà del secolo XIV o, forse, anche ad epoca anteriore. Il Santuario di Santa Maria a Castello sorge sopra un colle, a 355 metri sul livello del mare, è meta di pellegrinaggio da parte dei fedeli di Formicola e paesi vicini.