Acordada la seua construcció pel Gremi de Llauradors el 26 de desembre de 1779, a càrrec de l’arquitecte agustinià vinarossenc, fra Pere Gonell, es va col.locar la primera pedra en la festa del Sant, a l’any següent (9 de maig de 1780). Es una obra renaixentista amb columnes d’estil corinti. Quasi tot el que se sap sobre el referit ermitori es basa principalment en el que diu l’historiador Borràs Jarque, ja que a l’arxiu municipal hi ha molt poca cosa, a causa de que dita ermita la van construir els integrants del Gremi dels Llauradors i guardarien ells quasi tots els documents. La celebració de la festa, però, era d’un segle abans, en que ja es feia missa cantada, vespres i processó general pel caminàs i benedicció del terme, amb aigua portada per un llaurador, expressament desplaçat a Navarra, qui la passava per les relíquies del Sant, que ja allí es veneraven. L’ermita és de planta de creu grega (18 x 13 m.), amb una cúpula central, amb interessant façana de pedra treballada, amb els atributs del sant i la data de construcció, 1781, en el dintell de la porta. Hi ha dos sagristies laterals i la casa de l’ermità, convertida en temps moderns en lloc per exàmens de conduir. Conserva en prou bon estat les senzilles pintures originals, en les que destaquen les llagostes, plagues contra les que era sant advocat. En la paret de la façana hi ha adosada una rajoleta que recorda que fins allí van aplegar les aigües del desbordament del riu, en 1909. Dins l’ermita, una taca de color terrós, dixa ben a les clares fins on va arribar el nivell de l’aigua. En 1917 l’ermita va ser convertida en sanatori a causa de les pigotes. L’ermita va complir la seua funció com a tal fins l’any 1935, en que van acudir quatre tarroners i es va repartir l’arròs als pobres.
Durant la guerra civil de 1936 es va utilitzar com polvorí o magatzem de bombes i els soldats republicans feien punteria a un pot col.locat en l’altar major i al mateix òval de la imatge del sant, que ja l’havien decapitat. Des de llavors (final de la guerra civil) va ser magatzem municipal, i passats molts anys membres del club “Sant Gregori” o de la desapareguda Associació Cultural “La Colla” en la década de 1980 es pujava la peanya amb la imatge del santet del carrer i es repartia xocolata entre els assistents a la xicoteta processó del sant.
Cap a finals d’any de 1996 el temple que des de la guerra civil estava convertit en magatzem municipal, manant l’alcalde Jacinto Moliner, va deixar de ser magatzem municipal (Setm. Vinaròs, 7-IX-1996) i es va netejar i restaurar, c recuperant l’entorn que es va fer servir d’escola de jardinería durant uns cursos.
I l’any 2001, alumnes de la Universitat de Castelló van começar a restaurar les pintures mentre el mestre d’obres Agustí va restaurar tot el teulat i el sostre. En març de 2005 es va acondicionar com a “Punt d’Encontre” de les famílies desestructurades per a que puguessen retrobar-se els pares amb els fills dels separats.