Las primeras referencias documentales que se tienen de la que hoy es la Cofradía de Nuestra Señora de la Piedad y Cruz de los Labradores se remontan a 1954, cuando por aquel entonces se denominaba solo Cofradía de la Cruz de los Labradores.
El objetivo era aunar en un solo paso el trabajo incansable en la labranza y la agricultura de la gran mayoría de los vecinos de Pilar de la Horadada y el sufrimiento y dolor de Jesús durante su calvario. Esta cofradía se constituyó principalmente como homenaje sincero del pueblo del Pilar a los agricultores.
Con la llegada del párroco Don Arsenio Irigoyen al pueblo, se repartieron las cofradías por barrios de la pedanía oriolana y la Cruz de los Labradores le correspondió a la zona de la Plaza de la Iglesia y calles aledañas.
Por aquel entonces, no había estructura organizativa, sino que los vecinos aportaban su granito de arena para procesionar, con gran precariedad, tanto económica como de medios, pero con mucha ilusión.
Fueron muchos los pilareños que ofrecieron su apoyo de manera desinteresada, para que la Cruz de los Labradores saliera a la calle. Fueron las hermanas Pepita y Maruja Sánchez de Gea "las de la rubia", quienes bordaron la primera mantilla de la Cofradía, para que desfilara en las primeras procesiones, que desapareció posteriormente.
Pasado casi 40 años, en el año 1990, se adquirió la imagen de Nuestra Señora de la Piedad, elaborada en los Talleres de Arte Religioso de Olot, pasando a llamarse la Cofradía con el nombre de esta advocación de la Virgen María: Cofradía de Nuestra Señora de la Piedad. En ese momento dejó de desfilar la Cruz de los Labradores que había acompañado a los vecinos durante cuatro décadas.
En abril de 1996, con la creación de la Junta Mayor de Cofradías y Hermandades, se le da el impulso definitivo a esta cofradía para constituirse de manera oficial y canónica como asociación sin ánimo de lucro en diciembre de 1997, para avanzar hacia un futuro lleno de proyectos y mejoras.
En 2001, se adquirió un nuevo trono, esta vez para llevarlo a hombros por 56 costaleros, y así ir poniéndose al mismo nivel que las demás cofradías. Este trono fue bendecido en marzo de 2001.
Los avances en la gestión de la cofradía avanzaban y en 2005 fue erigida canónicamente y aprobados sus primeros estatutos. En 2006, se acordaba en sesión extraordinaria la adquisición de un nuevo trono para que volviera a desfilar por las calles de Pilar de la Horadada la Cruz de los Labradores en la Semana Santa del año 2007.
En junio de 2015, se solicitó por parte de la Junta Directiva el cambio de la denominación de la Cofradía Nuestra Señora de la Piedad, añadiéndole "y Cruz de los Labradores", recuperando así un pasado histórico de la entidad, que era una deuda con los primeros fundadores de la misma.
2016 fue un año repleto de cambios para la cofradía, ya que se restauraron los 30 hachotes en los Talleres Paula Orfebres de Lucena, colocándole una tulipa de cristal tallado y la luz conseguida con cera líquida, se les dio un baño de plata vieja y se les colocaron dos lazos ornamentales. Además, se confeccionaron también nuevas túnicas para los penitentes, 25 de adultos y 6 para los niños, de tejido sarga color marfil, con botones de terciopelo morado oscuro, con una cruz realizada por 7 botones en las mangas del mismo material. Todos los penitentes llevan incorporado un cíngulo de seda morada y sandalias blancas de fraile. Los capirotes son también de terciopelo morado con el nuevo escudo de la cofradía bordado en plata, que también lo llevan en las mangas de la túnica.
También se creó por parte de la Junta Directiva de la Cofradía, un nuevo escudo para la misma, que se compone de varios símbolos importantes para la entidad, como la cruz con el sudario, que simboliza la advocación de Nuestra Señora de la Piedad, así como las piedras de la parte baja, referentes al Monte del Calvario. Fuera del medallón central que es donde se encuentra lo anteriormente expuesto, tenemos cruzando la escalera y la lanza, aunando los dos pasos que posee la cofradía. Y bajo todos estos símbolos, vemos el corazón de María traspasado por un puñal, que deja ver el dolor de la Virgen por tener a su hijo muerto en sus brazos.
Las túnicas que se venían usando anteriormente que incorporaba capa y capirotes de color rojo, que fueron las que originalmente desfilaban junto a los pasos, se decidió reservarlas para la creación de un próximo tercio de penitentes que acompañaría a la Cruz de los Labradores.
A lo largo de la historia oficial de la cofradía, ha habido varios regidores como presidentes de la misma. En 1996 fue nombrado presidente José Meseguer García, hasta que en 2006 se dejó paso a Onofre García Munuera, hasta 2015 que nombraron a la primera mujer presidenta de la cofradía, que fue Ana Isabel García Blaya.
También se distingue anualmente a un Hermano Mayor, en reconocimiento de la trayectoria o aportación a la cofradía. El último reconocimiento fue en 2016, por el XV aniversario de la salida a hombros, que se homenajeó a todos los costaleros de aquel año 2001.
