Der Ortsname der alemannischen Siedlung kommt von dem Personenname „Raciso“, davon abgeleitet Rachesingen (dem Raciso gehörig). Daraus wurde Raggesingen und später Rexingen. Der Ortsadel des Dorfes Raggesingen wurde im 12. Jahrhundert durch Schenkungen an die Klöster Hirsau und Reichenbach bekannt. Der Johanniterorden gründete eine Kommende in Rexingen und hatte 1270 das Patronat der Pfarrkirche. Am 5. April 1290 erkaufte der Orden Vogtei und Gericht vom Schultheiß Dietrich Böcklin zu Horb. Der Johanniterorden regierte das Dorf und seine Untertanen bis zum Tagesbefehl Napoleons vom 19. Dezember 1805. Mit diesem fiel die Kommende Rexingen an den König von Württemberg.
Die Rexinger Bürger wurden damit Untertanen des Königreichs Württemberg und die Kommende wurde königliches Schlossgut. Zum Teil wurde dieses später von der Gemeinde gekauft und 1822 etliche Gebäude und Grundstücke an meistbietende Bürger wieder verkauft. Anstelle des ansehnlichen Pfarrhauses hinter der 1995 sanierten Schlossmauer befand sich das vom Komtur Gottfried von Klingenfels 1299 erbaute Komturei-Gebäude. Das kleine Schloss wurde 1862 abgebrochen und an seiner Stelle das katholische Pfarrhaus erbaut.
Im Bereich der 1980 erbauten Johanniterhalle (Turn- und Festhalle) standen früher die zur Kommende gehörigen Wohn- und Ökonomiegebäude nebst der Zehntscheuer. An die Johanniterzeit erinnert auch noch der „Schandturm“. Das alte Kirchlein neben dem Komtureigebäude war zu klein geworden, weshalb im Jahr 1841 die jetzige katholische Kirche St. Johannes Baptist vom Staat errichtet wurde, der damals noch die Baulast zu tragen hatte.
Ein Schul- und Rathaus wurde 1818 erbaut und 1841 auf nahezu doppelte Größe erweitert. Ein neues Rathaus schaffte 1897 dann in der Schule den notwendigen Raum auch für die größer gewordenen israelitischen Schulklassen. Heute dient die 1995 innen renovierte Schule als Grundschule für die Rexinger und Ihlinger Kinder. Der Kindergarten, begonnen 1923 als Schwesternhaus und Kinderschule ist heute, mehrfach verändert und vergrößert, eine vorbildliche Erziehungseinrichtung.
Über 300 Jahre war Rexingen Heimat für eine große jüdische Gemeinde. Als Schutzjuden von den Johannitern in den Wirren des Dreißigjährigen Krieges aufgenommen, entwickelte sich eine Judengemeinde, die bis zu etwa einem Drittel der Einwohnerzahl von Rexingen angewachsen ist.
1712 bauten sie ihre erste Synagoge, erhielten 1760 einen eigenen Friedhof und errichteten 1837 eine neue, größere Synagoge. Zwischenzeitlich waren aus den Schutzjuden gleichberechtigte Bürger geworden. Die Rexinger Pferde- und Viehhändler waren überall im Land bekannt. Im Gemeinderat waren sie entsprechend vertreten und haben Straßenbau, Strom- und Wasserversorgung mit vorangetrieben. Als 1933 der Nationalsozialismus zur Macht kam, begann die Auswanderung der Rexinger Juden vornehmlich in die USA und nach Palästina. Eine geschlossene Gruppe von Auswanderern wurde am 6. Februar 1938 in der hiesigen Synagoge feierlich nach Palästina verabschiedet. Dort mitbegründeten diese dann wenige Wochen später den Ort Shavei Zion und bauten diesen mit auf. Ein Drittel der jüdischen Bevölkerung von Rexingen ist in den Vernichtungslagern im Osten umgebracht worden. Ein Mahnmal im Judenfriedhof erinnert an die Opfer der Judenverfolgung von 1933 bis 1945. Der jüdische Friedhof ist mit 1136 Gräbern und 931 Grabsteinen der drittgrößte in Württemberg und wurde in Zusammenarbeit mit dem Landesdenkmalamt in umfassender Weise 1993 bis 1996 inventarisiert. Mit dem Titel in „In Stein gehauen“ wurde dann 1997 ein reichlich bebildertes Buch herausgebracht, in dem der Judenfriedhof und die Geschichte der Judengemeinde Rexingen umfassend dargestellt werden.
In der Pogromnacht (8./9. November 1938) wurde die Inneneinrichtung der Synagoge demoliert und Feuer gelegt. Das Gebäude wurde von der Feuerwehr gerettet und diente in den Kriegsjahren als Lagerraum. Im Jahr 1952 hat es die evangelische Kirchengemeinde von der Gemeinde Rexingen gemietet und renoviert und nutzt die ehemalige Synagoge als Kirche und Gemeindezentrum. Seit der Eingemeindung 1971 ist die Stadt Horb Eigentümer, hat aber das Gebäude dem 1997 gegründeten „Träger- und Förderverein Ehemalige Synagoge Rexingen e.V. überlassen.
Rexingen heute ist vornehmlich Wohnort mit vielen schmucken Häusern an den steilen, warmen Hängen im Osten und Norden des Dorfes. Anstelle der vielen kleinen und mittleren landwirtschaftlichen Betriebe einst im Dorf, sind oben auf der flachen Höhe die Kapellen- und Heidehöfe entstanden. Die Sanierung einiger Nebenstraßen und der langen Ortsdurchfahrt ist vorbildlich gelungen. Derzeit soll die Erhaltung und Sanierung der Gebäudestruktur mit einem „Integrativen Modell zur Innenentwicklung unter Berücksichtigung der historischen Gebäudesubstanz und der Bevölkerungsstruktur“, einem Projekt aus ELR-Mitteln,gefördert werden.