Der Zürcher Pfarrer, Philosoph und Schriftsteller Johann Caspar Lavater (1741–1801) hat die Physiognomik nicht erfunden. Physiognomik bedeutet, über die äussere Erscheinung eines Menschen Vermutungen über dessen innere Eigenschaften, zum Beispiel seinen Charakter, zu machen. Schon bei Aristoteles und Paracelsus finden sich solche Versuche. Doch erst Lavater machte daraus eine wissenschaftliche Methode: mittels eines riesigen Bildarchivs versuchte er zu zeigen, wie man anhand von Gesichtszügen, Schädelproportionen und Körperformen den menschlichen Charakter erkennen könne. Lavater war zudem der erste, der die Gesichtswinkel-Theorie des holländischen Mediziners Petrus Camper in gedruckter Form öffentlich machte. Diese Theorie behauptete, man könne mit wissenschaftlich-mathematischer Genauigkeit die Nähe der "menschlichen Rassen" zum Tierischen bestimmen. Damit popularisierte Lavater die Rassentheorien seiner Zeitgenoss:innen.

Lavaters Hauptwerk "Physiognomische Fragmente zur Beförderung der Menschenkenntnis und Menschenliebe" war populär. Die darin beschriebene Physiognomik legte einen wichtigen Grundstein für den modernen Rassismus, Antisemitismus und die Abwertung all dessen, das nicht den geltenden Normen entsprach. Nicht-europäische Menschen wurden als vermeintlich biologisch – und damit von Natur aus –  "untergeordnete Rassen" dargestellt. Damit prägte Lavater ein Denken, dem Rassentheoretiker:innen und Antisemit:innen bis in die Nazi-Zeit anhingen.

Lavaters Werk wurde im 18. Jahrhundert veröffentlicht und in der Folge enthusiastisch aufgenommen. Zu Beginn des 19. Jahrhunderts war sein Werk in zahlreiche Sprachen übersetzt und in mehreren europäischen Ländern sowie in Nordamerika publiziert worden. Im nach-aufklärerischen Bürgertum des 19. Jahrhunderts wurde die Physiognomik nach Lavater zu einer Wissenschaft, zu einem Gesellschaftsspiel und regelrecht zu einer Besessenheit, die weit ins 20. Jahrhundert andauerte und auch heute noch ihre Spuren zeigt.

Gegen den Vorwurf des Rassismus wird Lavater heute oft mit dem Argument in Schutz genommen, er sei ein Kind seiner Zeit gewesen. So werden auch regelmässig die Sklavenhändler:innen und -halter:innen des 18. und 19. Jahrhunderts verteidigt. Dabei war Lavaters Theorie schon zu seinen Lebzeiten umstritten (wie auch die Sklaverei zur Zeit ihrer Praxis). Der Schweizer Schriftsteller Ulrich Bräker etwa schrieb an Lavater: "Ich bin Dir gut, von Herzen gut, und möchte Dich um viel nicht böse machen. Aber die Schädel sind mir grüsig und ’s wird mir übel." Wo Bräker lediglich ein ungutes Gefühl hatte, war der Zeitgenosse und Physiker Georg Christoph Lichtenberg von einer geradezu unheimlichen Klarsichtigkeit: "Wenn die Physiognomik das wird, was Lavater von ihr erwartet, so wird man Kinder aufhängen, ehe sie die Taten getan haben, die den Galgen verdienen."

‍