Die Theorie der Beobachtungsfehler hat die vorrangige Zielsetzung, die wahren Werte physikalischer Konstanten zu bestimmen. Die bereits im 18. Jahrhundert begonnenen Bestrebungen, fehlerbehaftete Beobachtungen mit stochastischen Methoden zu behandeln, erfahren durch die Diskussion der Methode der kleinsten Quadrate gemäß Gauß und Laplace einen entscheidenden Impuls. Andererseits werden solche Bestrebungen auch von der praktischen Seite her, durch neu entwickelte Messinstrumente und umfangreiche geodätische wie astronomische Projekte, angetrieben. Aus heutiger Sicht bereitet die Fehlerrechnung die spätere Schätztheorie in der Statistik vor und gibt ihrerseits wichtige Impulse für die Wahrscheinlichkeitstheorie. Im Zentrum stehen dabei die asymptotischen Betrachtungen von Laplace, gestützt auf seine Version des zentralen Grenzwertsatzes, wie auch die beiden „Begründungen“ von Gauß für die Überlegenheit der Methode der kleinsten Quadrate, durch die auch die Normalverteilung eine wesentliche Rolle erhält.