KDnuggets

Von Sydney Firmin, Alteryx.

“ Im Wesentlichen sind alle Modelle falsch, aber einige Modelle sind nützlich.“ – George Box

Dieses berühmte Zitat von George Box wurde erstmals 1976 in der Zeitung „Science and Statistics“ aufgezeichnet, die im Journal der American Statistical Association veröffentlicht wurde. Es ist ein wichtiges Zitat auf dem Gebiet der Statistik und analytische Modelle und kann in zwei Teile entpackt werden.

Alle Modelle sind falsch

Um diese Aussage zu vertiefen, müssen wir definieren und untersuchen, was ein Modell ist.

Für den Kontext dieses Artikels kann ein Modell als vereinfachte Darstellung eines Systems oder Objekts betrachtet werden. Statistische Modelle approximieren Muster in einem Datensatz, indem sie Annahmen über die Daten sowie die Umgebung treffen, in der sie gesammelt und angewendet wurden.

Die drei großen Kategorien von Annahmen, die von statistischen Modellen getroffen werden, sind Verteilungsannahmen (Annahmen über die Verteilung von Werten in einer Variablen oder die Verteilung von Beobachtungsfehlern), strukturelle Annahmen (Annahmen über die funktionale Beziehung zwischen Variablen) und Kreuzvariationsannahmen (gemeinsame Wahrscheinlichkeitsverteilung).

Ein lineares Regressionsmodell geht beispielsweise davon aus, dass die Beziehungen zwischen Variablen in einem Datensatz linear (und nur linear) sind. In den Augen eines linearen Modells ist jeder Abstand zwischen den Beobachtungen, aus denen der Datensatz besteht, und der modellierten Linie nur Rauschen (d. H. Zufällige oder unerklärliche Schwankungen der Daten) und kann letztendlich ignoriert werden.

Achten Sie nicht auf die Entfernungen in Blau.

George Box erklärte, dass alle Modelle speziell im Zusammenhang mit statistischen Modellen falsch sind. Da die Natur eines Modells eine vereinfachte und idealisierte Darstellung von etwas ist, sind alle Modelle in gewissem Sinne falsch. Modelle werden niemals „die Wahrheit“ sein, wenn Wahrheit bedeutet, die Realität vollständig zu repräsentieren. Es ist sehr wichtig, die bei der Erstellung eines Modells getroffenen Annahmen zu berücksichtigen, da Modelle nur dann wirklich hilfreich sind, wenn die Annahmen aufrechterhalten werden.

Karten und Miniaturen

Ähnliche Beobachtungen wie Box’s „Alle Modelle sind falsch“ gibt es in vielen verschiedenen Bereichen.

Es gibt einen Aphorismus, der auf die Karte-Territorium-Beziehung verweist, die Alfred Korzybski zugeschrieben wird:

Eine Karte ist nicht das Gebiet, das sie darstellt, aber wenn sie korrekt ist, hat sie eine ähnliche Struktur wie das Gebiet, was ihre Nützlichkeit erklärt.

Karten sind nützlich, da sie Abstraktionen eines realen Objekts in einem überschaubareren Maßstab sind, aber immer eine gewisse Detailgenauigkeit ausschließen. Je nachdem, wie viel Fläche eine Karte enthält, kann es auch zu Verzerrungen aufgrund der Projektion der Karte kommen (verursacht durch den kniffligen Prozess der Umwandlung eines sphärischen Globus in eine flache Darstellung).

( Bildquelle.)

Die einzige wirklich genaue Karte wäre eine 1:1-Replikation des Territoriums, das sie darstellt. Eine solche Karte wäre jedoch nicht hilfreicher als die Navigation durch das Gebiet selbst.

Betrachten Sie das Zitat des Dichters Paul Valery:

Alles Einfache ist falsch. Alles, was komplex ist, ist unbrauchbar.

Boninis Paradoxon, benannt nach einem Stanford-Wirtschaftsprofessor, beschreibt die Herausforderung, nützliche, vollständige Modelle oder Simulationen komplexer Systeme zu erstellen. In der Modellentwicklung gibt es oft einen Spagat zwischen Komplexität und Genauigkeit. Wenn das Ziel eines Modells darin besteht, eine Beziehung oder ein System klarer zu machen, wird dieser Zweck durch zusätzliche Komplexität zunichte gemacht (obwohl dies das Modell möglicherweise genauer macht).

Auf einer hohen Ebene beschreibt die Karte-Territorium-Relation auch die Beziehung zwischen einem Objekt und einer Repräsentation des Objekts.

Wenn Sie jemals einen Philosophiekurs besucht haben, sind Sie vielleicht auf die Arbeit gestoßen Der Verrat der Bilder des surrealistischen Künstlers Rene Magritte.

Der Text übersetzt in „Dies ist keine Pfeife.“ Und das ist es nicht. Wir können dieses (digitale) Bild nicht mit Tabak stopfen und rauchen, da es nur eine Darstellung eines realen Objekts ist.

Modelle sind Abstraktionen. Wie Karten oder Miniatur-Architekturmodelle oder Schaltpläne können sie nicht jedes Detail des Objekts oder Systems erfassen, auf dem sie basieren, schon allein deshalb, weil sie in der realen Welt nicht existieren und nicht auf die gleiche Weise funktionieren.

Wenn alle Modelle falsch sind, warum die Mühe?

George Box’s Aphorismus ist nicht ohne seine Kritiker.

Das Problem, das viele Statistiker mit diesem Zitat haben, scheint im Großen und Ganzen in zwei Kategorien zu fallen:

1. Modelle, die falsch liegen, sind eine offensichtliche Aussage. Natürlich sind alle Modelle falsch, sie sind Modelle.
2. Dieses Zitat wird als Entschuldigung für schlechte Modelle verwendet.

Der Statistiker J. Michael Steele hat das Sprichwort kritisiert (siehe diesen persönlichen Aufsatz). Steeles Hauptargument ist, dass „falsch“ nur dann ins Spiel kommt, wenn das Modell die Frage, die es zu beantworten behauptet, nicht richtig beantwortet (z., dass ein Gebäude auf einer Karte falsch beschriftet ist, nicht, dass das Gebäude durch ein kleines Quadrat dargestellt wird). Steele geht auf Staat:

Die Mehrheit der veröffentlichten statistischen Methoden hungert nach einem ehrlichen Beispiel.

Steele argumentiert, dass statistische Modelle einem angemessenen Fitnessmaß oft nicht gewachsen sind und viele von Statistikern entwickelte Modelle für ihre beabsichtigten Anwendungsfälle nicht ausreichen.

Im Artikel Statistik als Wissenschaft, nicht als Kunst: Der Weg zum Überleben in der Datenwissenschaft, Mark van der Laan (Statistik an der UC Berkeley) schreibt das Box-Zitat als Ursache für schlechte statistische Modelle zu und weist es als „völligen Unsinn“ zurück.“ Er schreibt weiter:

Die Grundlage der Statistik (…) konnte nicht darin bestehen, willkürlich ein „praktisches“ statistisches Modell auszuwählen. Genau das tun die meisten Statistiker jedoch munter und verweisen stolz auf das Zitat: „Alle Modelle sind falsch, aber einige sind nützlich.“ Aus diesem Grund sind Modelle, die so unrealistisch sind, dass sie durch einen endlichen Dimensionsparameter indiziert werden, immer noch der Status quo, obwohl sich alle einig sind, dass sie als falsch bekannt sind.

Als Lösung fordert Van der Laan die Statistiker auf, das Zitat von Box nicht mehr zu verwenden und sich zu verpflichten, Daten, Statistiken und die wissenschaftliche Methode ernst zu nehmen. Er fordert Statistiker auf, Zeit damit zu verbringen, zu lernen, wie Daten in einem bestimmten Datensatz generiert wurden, und sich dazu zu verpflichten, realistische statistische Modelle mithilfe von maschinellem Lernen und datenadaptiven Schätztechniken gegenüber traditionelleren parametrischen Modellen zu entwickeln.

Dieser Artikel enthält Antworten der Statistiker Michael Lavine und Christopher Tong sowie eine Antwort auf die Antworten des ursprünglichen Autors. Die beiden widerlegenden Statistiker weisen auf Beispiele hin, bei denen Modelle bekanntermaßen falsch sind, aber oft verwendet werden, weil sie nützlich und für ein bestimmtes Problem geeignet sind. Ihre Beispiele sind die drei verschiedenen Modelle von Licht auf dem Gebiet der Optik (geometrische Optik, physikalische Optik und Quantenoptik; alle drei Modelle repräsentieren Licht unterschiedlich, sind in gewissem Sinne „falsch“ und werden heute noch verwendet) und die (fast) lineare Beziehung zwischen dem Protokoll des Kohlenstoffflusses und der Bodentemperatur, die in Daten gefunden wurde, die im Harvard Forest gesammelt wurden.

Van der Laan wiederum antwortet auf diese Beispiele und andere Kritiken seines Artikels, insbesondere auf sein Konzept, ein „wahres“ Modell zu finden. Die Antwortbriefe sind definitiv eine Lektüre wert, wenn Sie interessiert sind. Dies stellt ein aktives Diskussionsfeld in den Bereichen Statistik und Datenwissenschaft dar.

Aber einige Modelle sind nützlich

Trotz der Einschränkungen von Modellen können viele Modelle sehr nützlich sein. Da sie vereinfacht sind, sind Modelle oft hilfreich, um eine bestimmte Komponente oder Facette eines Systems zu verstehen.

Im Kontext der Datenwissenschaft können maschinelles Lernen und statistische Modelle nützlich sein, um unbekannte Werte abzuschätzen (vorherzusagen). In vielen Kontexten kann eine unsichere Schätzung, die von einem starken statistischen Modell bereitgestellt wird, immer noch sehr hilfreich sein, um Entscheidungen zu treffen, wenn die Annahmen des Modells zutreffen.

Die zweite, weniger zitierte Hälfte von George Box’s Weisheit ist diese:

“ Die praktische Frage ist, wie falsch (Modelle) sein müssen, um nicht nützlich zu sein.“ – George Box

Schauen wir uns unser lineares Regressionsbeispiel noch einmal an:

Meistens habe ich zu viel Zeit mit diesem Bild verbracht, um es nur einmal zu verwenden.

Schauen wir uns nun ein anderes theoretisches lineares Regressionsmodell an, das an einen anderen Datensatz angepasst ist.

Achte nicht auf die Entfernungen … warte, das kann nicht richtig sein.

Beide Zahlen zeigen Fehler, aber ein Datensatz zeigt eine klar lineare Beziehung, während der andere logistisch ist. Beide Modelle sind „falsch“, aber eines erfasst eindeutig eine reale Beziehung zwischen Variablen, das andere nicht, was eines nützlich und eines nutzlos macht. Das Verwerfen der Abstände in Blau als Rauschen ist sinnvoll, wenn die Daten eine lineare Beziehung haben, aber diese Annahme fällt auseinander, wenn die Beziehung eine andere funktionale Form als das ausgewählte Modell hat.

Gute Modelle erstellen

Die Tatsache, dass Modelle falsch oder im Umfang ihrer Darstellung eingeschränkt sind, mag vielen Menschen, die mit Modellen arbeiten, offensichtlich erscheinen, aber leider erkennen viele Menschen dies nicht oder denken viel darüber nach. Deshalb halte ich es für wichtig, bei der Entwicklung eines Modells die Worte von George Box im Auge zu behalten. Es sollte nicht als Ausrede benutzt werden, um schlechte Modelle zu bauen.

Zur weiteren Lektüre hat Steele einige großartige Klassenhinweise: Macht das Modell Sinn? und macht das Modell Sinn? Teil II: Ausnutzung der Suffizienz. Eine weitere großartige Ressource ist das Papier ‚All models are wrong…‘: an introduction to model uncertainty from a model selection workshop held in 2011 in Groningen.

Eine weitere interessante Lektüre ist When All Models are Wrong von Issues in Science and Technology , die Box’s Worte als Aufruf für strengere Transparenz in wissenschaftlichen und statistischen Modellen fordert.

Es ist wichtig, dass Sie verstehen, welche Aspekte Ihrer Daten von Ihrem Modell erfasst werden und welche nicht. Es ist wichtig, Ihre Annahmen und Ausgangspunkte zu überprüfen. Als Statistiker oder Datenwissenschaftler liegt es in Ihrer Verantwortung, strenge Modelle zu erstellen und deren Grenzen zu kennen. Melden Sie immer Ihre Unsicherheit sowie den Umfang Ihres Modells. In diesem Sinne können Sie Modelle erstellen, die zwar möglicherweise falsch sind, aber sicherlich nützlich sein können.

Original. Reposted mit Erlaubnis.

Biografie: Ein ausgebildeter Geograph und ein Datenfreak im Herzen, Sydney ist der festen Überzeugung, dass Daten und Wissen am wertvollsten sind, wenn sie klar kommuniziert und verstanden werden können. In ihrer aktuellen Rolle als Senior Data Science Content Engineer kann sie ihre Tage damit verbringen, das zu tun, was sie am meisten liebt: technisches Wissen und Forschung in ansprechende, kreative und unterhaltsame Inhalte für die Alteryx-Community umzuwandeln.

Verwandt:

• Die 3 größten Fehler beim Erlernen von Data Science
• 3 große Probleme mit Big Data und wie man sie löst
• Auswahl zwischen Modellkandidaten