Letzte Aktualisierung am 23. Februar 2023
These
Erklärung
In seiner Auseinandersetzung mit künstlichen neuronalen Netzen (KNN) und maschinellem Lernen im Allgemeinen und mit dem Chatbot «ChatGPT» als speziellem Anwendungsfall behauptet Stephen Wolfram in seinem Aufsatz «What Is ChatGPT Doing … and Why Does It Work?», dass es neue Gesetze der Sprache und damit auch neue Gesetze des Denkens zu entdecken gibt. In künstlichen neuronalen Netzen sind diese Gesetze implizit vorhanden. Die Aufgabe der Wissenschaft ist es, diese Gesetze zu explizieren und damit auch mehr über die Funktionsweise von Bewusstseinssystemen zu erfahren.
Gegenwärtig basieren künstliche neuronale Netze (KNN) auf Zahlen. Wenn KNN also natürliche Sprache verarbeiten, wird diese durch Zahlen repräsentiert. So kann jedem Wort eine Zahl zugeordnet werden. Das Problem dabei ist, dass ein und dasselbe Wort je nach Kontext unterschiedliche Bedeutungen haben kann. Abhilfe schafft hier das Konzept der so genannten Word Embeddings.
Word Embedding
Word Embedding ist derzeit eine der am häufigsten verwendeten Techniken in der natürlichen Sprachverarbeitung (Natural Language Processing, NLP). Anstatt jedem Wort nur eine Zahl zuzuordnen, wird beim Word Embedding jedes Wort als mathematischer Vektor dargestellt. Dadurch können zusätzliche Kontextinformationen erfasst werden. Die Länge eines Vektors bestimmt, wie viele Kontextinformationen er repräsentieren kann.
Man kann sich ein Word Embedding als Versuch vorstellen, ein bestimmtes Wort in einer Art von Bedeutungsraum darzustellen, in dem bedeutungsnahe Wörter in der Nähe des Wortes eingebettet sind.
Word Embeddings entstehen, wenn künstliche neuronale Netze mit einer grossen Menge von Texten trainiert werden und sie dabei registrieren, wie ähnlich die Umgebungen sind, in denen verschiedene Wörter vorkommen. Beim Lernen von Wortbedeutungen gibt es durchaus eine Parallele zwischen natürlichen und künstlichen neuronalen Netzen: Beide lernen, in welchem Kontext ein Wort verwendet wird.
^ ^ ^