Bedeutung
Vektorisierung ist ein Verfahren, mit dem Ähnlichkeiten zwischen Inhalten mathematisch berechnet werden können. Sogenannte «Embeddings» stellen Bedeutung oder Ähnlichkeit im Vektorraum dar – einem mathematischen Raum voller Zahlen, die nach bestimmten Regeln miteinander verbunden sind. Es ist der Grundbaustein für die semantische Suche.
Ausgangslage
KI-Systeme arbeiten mit grossen Sprachmodellen (LLM), verstehen aber die Sprache selbst nicht. Sie werten Vektoren aus und erkennen so Bedeutung und Ähnlichkeiten. Vektorisierung (die Umwandlung von Inhalten in Zahlen) und ihre Abbildung im Vektorraum («Embedding») sind die Voraussetzungen dafür, dass die KI überhaupt «weiss», was zur Fragestellung passt. Sie versteht nichts, sie berechnet es. Kurz: Da KI-Systeme nicht wie ein Mensch mit Sprache umgehen können, benötigen sie eine mathematische Repräsentation der Inhalte. Das ist auch die Grundlage für sogenannte Retrieval Augmented-Generation-Systeme (RAG). Diese nutzen speziell trainierte Vektordatenbanken für präzisere Informationen und liefern der KI vor ihrer Antwort auf einen Prompt Kontextwissen, ohne Sprachmodelle vollständig neu zu trainieren.
Geschichte
Es gibt keinen Erfinder, sondern eine lange Evolution aus verschiedenen Entwicklungen in Mathematik und KI-Forschung. Die lineare Algebra von Mitte des 19. Jahrhunderts lieferte die grundlegenden Erkenntnisse. Entscheidend: Ein geometrisches Objekt kann als Punkt in einem Raum dargestellt werden. Liegen zwei Punkte nahe beieinander, sind sie ähnlich. Mit den ersten Computern der 1950er-Jahre suchten Forschende nach Methoden, um Dokumente maschinell auffindbar zu machen. Suche wurde rasch nicht nur als exakte Zeichenfolge verstanden, sondern als Berechnung von Ähnlichkeit im «Vector Space Model». Über mehrere Zwischenschritte entstand schliesslich das Transformer-Modell, dessen Grundlagen 2017 von Google-Forschenden veröffentlicht wurden. Ein Wort erhielt hier nicht nur einen festen Vektor, sondern je nach Satz eine andere Repräsentation. Embeddings wurden kontextsensitiv. Neu entwickelte Vektordatenbanken und -indizes gestalteten die Suche in den Vektorräumen mit Millionen von Inhaltsstücken schnell.
Deep Dive
Vektorisierung besteht aus vielen Teilschritten. Jeder von ihnen kann die Qualität der KI positiv oder negativ beeinflussen. Die ganze Kette wird von zahlreichen Systemen abgedeckt, die sorgfältig evaluiert werden müssen.
Ein Vektor ist die numerische Repräsentation eines Inhalts. Ein Satz wird als Liste von Zahlen gespeichert. Das Embedding-Modell bestimmt, wie diese Zahlen entstehen. Es bildet die Bedeutung ab. Der gespeicherte Satz «Das Wetter heute ist heiss» liegt nahe bei anderen Sätzen, auch wenn diese andere Wörter verwenden, zum Beispiel «Die Klimaveränderung ist real» oder «Wie man nachts besser schläft». Die Nähe zueinander ermöglicht die semantische Suche. Sie erfasst auch Dokumente, die das bestimmte Suchwort nicht enthalten. Wer sich zum Beispiel nicht an eine bestimmte E-Mail erinnert, aber vage an das Thema, erhöht die Wahrscheinlichkeit eines Treffers.
Für semantische Suche und RAG werden lange Dokumente vor dem Vektorisieren meist in sogenannte Chunks aufgeteilt, und für jeden Chunk wird ein Embedding berechnet. Ein Chunk ist eine kleinere Einheit eines Dokuments. Ist ein Chunk zu gross, verwässert sich die Bedeutung. Ist er zu klein, kann der Kontext verloren gehen. Es braucht also eine gute Chunking-Strategie, die nebst formalen Kriterien auch semantische Eigenheiten berücksichtigt. Viele RAG-Systeme kombinieren mehrere Methoden, auch die klassische Suchwort-Abfrage. Sie müssen gepflegt und überwacht werden, um die Qualität hochzuhalten und Sicherheitsprobleme etwa durch falsche Berechtigungen zu vermeiden.
Auch der EGOV Chatbot von Abraxas kombiniert mehrere Methoden. Hier nutzen die Softwareentwickler Vektorisierung für die sogenannte Intent-Klassifizierung. Dabei wird eine Benutzereingabe mit den Embeddings von Beispielsätzen verglichen. Ist die Ähnlichkeit gross genug, kann der Bot eine passende Antwort geben oder einen Workflow anstossen. Das LLM kommt erst zum Einsatz, wenn keine Ähnlichkeit festgestellt werden kann. Vorteil: Die Antworten sind schneller und präziser.
Wirkung
Unstrukturierte Inhalte werden mit Vektorisierung berechenbar. Sie lassen sich als mathematische Nähebeziehung speichern. KI-Systeme finden so die passenden Inhalte. Das verbessert zahlreiche Aspekte der Informationstechnologien, von der Suche über RAG-Systeme bis zur Dubletten-Erkennung und der Klassifikation von Unternehmensdaten.
Internes Wissen wird besser nutzbar. Supportteams leisten gezielter Unterstützung und bestehende Daten bleiben intern, stehen aber im Hintergrund eines KI-Systems für Kontext zur Verfügung. Die KI ruft nur jene Inhaltsteile ab, die tatsächlich passen. Sie benötigt keine umfangreichen Datenbestände einer Organisation.
Alle bisher erschienenen Buchstaben im digitalen ABC
-
A
wie Artificial Intelligence
Artificial Intelligence; abgek. AI,
engl. für dt. künstliche Intelligenz, abgek. KI -
A
wie Apertus
Apertus; Kunstname für die erste in der Schweiz entwickelte KI auf Basis eines vielsprachigen grossen Sprachmodells (LLM).
-
B
wie Big Data
Big Data (von englisch big = gross und data = Daten)
-
B
wie Bug Bounty
Bug-Bounty-Programm (engl. sinng. Kopfgeld-Programm für Programmierfehler)
-
C
wie Cloud
Cloud, w.
-
C
wie CERT
CERT, Akronym für engl. Computer Emergency Response Team
-
D
wie Digitale Schweiz
1. Digitale Schweiz, w. (die digitale Transformation der Schweiz betreffend)
2. Nebenbedeutung: Teil des Markenversprechens von Abraxas. «Für die digitale Schweiz. Mit Sicherheit» -
D
wie DevOps
DevOps, Kofferwort für Development und Operations
-
E
wie E-ID
E-ID, w. (staatlich anerkannte, nationale elektronische Identität)
-
E
wie Entra ID
Entra ID, cloudbasierter Identitäts- und Zugriffsverwaltungsdienst von Microsoft; neue Bezeichnung für Azure AD.
-
F
wie Firewall
Firewall, w.
engl. für Brandmauer -
F
wie Federated Machine Learning
Federated Machine Learning,
abgekürzt FML, engl. für föderiertes Lernen. -
G
wie Graphical User Interface
GUI, s. (Abk. für engl. Graphical User Interface)
-
G
wie GitOps
GitOps,
Kofferwort für Git (Versionskontrollsoftware) und Operations -
H
wie Hermes
Hermes, m.
1. Götterbote aus der griech. Mythologie, u. a. Gott des Handels, Begleiter der Toten in den Hades
2. frz. Familienunternehmen mit Sitz in Paris für Luxus-Modeartikel
3. Abk. für «Handbuch der Elektronischen Rechenzentren des Bundes, eine Methode zur Entwicklung von Systemen», offener Standard zur Führung und Abwicklung von IT-Systemen -
H
wie Hybrid Cloud
-
I
wie IoT
IoT, s.
Abk. für engl. Internet of Things -
I
wie IAM
IAM, s.
Abk. für engl. Identity and Access Management -
J
wie Java
Java, s.
1. kleinste der Grossen Sundainseln (Indonesien)
2. systemunabhängige Programmiertechnologie, besonders für Anwendungen im Internet -
J
wie JSON
JSON,
Abk. für «JavaScript Object Notation». -
K
wie Kubernetes
Kubernetes, m.
1. Steuermann (altgriechisch)
2. Container-Orchestrierungssystem (Software) -
K
wie Kritische Infrastruktur
kritische Infrastruktur, w.
Bezeichnung für besonders wichtige und systemrelevante Infrastrukturen, ohne die die Schweiz Krisen nur schwer überleben könnte. -
L
wie Latenz
Latenz, f.
1. Vorhandensein einer noch nicht sichtbaren Sache
2. Zeit zwischen Reiz und Reaktion (Physiologie)
3. symptomfreie Zeit zwischen Ansteckung und Ausbruch einer Krankheit (Medizin)
4. Zeit zwischen Anfrage und Antwort (IT) -
L
wie LLM
-
M
wie Malware
Malware, f.
Software, die in Computersysteme eindringen und dort Störungen oder Schäden verursachen kann -
M
wie Managed Workplace
Managed Workplace, m.
engl. Begriff für IT-Dienstleistungen mit externer Betreuung, erbracht von einem Managed Service Provider. -
N
wie No Code
No Code, engl. Begriff für eine bestimmte Art der Softwareentwicklung und des Programmierens.
-
N
wie New Work
New Work, n. od. f.
engl. für Neue Arbeit
Gesamtheit der modernen und flexiblen Formen der Arbeit bzw. der Arbeitsorganisation -
O
wie Outsourcing
Outsourcing, n.
engl. für Auslagerung
Übergabe von Aufgaben und / oder Strukturen eines Unternehmens an externe Dienstleister -
O
wie Outsourcing
-
P
wie Proxy
Proxy, m.
engl. für Stellvertreter
ein Vermittler von Anfragen in Computernetzwerken -
P
wie Personendaten
Personendaten, w. pl.
Fachbegriff für Daten, die eindeutig einem Menschen zugeordnet werden können. -
Q
wie Quantencomputer
Quantencomputer, m.
Aus Qubits und Quantengattern aufgebauter Computer, der die Gesetze der Quantenmechanik ausnutzt. -
Q
wie Quantensicherheit
Quantensicherheit, w.
technischer Begriff für die nächste Sicherheitsstufe von klassischen IT-Infrastrukturen -
R
wie Redundanz
Redundanz, f.
Zusätzliche technische Ressourcen als Reserve (Technik) -
R
wie Ransomware
Ransomware, f.
Kofferwort aus Ransom («Lösegeld») und Software, Schadsoftware von Hackern zum Zwecke der Erpressung -
S
wie Software-as-a-Service
SaaS, (ohne Artikel)
Kurzwort für englisch Software-as-a-Service = Software als Dienstleistung -
S
wie Serverless Computing
engl. Begriff für ein Cloud-Computing-Modell zum Entwickeln und Betreiben von Software
-
T
wie Transport Layer Security
TLS, m.,
Kurzwort für englisch Transport Layer Security (= Transportschicht-Sicherheit) -
T
wie Turing-Test
Turing-Test, m.,
Bezeichnung für einen von Alan Turing vorgeschlagenen Test zur Prüfung von KI-Systemen -
U
wie USV
USV, w.,
Abk. für Unterbrechungsfreie Stromversorgung -
V
wie VPN
VPN, n.,
Abk. für engl. virtual private network = virtuelles privates Netzwerk -
W
wie White-Hat-Hacker
White-Hat-Hacker, m.
Ein White-Hat-Hacker (Oder White Hat, engl. für Weisser Hut) ist ein ethischer Hacker für Computersicherheit. -
X
wie XSS (Cross-Site-Scripting)
XSS, s.
Abk. für engl. Cross-Site-Scripting; dieses webseitenübergreifendes Scripting ist eine Angriffsmethode von Cyberkriminellen. -
Y
wie Y2K
Y2K,
Numeronym für das Jahr-2000-Problem, engl. Year und 2K für 2 Kilo = 2000 -
Z
wie z/OS
z/OS,
seit 2001 im Einsatz stehendes Betriebssystem für IBM-Grossrechner
Über Bruno Habegger
Bruno Habegger ist Abraxas-Magazin-Autor und Senior Communication Manager. Er verfügt über eine langjährige Erfahrung im ICT- und Energie-Bereich als Journalist, Contentproduzent und Berater. Er war Präsident einer Regionalpartei und an seinem damaligen Wohnort acht Jahre Mitglied der Sicherheitskommission.