Knowledge Representation Learning for Large Language Models
Die Fähigkeit großer Sprachmodelle, natürliche Sprachen zu verstehen und flüssige und relevante Antworten zu geben, ist beeindruckend. Dennoch bleibt der Nachteil, dass die Modelle oft irreführende Ergebnisse liefern, die nachteilige Auswirkungen für die Benutzer*innen haben können. Das Ziel der Vienna Research Group unter der Leitung von Svitlana Vakulenko ist es, die Fähigkeiten großer Sprachmodelle beim Zugriff auf externe Wissensquellen wie das Internet, digitale Archive und andere Informationsquellen von Unternehmen oder Privatpersonen zu verbessern. In ihrer Forschungsgruppe an der WU Wien plant Svitlana Vakulenko mit ihrem Team, neuartige Mechanismen zu entwickeln, die große Sprachmodelle (Large Language Models, LLMs) für Endnutzer:innen zuverlässiger und sicherer machen.
Die Forscher*innen werden sich dabei in drei verschiedenen Richtungen orientieren: (1) neuartiges Architekturdesign von großen Sprachmodellen (2) dezentralisierter Datenzugang und (3) domänenspezifische Anwendungen. Entlang der Theorie des Konstruktivismus, die besagt, dass Menschen ihr Wissen ständig erweitern, während sie die Welt erleben und Erfahrungen reflektieren, sollen große Sprachmodelle dazu ermutigt werden, es den Menschen gleich zu tun und ihre eigenen Wissensrepräsentationen zu konstruieren und neues Wissen einzubeziehen, anstatt nur Worthäufigkeitsmuster auswendig zu lernen. Das Projektziel der Vienna Research Group ist es, einem Sprachmodell zu ermöglichen, seine eigenen Wissensrepräsentationen aufzubauen und weiterzuentwickeln, um so Fragen besser und akkurater beantworten zu können. In einem nächsten Schritt soll der entwickelte Rahmen so erweitert werden, dass er auf einen großen Datenspeicher im Kontext des Web 4.0 anwendbar ist, bei dem der Zugriff auf die Informationsquellen in Echtzeit erfolgt, um immer aktuelle Informationen ausgeben zu können.
Das so entwickelte Modell soll dann in der Zusammenarbeit mit Jurist*innen getestet werden. Der sensible Bereich der Strafverfolgung erfordert bezüglich des Einsatzes von KI ein hohes Maß an Strenge, Transparenz und Zuverlässigkeit, um in der juristischen Praxis auch wirklich eine vertrauenswürdige Unterstützung zu sein. Zum anderen kann der Bereich eindeutig vom Einsatz von künstlicher Intelligenz profitieren, da immer mehr juristische Daten verfügbar sind, womit effiziente Suche und Identifikation bei großen Datenmengen ein immer wichtigeres Thema wird.