Call 2023 - Information and Communication Technologies VRG23-007

Understanding Language in Context


Understanding Language in Context
VRG leader:
Institution:
Proponent:
Benjamin Roth
Institution:
Projekttitel:
Understanding Language in Context
Status:
Laufend (01.04.2025 – 31.03.2033)
GrantID:
10.47379/VRG23007
Fördersumme:
€ 1.599.016

KI-Assistenten wie ChatGPT oder Bard haben im letzten Jahr viele Potenziale der maschinellen Sprachverarbeitung aufgezeigt. In vielen Fällen können solche Assistenten unter anderem beim Brainstorming helfen, einfache Texte verfassen oder Programmcode automatisch generieren. Diese Assistenten basieren auf so genannten Sprachmodellen (engl. Large Language Models, LLMs), die aus einer Eingabe Wort für Wort eine Antwort generieren.

Durch große Entwicklungssprünge in den letzten Jahren sind LLMs und darauf basierende KI-Assistenten heute oft in der Lage, komplexe Fragestellungen zu verstehen und passende Antworten zu generieren. Sieht man jedoch von Einzelbeispielen ab und unterzieht LLMs einer systematischeren Analyse, so zeigt sich, dass die von LLMs generierten Antworten in vielen Fällen noch unzuverlässig sind. Beispielsweise sind die derzeitigen Systeme nicht in der Lage, Fragen zu langen Texten korrekt zu beantworten oder zwischen den Zeilen zu lesen.

Das übergeordnete Ziel dieses Forschungsprojektes ist es daher, die Verstehensfähigkeiten von LLMs zu verbessern. Dazu sollen neue Modelle entwickelt werden, die besser in der Lage sind, lange Texte zu verarbeiten und indirekte Sprache zu verstehen. Ein konkretes Ziel ist es, aktuelle Forschung aus den Bereichen maschinelles Lernen und Kognitionswissenschaften zu kombinieren und neue Architekturen für neuronale Netze zu entwickeln, die Entitäten (z.B. Personen, Organisationen, Objekte, etc.) in einem Text sowie deren Beziehungen zueinander zuverlässig identifizieren können, was eine Grundvoraussetzung für das Verstehen längerer Texte darstellt. Um unsere und andere Modelle systematischer zu evaluieren, werden wir auch neue Evaluationsmethoden entwickeln, wie z.B. Benchmarks, die das Leseverständnis von LLMs testen. Bei der Entwicklung werden wir besonders darauf achten, dass die Modelle keine "Abkürzungen" bei der Beantwortung der Fragen nehmen können und somit nur scheinbar wahre Texte verstehen. Dies wird uns helfen, besser zu verstehen, welche Fähigkeiten und Grenzen aktuelle und zukünftige Sprachmodelle tatsächlich haben und wie sie verbessert werden können. All dies hat das Potenzial, die Grundlage für neue KI-Systeme zu bilden, die große Textmengen (z.B. Sammlungen biomedizinischer Artikel) tiefgehend analysieren und komplexe Fragen beantworten können.

 
 
Wissenschaftliche Disziplinen: Artificial intelligence (40%) | Artificial neural networks (30%) | Computational linguistics (20%) | Psycholinguistics (10%)

Wir nutzen Cookies auf unserer Website. Einige von ihnen sind technisch notwendig, während andere uns helfen, diese Website zu verbessern oder zusätzliche Funktionalitäten zur Verfügung zu stellen. Weitere Informationen