Next-Generation Natural Language Generation
This project aims to enhance natural language generation by integrating neural models with symbolic representations for better control, adaptability, and reliable evaluation across various applications.
Projectdetails
Introduction
This project aims to overcome the major hurdles that prevent current state-of-the-art models for natural language generation (NLG) from real-world deployment.
Background
While deep learning and neural networks brought considerable progress in many areas of natural language processing, neural approaches to NLG remain confined to experimental use and production NLG systems are handcrafted. The reason for this is that despite the very natural and fluent outputs of recent neural systems, neural NLG still has major drawbacks:
- The behavior of the systems is not transparent and hard to control (the internal representation is implicit), which leads to incorrect or even harmful outputs.
- The models require a lot of training data and processing power, do not generalize well, and are mostly English-only.
On the other hand, handcrafted models are safe, transparent, and fast, but produce less fluent outputs and are expensive to adapt to new languages and domains (topics). As a result, the usefulness of NLG models in general is limited. In addition, current methods for automatic evaluation of NLG outputs are unreliable, hampering system development.
Project Aims
The main aims of this project, directly addressing the above drawbacks, are:
- Develop new approaches for NLG that combine neural approaches with explicit symbolic semantic representations, thus allowing greater control over the outputs and explicit logical inferences over the data.
- Introduce approaches to model compression and adaptation to make models easily portable across domains and languages.
- Develop reliable neural-symbolic approaches for the evaluation of NLG systems.
Applications
We will test our approaches on multiple NLG applications: data-to-text generation (e.g., weather or sports reports), summarization, and dialogue response generation. For example, our approach will make it possible to deploy a new data reporting system for a given domain based on a few dozen example input-output pairs, compared to thousands needed by current methods.
Financiële details & Tijdlijn
Financiële details
Subsidiebedrag | € 1.420.375 |
Totale projectbegroting | € 1.420.375 |
Tijdlijn
Startdatum | 1-4-2022 |
Einddatum | 31-3-2027 |
Subsidiejaar | 2022 |
Partners & Locaties
Projectpartners
- UNIVERZITA KARLOVApenvoerder
Land(en)
Vergelijkbare projecten binnen European Research Council
Project | Regeling | Bedrag | Jaar | Actie |
---|---|---|---|---|
DEep COgnition Learning for LAnguage GEnerationThis project aims to enhance NLP models by integrating machine learning, cognitive science, and structured memory to improve out-of-domain generalization and contextual understanding in language generation tasks. | ERC Consolid... | € 1.999.595 | 2023 | Details |
Personalized and Subjective approaches to Natural Language ProcessingPERSONAE aims to revolutionize NLP by developing personalizable language technologies that empower individuals to adapt subjective tasks like sentiment analysis and abusive language detection. | ERC Starting... | € 1.499.775 | 2024 | Details |
Natural Language Understanding for non-standard languages and dialectsDIALECT aims to enhance Natural Language Understanding by developing algorithms that integrate dialectal variation and reduce bias in data and labels for fairer, more accurate language models. | ERC Consolid... | € 1.997.815 | 2022 | Details |
Controlling Large Language ModelsDevelop a framework to understand and control large language models, addressing biases and flaws to ensure safe and responsible AI adoption. | ERC Starting... | € 1.500.000 | 2024 | Details |
Tensors and Neural Networks for Computational CreativityThis project aims to develop unsupervised language models using tensor constructs and advanced neural networks to enhance creativity in natural language generation. | ERC Consolid... | € 1.988.500 | 2024 | Details |
DEep COgnition Learning for LAnguage GEneration
This project aims to enhance NLP models by integrating machine learning, cognitive science, and structured memory to improve out-of-domain generalization and contextual understanding in language generation tasks.
Personalized and Subjective approaches to Natural Language Processing
PERSONAE aims to revolutionize NLP by developing personalizable language technologies that empower individuals to adapt subjective tasks like sentiment analysis and abusive language detection.
Natural Language Understanding for non-standard languages and dialects
DIALECT aims to enhance Natural Language Understanding by developing algorithms that integrate dialectal variation and reduce bias in data and labels for fairer, more accurate language models.
Controlling Large Language Models
Develop a framework to understand and control large language models, addressing biases and flaws to ensure safe and responsible AI adoption.
Tensors and Neural Networks for Computational Creativity
This project aims to develop unsupervised language models using tensor constructs and advanced neural networks to enhance creativity in natural language generation.
Vergelijkbare projecten uit andere regelingen
Project | Regeling | Bedrag | Jaar | Actie |
---|---|---|---|---|
Project HominisHet project richt zich op het ontwikkelen van een ethisch AI-systeem voor natuurlijke taalverwerking dat vooroordelen minimaliseert en technische, economische en regelgevingsrisico's beheert. | Mkb-innovati... | € 20.000 | 2022 | Details |
Synthetische Data GeneratorHet project ontwikkelt een automatische synthetische data generator voor het trainen van AI-modellen in de agrarische en industriële sector. | Mkb-innovati... | € 176.050 | 2023 | Details |
EdionHet project ontwikkelt een geautomatiseerd systeem voor vraaggeneratie in de natuurkunde om docenten tijd te besparen en studenten een boeiendere leerervaring te bieden. | Mkb-innovati... | € 20.000 | 2023 | Details |
Synthetische Data GeneratorHet project ontwikkelt een automatische data generator voor synthetische data om AI-modellen in de agrarische en industriële sector te trainen, met als doel de efficiëntie en nauwkeurigheid te verbeteren. | Mkb-innovati... | € 176.050 | 2023 | Details |
Project POLIGEN-AIHet project richt zich op het ontwikkelen van een betrouwbare "fact-based" chatbot om desinformatie te bestrijden en geïnformeerde beslissingen te ondersteunen, met aandacht voor technische en juridische haalbaarheid. | Mkb-innovati... | € 20.000 | 2023 | Details |
Project Hominis
Het project richt zich op het ontwikkelen van een ethisch AI-systeem voor natuurlijke taalverwerking dat vooroordelen minimaliseert en technische, economische en regelgevingsrisico's beheert.
Synthetische Data Generator
Het project ontwikkelt een automatische synthetische data generator voor het trainen van AI-modellen in de agrarische en industriële sector.
Edion
Het project ontwikkelt een geautomatiseerd systeem voor vraaggeneratie in de natuurkunde om docenten tijd te besparen en studenten een boeiendere leerervaring te bieden.
Synthetische Data Generator
Het project ontwikkelt een automatische data generator voor synthetische data om AI-modellen in de agrarische en industriële sector te trainen, met als doel de efficiëntie en nauwkeurigheid te verbeteren.
Project POLIGEN-AI
Het project richt zich op het ontwikkelen van een betrouwbare "fact-based" chatbot om desinformatie te bestrijden en geïnformeerde beslissingen te ondersteunen, met aandacht voor technische en juridische haalbaarheid.