Analisi approfondita del problema dei falsi positivi nel Tier 2 del linguaggio italiano formale

Il Tier 2 del sistema di classificazione gerarchica dei contenuti identifica testi di linguaggio formale, accademico e istituzionale, basandosi sul registro linguistico, la complessità sintattica e la ricchezza lessicale specifica. Tuttavia, un difetto critico emerso dal caso studio del tier2_url è la confusione sistematica tra espressioni colloquiali e strutture formali, generando falsi positivi nella classificazione automatica. Questo fenomeno, che colpisce fino al 68% dei documenti nel dataset pilota, mina la precisione del sistema, richiedendo un meccanismo di filtro contestuale basato su analisi sintattica e lessicale del registro italiano formale. La soluzione si fonda su un approccio ibrido: integrazione di regole linguistiche esplicite e modelli di embedding contestuale fine-tunati su corpus annotati del registro formale. L’obiettivo è ridurre i falsi positivi preservando il significato originale e il registro dell’autore, garantendo un’interpretazione accurata in contesti istituzionali, legali e accademici.

---

Caratteristiche linguistiche del registro formale italiano e pattern dei falsi positivi

Il registro formale italiano si distingue per formalità, sintassi complessa, lessico specifico e assenza di contrazioni o espressioni colloquiali. Tra i pattern linguistici che inducono falsi positivi, si segnalano:

• uso frequente di contrazioni come “è”, “lo”, “ci” in forme non standard (es. “è tipo”);
• lessico informale o giuridico usato in contesti non formali (es. “grazie a” in frasi istituzionali);
• strutture ellittiche e frasi frammentate in contesti non completamente colloquiali;
• assenza di marcatori discorsivi formali come “pertanto”, “in quanto”, “si osservi”;
• variazioni nella punteggiatura, con uso eccessivo di virgole o assenza di pause sintattiche chiare.

Esempio concreto: la frase “È tipo che si vede” – colloquiale per uso informale – può essere erroneamente classificata come Tier 2 in contesti dove la struttura sintattica e lessicale non rispecchiano il registro formale. L’analisi comparativa tra corpus formale (es. testi giuridici, documenti istituzionali) e test segnalati come falsi positivi mostra una frequenza anomala di termini colloquiali (28% in più rispetto al baseline) e assenza di segni di formalità (es. “pertanto” assente nel 63% dei casi).

---

Metodologia tecnica per la correzione automatica: linguistica computazionale e modelli ibridi

“La classificazione automatica dei falsi positivi nel Tier 2 richiede non solo l’identificazione lessicale, ma una comprensione profonda della struttura sintattica e del contesto pragmatico. Il filtro contestuale deve operare su due livelli: uno basato su regole linguistiche esplicite e un altro su embedding contestuali addestrati su corpus formali.”

Fase 1: **Costruzione del profilo linguistico del registro formale

Si parte da corpora annotati (es. tier1_url), come testi accademici, normative e documenti istituzionali, arricchiti con etichettature di formalità (bassa, media, alta), complessità sintattica e frequenza di marcatori formali. Si calcolano metriche chiave:

• percentuale di contrazioni e contorni colloquiali count_colloquiale
• frequenza di “pertanto”, “in quanto”, “si osservi” frequenza_formale
• indice di punteggiatura e lunghezza media delle frasi lunghezza_media

Fase 2: **Progettazione del modello ibrido di classificazione

Il sistema integra due componenti:

• Modulo di regole linguistiche: riconosce contrazioni, espressioni idiomatiche e strutture ellittiche tramite pattern matching basato su spaCy con estensioni personalizzate per il registro formale; Modello linguistico: un BERT fine-tunato su corpus formale italiano (bert-base-italian-uncased con dataset annotato Tier 2), addestrato a prevedere formalità e contesto discorsivo.

Fase 3: Addestramento e pipeline integrata
La pipeline include:
1. **Pre-processing:** normalizzazione ortografica e tokenizzazione con gestione di contrazioni e punteggiatura;
2. **Estrazione feature:** Formalità score (0-100), marcatori discorsivi, struttura sintattica (dipendenze) ;
3. **Classificazione:** output binario (Tier 1 vs. Tier 2) con pesi dinamici basati sul contesto;
4. **Filtro contestuale:** modulo basato su regole esplicite (es. “se it tipo presente e pertanto assente, reclassifica”).

---

Fasi operative dettagliate per l’implementazione del filtro contestuale

1. Fase 1: Raccolta e annotazione del corpus
   • Selezionare 5.000 frasi da testi formali (accademici, legali, istituzionali) e 5.000 da testi colloquiali;
   • Annotare manualmente formalità, presenza marcatori formali, struttura sintattica complessa con annotatori linguistici;
   • Estrarre feature linguistiche: pos_tag, frequenza contrazioni, uso “perciò”/“in tal modo”;
2. Fase 2: Estrazione e validazione delle feature linguistiche
   • Creare feature quantitative: formalità (0–100), diversità lessicale formale (TTR-S), frequenza marcatori discorsivi formali;
   • Validare con esperti linguistici: analisi di 200 casi limite per affinare soglie di classificazione;
   • Generare dataset bilanciato: 50% veri Tier 2, 50% falsi positivi da test pilota;
3. Fase 3: Training del modello BERT fine-tunato
   • Configurare BERT base con dataset annotato Tier 2;
   • Addestrare su feature linguistiche e output binario (Tier 1/Tier 2);
   • Calibrare pesi contestuali: aumentare peso a “nessun marcatore formale” in testi ambigui;
4. Fase