Caso di studio AI sperimentale
Sentiment finanziario, valutato con rigore.
Un modello linguistico specializzato da 8 miliardi di parametri, utilizzabile localmente, per classificare brevi affermazioni finanziarie in inglese come positive, neutrali o negative.
338esempi nel set finale separato
01
Perché è rilevante
Le organizzazioni finanziarie elaborano ogni giorno migliaia di brevi segnali testuali: titoli di notizie, commenti degli analisti, report interni e comunicazioni con i clienti. Una classificazione affidabile del sentiment può contribuire a organizzare, prioritizzare e analizzare queste informazioni.
02
Dati tecnici principali
- Attività
- Classificazione del sentiment finanziario
- Classi
- Positivo / Neutro / Negativo
- Dataset
- Financial PhraseBank · AllAgree
- Valutazione
- Set finale separato e bloccato · una valutazione
- Metriche
- Accuracy · Macro-F1 · Accuratezza bilanciata
- Validazione dell’output
- 100% in formato valido
Valutazione finale
Un risultato solido, presentato con i suoi limiti.
Il candidato selezionato è stato valutato una sola volta su un set finale bloccato di 338 esempi. Non viene dichiarato alcun confronto con baseline sul test finale.
Il candidato è stato selezionato su un set di validazione distinto. Non è stato eseguito un baseline sul test finale e non viene dichiarato alcun miglioramento sul test finale.
03
Cosa dimostra il progetto
Adattamento di dominio
Adattamento di un modello linguistico specializzato da 8 miliardi di parametri al linguaggio finanziario.
Ingegneria della valutazione
Pipeline riproducibili con separazione tra validazione e test finale.
Governance del dataset
Tracciabilità di sorgente, split, permessi e decisioni di pubblicazione.
Comunicazione responsabile
Risultati pubblicati con limiti e affermazioni circoscritte.
04
Oltre l’adattamento del modello
Il progetto dimostra anche il sistema ingegneristico che circonda il modello: governance del dataset, valutazione controllata, riproducibilità, disciplina nella pubblicazione e comunicazione responsabile sull’AI.
- 01Governare
- 02Separare
- 03Validare
- 04Testare una volta
- 05Comunicare
Utilizzo previsto
Questo dimostratore tecnico per il portfolio presenta un processo riproducibile di valutazione AI per il linguaggio finanziario specializzato.
Non è un sistema finanziario di produzione e non deve essere utilizzato per decisioni di investimento, trading, credito, compliance o altre decisioni finanziarie. I risultati si riferiscono esclusivamente al dataset, allo split e al protocollo descritti.
05
Dataset e attribuzione
Questo esperimento utilizza Financial PhraseBank, configurazione AllAgree. ITYES non ridistribuisce il dataset. Il suo utilizzo in questo dimostratore limitato è presentato con corretta attribuzione e autorizzazione scritta dell’autore del dataset.
Financial PhraseBank è associato all’Aalto University ed è distribuito con licenza CC BY-NC-SA 3.0. Non vengono pubblicati esempi del dataset, pesi del modello o file dell’adapter.
Built with Llama. Llama 3.1 è concesso in licenza secondo la Llama 3.1 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.
Malo et al. (2014) · Good debt or bad debt ↗Informazioni su ITYES