Studiu de caz AI experimental
Sentiment financiar, evaluat cu disciplină.
Un model lingvistic specializat de 8 miliarde de parametri, utilizabil local, pentru clasificarea afirmațiilor financiare scurte în engleză ca pozitive, neutre sau negative.
338exemple în setul final sigilat
01
De ce contează
Organizațiile financiare procesează zilnic mii de semnale textuale scurte: titluri de știri, comentarii ale analiștilor, rapoarte interne și comunicări cu clienții. Clasificarea fiabilă a sentimentului poate ajuta la organizarea, prioritizarea și analizarea acestor informații.
02
Repere tehnice
- Sarcină
- Clasificarea sentimentului financiar
- Clase
- Pozitiv / Neutru / Negativ
- Dataset
- Financial PhraseBank · AllAgree
- Evaluare
- Set final separat și sigilat · o singură evaluare
- Metrici
- Accuracy · Macro-F1 · Acuratețe echilibrată
- Validarea rezultatului
- 100% format valid
Evaluarea finală
Un rezultat solid, prezentat cu limitele sale.
Candidatul selectat a fost evaluat o singură dată pe un set final sigilat de 338 de exemple. Nu este pretinsă o comparație cu un baseline pe testul final.
Candidatul a fost selectat pe un set de validare separat. Nu a fost rulat un baseline pe setul final și nu este pretinsă nicio îmbunătățire pe testul final.
03
Ce demonstrează proiectul
Adaptare la domeniu
Adaptarea unui model lingvistic specializat de 8 miliarde de parametri la limbajul financiar.
Ingineria evaluării
Pipeline-uri reproductibile cu separare între validare și testul final.
Guvernanța datasetului
Trasabilitatea sursei, a split-ului, a permisiunilor și a deciziilor de publicare.
Comunicare responsabilă
Rezultate publicate cu limite și afirmații delimitate.
04
Dincolo de adaptarea modelului
Proiectul demonstrează și sistemul de inginerie din jurul modelului: guvernanța datasetului, evaluare controlată, reproductibilitatea experimentelor, disciplină în publicare și comunicare responsabilă despre AI.
- 01Guvernează
- 02Separă
- 03Validează
- 04Testează o dată
- 05Comunică
Utilizare
Acest demonstrator tehnic de portofoliu prezintă un flux reproductibil de evaluare AI pentru limbaj financiar specializat.
Nu este un sistem financiar de producție și nu trebuie utilizat pentru decizii de investiții, tranzacționare, credit, conformitate sau alte decizii financiare. Rezultatele se aplică exclusiv acestui dataset, split și protocol.
05
Dataset și atribuire
Acest experiment utilizează Financial PhraseBank, configurația AllAgree. ITYES nu redistribuie datasetul. Utilizarea sa în acest demonstrator limitat este prezentată cu atribuire corectă și permisiunea scrisă a autorului datasetului.
Financial PhraseBank este asociat cu Aalto University și este licențiat CC BY-NC-SA 3.0. Nu sunt publicate exemple din dataset, greutăți ale modelului sau fișiere de adapter.
Built with Llama. Llama 3.1 este licențiat conform Llama 3.1 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.
Malo et al. (2014) · Good debt or bad debt ↗Despre ITYES