📑 Table of Contents▼

In statistica esistono due usi principali per il termine calibrazione i quali denotano tipi specifici di problemi di inferenza statistica. Esso può riferirsi a

  • procedure di classificazione probabilistica atte a determinare, per una data nuova osservazione, le probabilità di appartenenza a ciascuna delle classi prestabilite, quantificandone l'incertezza.
  • un processo inverso rispetto alla regressione nel quale, invece di predire una futura variabile dipendente sulla base di variabili esplicative note, si usa un'osservazione nota delle variabili dipendenti per predire una variabile esplicativa corrispondente;[1]

In aggiunta, il termine calibrazione in statistica ha anche l'usuale significato generale di calibrazione. Ad esempio, si può parlare di calibrazione di modello per riferirsi all'inferenza bayesiana del valore dei parametri di un modello, dato un certo dataset o, più in generale, a qualsiasi tipo di addestramento di un modello statistico. Come affermato da Philip Dawid, "un predittore è ben calibrato se, ad esempio, tra gli eventi a cui assegna una probabilità del 30%, la proporzione di quelli che si verificano effettivamente nel lungo termine risulta essere del 30%." [2]

Classificazione

modifica

Nella classificazione la calibrazione comporta la trasformazione di punteggi di un classificatore in probabilità di appartenenza alle classi. Una panoramica sui metodi di calibrazione per problemi con due o più classi è offerta in [3]. Un classificatore potrebbe separare bene le classi, ma risultare scarsamente calibrato, nel senso che le probabilità stimate per le classi sono lontane da quelle effettive. In tal caso, un passo di calibrazione può aiutare a migliorare le probabilità stimate. Esiste una varietà di metriche che mirano a valutare in che misura un classificatore produca probabilità ben calibrate. Tra i risultati fondamentali figura l'Expected Calibration Error (ECE).[4] che ha avuto successivamente alcune varianti come l'Adaptive Calibration Error (ACE) e il Test-based Calibration Error (TCE), che mirano a superare i limiti della metrica ECE che possono emergere quando i punteggi dati dal classificatore si concentrano in sottoinsiemi ristretti dell'intervallo [0,1].[5][6]

Una recente innovazione nel campo della valutazione della calibrazione è venuta dall'introduzione dell'Estimated Calibration Index (ECI).[7] L'ECI estende i criteri dell'ECE per fornire una misura più articolata della calibrazione di un modello, affrontando in particolare il problema della tendenza verso un'eccessiva o scarsa fiducia nei risultati. Formulato originariamente per contesti binari, l'ECI è stato adattato a casi multiclasse, offrendo indicazioni sia locali che globali sulla calibrazione del modello. Questo approccio mira a superare alcuni dei limiti teorici e interpretativi delle metriche di calibrazione esistenti. Attraverso una serie di esperimenti, è stata dimostrata l'efficacia dell'approccio nel fornire una comprensione più accurata dei livelli di calibrazione dei modelli e sono state discusse le strategie per mitigare i bias nella valutazione della calibrazione. È stato proposto uno strumento online per calcolare sia l'ECE che l'ECI. [7] Sono disponibili diversi metodi di calibrazione univariati per trasformare i punteggi forniti da un classificatore in vere probabilità di appartenenza alle classi, nel caso binario:

I seguenti metodi di calibrazione multivariata servono a trasformare i punteggi di classificatori in probabilità di appartenenza alle classi, nel caso in cui il numero di classi sia superiore a due:

  • Riduzione a problemi binari e successivo uso dell'algoritmo di pairwise coupling [14]
  • Calibrazione di Dirichlet [3]

Predizione di probabilità e forecasting

modifica

Nella predizione e nel forecasting, a volte si usa il Brier score per valutare l'accuratezza di un insieme di predizioni, specificamente che la grandezza delle probabilità assegnate segua la traccia della frequenza relativa dei risultati osservati. Il termine "calibrazione" viene usato con questo significato nel libro di Philip E. Tetlock intitolato Superforecasting.[15] Esso differisce da accuratezza e precisione. Ad esempio, come evidenziato da Daniel Kahneman, "se si attribuisce a tutti gli eventi che si verificano una probabilità di 0,6 e a tutti quelli che non si verificano una probabilità di 0,4, la discriminazione è perfetta ma la calibrazione è pessima".[15] In meteorologia e, in particolare, nelle previsioni del tempo, una forma di valutazione correlata è nota come forecast skill.

Regressione

modifica

Nella regressione il problema della calibrazione riguarda l'uso di dati noti sulla relazione osservata tra una variabile dipendente e una variabile indipendente per stimare altri valori della variabile indipendente a partire da nuove osservazioni della variabile dipendente. [16][17][18] Ciò è noto come problema di "regressione inversa".[19]

Collegamenti esterni

modifica

Voci correlate

modifica

Note

modifica
  1. ^ Graham J.G. Upton e Ian Cook, A dictionary of statistics: the invaluable guide to all aspects of statistics, collana Oxford paperback reference, 2ª ed., Oxford Univ. Press, 2011, ISBN 978-0-19-954145-4.
  2. ^ (EN) A. P. Dawid, The Well-Calibrated Bayesian, in Journal of the American Statistical Association, vol. 77, n. 379, 1982-09, pp. 605–610, DOI:10.1080/01621459.1982.10477856.
  3. ^ a b Martin Gebel, Multivariate calibration of classifier scores into the probability space (PDF) (PhD thesis), University of Dortmund, 2009.
  4. ^ a b Mahdi Pakdaman Naeini, Gregory F. Cooper e Milos Hauskrecht, Obtaining well calibrated probabilities using bayesian binning, in Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, AAAI Press, 25 gennaio 2015, pp. 2901–2907, DOI:10.5555/2888116.2888120.
  5. ^ Jeremy Nixon, Mike Dusenberry e Ghassen Jerfel, Measuring Calibration in Deep Learning, 7 agosto 2020, DOI:10.48550/arXiv.1904.01685.
  6. ^ (EN) Takuo Matsubara, Niek Tax e Richard Mudd, TCE: A Test-Based Approach to Measuring Calibration Error, in Proceedings of the Thirty-Ninth Conference on Uncertainty in Artificial Intelligence, PMLR, 2 luglio 2023, pp. 1390–1400.
  7. ^ a b Lorenzo Famiglini, Andrea Campagner e Federico Cabitza, Towards a Rigorous Calibration Assessment Framework: Advancements in Metrics, Methods, and Use, IOS Press, 28 settembre 2023, DOI:10.3233/faia230327, ISBN 978-1-64368-436-9.
  8. ^ U. M. Garczarek "[1] Archiviato il 23 novembre 2004 in Internet Archive.," Classification Rules in Standardized Partition Spaces, Dissertation, Universität Dortmund, 2002
  9. ^ (EN) Paul N. Bennett, Using asymmetric distributions to improve text classifier probability estimates, ACM, 28 luglio 2003, pp. 111–118, DOI:10.1145/860435.860457.
  10. ^ (EN) Bianca Zadrozny e Charles Elkan, Transforming classifier scores into accurate multiclass probability estimates, ACM, 23 luglio 2002, pp. 694–699, DOI:10.1145/775047.775151.
  11. ^ D. D. Lewis e W. A. Gale, A Sequential Algorithm for Training Text classifiers, in W.B. Croft and C. J. van Rijsbergen (a cura di), Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '94), Springer-Verlag, 1994, pp. 3-12.
  12. ^ J. C. Platt, Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods, in A.J. Smola, P. Bartlett, B. Schölkopf and D. Schuurmans (a cura di), Advances in Large Margin Classiers, MIT Press, 1999.
  13. ^ (EN) Meelis Kull, Telmo Silva Filho e Peter Flach, Beta calibration: a well-founded and easily implemented improvement on logistic calibration for binary classifiers, in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, PMLR, 10 aprile 2017, pp. 623–631.
  14. ^ Hastie, T. e Tibshirani, R., Classification by Pairwise Coupling", in M. I. Jordan, M. J. Kearns, S. A. Solla (a cura di), Advances in Neural Information Processing Systems, vol. 10, MIT Press, 1998.
  15. ^ a b (EN) Edge Master Class 2015: A Short Course in Superforecasting, Class II, su edge.org, Edge Foundation, 24 agosto 2015. URL consultato il 13 aprile 2018.
    «Calibration is when I say there's a 70 percent likelihood of something happening, things happen 70 percent of time.»
  16. ^ Brown, P.J. (1994) Measurement, Regression and Calibration, OUP. ISBN 0-19-852245-2
  17. ^ Ng, K. H., Pooi, A. H. (2008) "Calibration Intervals in Linear Regression Models", Communications in Statistics - Theory and Methods, 37 (11), 1688–1696. [2]
  18. ^ Hardin, J. W., Schmiediche, H., Carroll, R. J. (2003) "The regression-calibration method for fitting generalized linear models with additive measurement error", Stata Journal, 3 (4), 361–372. link, pdf
  19. ^ Draper, N.L., Smith, H. (1998) Applied Regression analysis, 3rd Edition, Wiley. ISBN 0-471-17082-8
  Portale Statistica: accedi alle voci di Wikipedia che trattano di statistica

📚 Artikel Terkait di Wikipedia

Ecosistema marino costiero

Björn C. Rall, Robustness to secondary extinctions: Comparing trait-based sequential deletions in static and dynamic food webs, in Basic and Applied Ecology

Batteri elettrochimicamente attivi

Ren, Improved dechlorination and mineralization of 4-chlorophenol in a sequential biocathode–bioanode bioelectrochemical system with mixed photosynthetic