"OpenAI lancia MLE-bench: un nuovo strumento per valutare le performance degli agenti AI nel machine learning"

Giorno: 12 ottobre | Ora: 12:07 OpenAI ha recentemente lanciato un nuovo benchmark chiamato MLE-bench, progettato per valutare le prestazioni degli agenti AI nello sviluppo di soluzioni di machine learning. Questo benchmark esamina 75 competizioni di Kaggle, focalizzandosi sulle sfide attuali nel campo dello sviluppo di machine learning e confrontando i risultati ottenuti dall'AI con quelli degli esseri umani. Nei test iniziali, il modello o1-preview, in combinazione con il framework AIDE, ha ottenuto i risultati migliori, conquistando una medaglia di bronzo nel 16,9% delle competizioni, superando così il Claude 3.5 Sonnet di Anthropic. Aumentando il numero di tentativi, il tasso di successo del modello o1-preview è raddoppiato, raggiungendo il 34,1%. OpenAI ritiene che MLE-bench sia uno strumento utile per valutare le competenze fondamentali nell'ingegneria del machine learning, anche se non copre tutti i settori della ricerca sull'intelligenza artificiale. https://www.panewslab.com/zh/sqarticledetails/32mzeggg.html