Acabamos de publicar nuestro trabajo! 🧠🤖 Los modelos de lenguaje superan a expertos humanos en predicción de resultados en neurociencia [Nature Human Behaviour con @profdata.bsky.social, @ken-lxl.bsky.social, BrainGPT.org y muchos mas!] 1/9 - ThreadSky

guiomarniso.bsky.social • 88 days ago

Acabamos de publicar nuestro trabajo!

🧠🤖
Los modelos de lenguaje superan a expertos humanos en predicción de resultados en neurociencia

[Nature Human Behaviour con @profdata.bsky.social, @ken-lxl.bsky.social, https://BrainGPT.org y muchos mas!] 1/9

Comments

guiomarniso.bsky.social•88 days ago

Los modelos de lenguaje grande (LLMs) como BrainGPT ya están transformando la ciencia. Descubrimos que estos modelos pueden predecir resultados de experimentos en neurociencia mejor que expertos humanos, incluidos los más experimentados. 2/9
📄https://nature.com/articles/s41562-024-02046-9

guiomarniso.bsky.social•88 days ago

Creamos BrainBench, un nuevo estándar diseñado para medir la capacidad de los LLMs en predecir (no solo recordar) hechos científicos. Les pedimos elegir cuál de dos versiones de un abstract de una revista científica contenía los resultados reales. 3/9

guiomarniso.bsky.social•88 days ago

Resultados: Todos los 15 LLMs evaluados superaron a los expertos humanos en las tareas predictivas de BrainBench. Esto incluye áreas complejas de neurociencia, donde incluso expertos con décadas de experiencia lo hicieron peor. 4/9

guiomarniso.bsky.social•88 days ago

Nos aseguramos de que los modelos no tuvieran "fugas" entre datos de entrenamiento y pruebas. En un experimento adicional, entrenamos un modelo desde cero, y aún así fue mejor que los humanos. 5/9
📄 https://arxiv.org/abs/2405.09395

guiomarniso.bsky.social•88 days ago

Tanto los LLMs como los expertos humanos mostraron algo clave: cuando estaban más seguros en sus predicciones, tendían a acertar más. Esto es esencial para que humanos y máquinas trabajen juntos en descubrimientos científicos. 6/9

guiomarniso.bsky.social•88 days ago

De hecho, en otro estudio vimos que los equipos humano+LLM superan a ambos por separado. ¿Por qué? Porque cometen errores diferentes. Combinamos sus juicios mediante un método simple basado en la confianza, y funciona. 🙌
https://arxiv.org/abs/2408.08083 7/9

jruizmz.bsky.social•87 days ago

hola Guiomar!!! podemos hablar por privado???

neurocitizen.bsky.social•88 days ago

Impresionante, felicitaciones!

crisglav.bsky.social•87 days ago

Enhorabuena Guio!! Qué emocionante :)

Comments

Posting Rules

Reply