AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science

Brodeur, A.; Valenta, D.; Marcoci, A.; Aparicio, J.P.; Mikola, D.; Barbarioli, B.; Alexander, R.; Deer, L.; Stafford, T.; Vilhuber, L.; Bensch, G.; Motoki, F.; Abdelhady, M.; Abdelmoula, Y.; Baki, G.A.; Aguirre, T.; Aiyer, S.; Akhtar, S.; Akhtar, F.; Albada, M.R.; Altman, M.; Angenendt, D.; Arjmandi Lari, Z.; De León Tejada, J.A.; Arana, D.R.; Asanov, I.; Noha, A.M.; Ashong, R.; Auer, T.; Bahamonde-Birke, F.J.; Baker, B.J.; Bartram, S.M.; Bao, D.; Batinovic, L.; Batistoni, T.; Beeder, M.; Beland, L.P.; Gero Bienz, C.; Aryanto, C.B.; Bolibaugh, C.; Bonander, C.; Bravo, R.; Bronnikov, E.; Bruns, S.; Buliskeria, N.; Caicedo-Silva, S.; Calef, A.; Sebastian Cano Arias, J.; Castillo Alvarez, G.A.; Caulker, S.; Cepenas, S.; Chatton, A.; Chen, Z.; Chioma Ewurum, N.; Ciocîrlan, A.B.; Clouth, F.J.; Collins, J.; Cook, N.; Cornejo, C.; Craveiro, J.; Créchet, J.; Cui, J.; Chalil Vayalabron, N.; Czymara, C.; Bermúdez Jaramillo, C.D.; Datta, H.; Denoo, L.; Dhaliwal, A.; Dhameja, N.; Djemai, E.; Dujeancourt, E.; Dündar, U.; Duprey, T.; Eissa, Y.; El Fassi, Y.; El Fassi, I.; Ellis, K.; Elminejad, A.; Elsherif, M.; Emirmahmutoglu, A.; Etingin-Frati, G.; Eze, E.; Dollbaum, J.F.; Feld, J.; Felipe Rengifo Jaramillo, A.; Fenig, G.; Fernandes, V.; Fiala, L.; Fink, L.; Firouzjaeiangalougah, M.; Fish, S.; Fitzgerald, J.; Forshaw, R.; Fortier-Chouinard, A.; Fréget, L.; Frese, J.; Gabani, J.; Gallegos, S.; Gamill, M.C.; Gáspár, A.; Gauriot, R.; Gavrilova, E.; Geraldes, D.; Cantone, G.G.; Gibson, G.; Goldschmitt, D.; Gourdon-Kanhukamwe, A.; Gregor de Varda, A.; Grigoryeva, I.; Gugushvili, A.; Fletcher, A.H.A.; Habermann, F.; Hablicsek, M.; Haddad, J.; Hall, J.D.; Hammar, O.; Hassouneh, M.; Hausladen, C.I.; Hendrikse, S.C.F.; Hepplewhite, M.; Ho, A.T.Y.; Hogan-Hennessy, S.; Howley, E.; Huang, G.; Hulstaert, H.; Ilchovska, Z.G.; Jaimes Santamaria, P.; Jakobsson, N.; Jansson, J.; Jarosz, E.; Jebeli, H.; Jiang, Y.; Junaid, H.; Kalluraya, R.; Karim, S.; Kelly, E.; Kimel, E.; Kingsuwankul, S.; Klotzbücher, V.; Krähmer, D.; Krūminas, P.; Kruus, N.; Kujansuu, E.; Kurz, C.F.; Küster, S.; Lee-Whiting, B.; Lewandowski, F.; Li, T.; Li, R.; Liu, D.; Liu, J.; Lo, H.; Loter, K.; Macedo Dias, F.; Madan, C.R.; Mäder, N.; Mandas, M.; Mantilla, C.; Marcus, J.; Marino Fages, D.; Martin, X.; McWay, R.; Medina-Gaspar, D.; Meng, S.; Meng, L.; Merz, S.; Miller, A.P.; Mirabel, T.; Mishra, D.D.; Mishra, S.; Moges, B.W.; Mohandes Mojarrad, M.; Mohnen, M.; Morin, L.P.; Muehlenbachs, L.; Mullin, G.; Musulan, A.; Muzzì, S.; Myers, J.A.C.; Neubauer, F.; Nguyen, T.; Niazi, A.; Nordstrom, A.; Nowak, B.; O’Habib, D.; Ölkers, T.; Ong, J.; Orozco Castiblanco, V.; Özak, Ö.; Ozkes, A.I.; Paaso, M.; Pandey, S.; Papazoglou, V.; Penheiro, R.; Pham, L.; Phieler, U.; Pütz, P.; Qi, Q.; Qiu, J.; Rein, M.T.; Reinstein, D.A.; Repo, J.; Rudolf, N.; Saha, S.; Saka, O.; Saponaro, C.; Sator, G.; Schoenmakers, M.; Seri, R.; Shah, M.; Sibille, P.; Siemroth, C.; Skavysh, V.; Slater, B.; Song, W.; Staubli, S.; Steindl, T.; Waongo, N.S.; Stott, P.; Strobel, S.; Sudhaharan, R.; Sun, P.; Swain, S.D.; Talavera, O.; Tantiangco, H.M.; Tarasenko, G.; Tarlinton, B.; Tarraf, M.; Teoh, K.; Thériault, R.; Thompson, B.; Tian, T.; Tian, W.; Tolani, E.; Borgen, N.; Topstad Borgen, S.; Torralba, J.; Velez-Ospina, C.; Mak, M.W.; Wallrich, L.; Wang, Z.; Ward, L.; Webb, M.D.; Webb, D.; Weber, B.S.; Weber, C.; Weng, W.C.; Westheide, C.; Wilkinson, T.; Wong, K.Y.; Wroński, M.; Wu, Z.; Wu, Q.; Wu, V.Y.; Xiao, B.; Xu, F.; Xu, C.; Yadav, P.; Yang, C.Y.; Yap, L.; Yazbeck, M.; Yao, B.; Zagrodzka, Z.; Zahra, T.; Zaneva, M.; Zhang, X.; Zhao, Z.; Zhong, H.; Zirgulis, A.; Zou, J.; Zoutman, F.; Zozoungbo, C.

doi:10.1073/pnas.2524747123

AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science

Author(s):: Brodeur, A.; Valenta, D.; Marcoci, A.; Aparicio, J.P.; Mikola, D.; Barbarioli, B.; Alexander, R.; Deer, L.; Stafford, T.; Vilhuber, L.; Bensch, G.; Motoki, F.; Abdelhady, M.; Abdelmoula, Y.; Baki, G.A.; Aguirre, T.; Aiyer, S.; Akhtar, S.; Akhtar, F.; Albada, M.R.; Altman, M.; Angenendt, D.; Arjmandi Lari, Z.; De León Tejada, J.A.; Arana, D.R.; Asanov, I.; Noha, A.M.; Ashong, R.; Auer, T.; Bahamonde-Birke, F.J.; Baker, B.J.; Bartram, S.M.; Bao, D.; Batinovic, L.; Batistoni, T.; Beeder, M.; Beland, L.P.; Gero Bienz, C.; Aryanto, C.B.; Bolibaugh, C.; Bonander, C.; Bravo, R.; Bronnikov, E.; Bruns, S.; Buliskeria, N.; Caicedo-Silva, S.; Calef, A.; Sebastian Cano Arias, J.; Castillo Alvarez, G.A.; Caulker, S.; Cepenas, S.; Chatton, A.; Chen, Z.; Chioma Ewurum, N.; Ciocîrlan, A.B.; Clouth, F.J.; Collins, J.; Cook, N.; Cornejo, C.; Craveiro, J.; Créchet, J.; Cui, J.; Chalil Vayalabron, N.; Czymara, C.; Bermúdez Jaramillo, C.D.; Datta, H.; Denoo, L.; Dhaliwal, A.; Dhameja, N.; Djemai, E.; Dujeancourt, E.; Dündar, U.; Duprey, T.; Eissa, Y.; El Fassi, Y.; El Fassi, I.; Ellis, K.; Elminejad, A.; Elsherif, M.; Emirmahmutoglu, A.; Etingin-Frati, G.; Eze, E.; Dollbaum, J.F.; Feld, J.; Felipe Rengifo Jaramillo, A.; Fenig, G.; Fernandes, V.; Fiala, L.; Fink, L.; Firouzjaeiangalougah, M.; Fish, S.; Fitzgerald, J.; Forshaw, R.; Fortier-Chouinard, A.; Fréget, L.; Frese, J.; Gabani, J.; Gallegos, S.; Gamill, M.C.; Gáspár, A.; Gauriot, R.; Gavrilova, E.; Geraldes, D.; Cantone, G.G.; Gibson, G.; Goldschmitt, D.; Gourdon-Kanhukamwe, A.; Gregor de Varda, A.; Grigoryeva, I.; Gugushvili, A.; Fletcher, A.H.A.; Habermann, F.; Hablicsek, M. (0000-0001-7549-9713); Haddad, J.; Hall, J.D.; Hammar, O.; Hassouneh, M.; Hausladen, C.I.; Hendrikse, S.C.F.; Hepplewhite, M.; Ho, A.T.Y.; Hogan-Hennessy, S.; Howley, E.; Huang, G.; Hulstaert, H.; Ilchovska, Z.G.; Jaimes Santamaria, P.; Jakobsson, N.; Jansson, J.; Jarosz, E.; Jebeli, H.; Jiang, Y.; Junaid, H.; Kalluraya, R.; Karim, S.; Kelly, E.; Kimel, E.; Kingsuwankul, S.; Klotzbücher, V.; Krähmer, D.; Krūminas, P.; Kruus, N.; Kujansuu, E.; Kurz, C.F.; Küster, S.; Lee-Whiting, B.; Lewandowski, F.; Li, T.; Li, R.; Liu, D.; Liu, J.; Lo, H.; Loter, K.; Macedo Dias, F.; Madan, C.R.; Mäder, N.; Mandas, M.; Mantilla, C.; Marcus, J.; Marino Fages, D.; Martin, X.; McWay, R.; Medina-Gaspar, D.; Meng, S.; Meng, L.; Merz, S.; Miller, A.P.; Mirabel, T.; Mishra, D.D.; Mishra, S.; Moges, B.W.; Mohandes Mojarrad, M.; Mohnen, M.; Morin, L.P.; Muehlenbachs, L.; Mullin, G.; Musulan, A.; Muzzì, S.; Myers, J.A.C.; Neubauer, F.; Nguyen, T.; Niazi, A.; Nordstrom, A.; Nowak, B.; O’Habib, D.; Ölkers, T.; Ong, J.; Orozco Castiblanco, V.; Özak, Ö.; Ozkes, A.I.; Paaso, M.; Pandey, S.; Papazoglou, V.; Penheiro, R.; Pham, L.; Phieler, U.; Pütz, P.; Qi, Q.; Qiu, J.; Rein, M.T.; Reinstein, D.A.; Repo, J.; Rudolf, N.; Saha, S.; Saka, O.; Saponaro, C.; Sator, G.; Schoenmakers, M.; Seri, R.; Shah, M.; Sibille, P.; Siemroth, C.; Skavysh, V.; Slater, B.; Song, W.; Staubli, S.; Steindl, T.; Waongo, N.S.; Stott, P.; Strobel, S.; Sudhaharan, R.; Sun, P.; Swain, S.D.; Talavera, O.; Tantiangco, H.M.; Tarasenko, G.; Tarlinton, B.; Tarraf, M.; Teoh, K.; Thériault, R.; Thompson, B.; Tian, T.; Tian, W.; Tolani, E.; Borgen, N.; Topstad Borgen, S.; Torralba, J.; Velez-Ospina, C.; Mak, M.W.; Wallrich, L.; Wang, Z.; Ward, L.; Webb, M.D.; Webb, D.; Weber, B.S.; Weber, C.; Weng, W.C.; Westheide, C.; Wilkinson, T.; Wong, K.Y.; Wroński, M.; Wu, Z.; Wu, Q.; Wu, V.Y.; Xiao, B.; Xu, F.; Xu, C.; Yadav, P.; Yang, C.Y.; Yap, L.; Yazbeck, M.; Yao, B.; Zagrodzka, Z.; Zahra, T.; Zaneva, M.; Zhang, X.; Zhao, Z.; Zhong, H.; Zirgulis, A.; Zou, J.; Zoutman, F.; Zozoungbo, C.

Published: 2026
Publication type: Article / Letter to editor

Date issued: 2026-05-28
Language: English
Publisher: National Academy of Sciences
Is part of: Proceedings of the National Academy of Sciences (2026), No. 22, e2524747123
hdl: 1887/4307624
doi: 10.1073/pnas.2524747123
URL: https://doi.org/10.1073/pnas.2524747123

AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science

Persistent identifier url

Documents