STEM

[puede ser]

DotCSV Lab | ¡EVENTO TESLA en 10 MINUTOS! Anuncio del CYBERCAB en Español

Saludos.

https://www.eleconomista.es/tecnologia/noticias/13038682/10/24/hemos-sido-enganados-descubren-que-el-robot-humanoide-de-musk-en-realidad-era-controlado-por-una-persona.html

Hemos sido engañados: descubren que el robot humanoide de Musk en realidad era controlado por una persona

[Cadavre Exquis]

Premio Nobel de Física: John Hopfield y Geoffrey Hinton por el aprendizaje automático con redes de neuronas artificiales

Por Francisco R. Villatoro, el 8 octubre, 2024

La inteligencia artificial es el campo más revolucionario en la actualidad. Si Alfred Nobel estuviera vivo, con seguridad concedería un Nobel a este campo. Y siguiendo su estela, la Academia Sueca galardona a dos de los padres (aún vivos) del aprendizaje automático mediante redes de neuronas artificiales, el estadounidense John J. Hopfield (91 años), Universidad de Princeton, Estados Unidos, y el británico Geoffrey E. Hinton (76 años), Universidad de Toronto (y Google), Canadá. Quizás algún ignorante te diga que el físico Hopfield no merece el galardón de Física, aunque haya recibido la Medalla Dirac (2001), la Medalla Boltzmann (2022) y otros galardones para físicos. De hecho, Hopfield hubiera sido mejor compañía para Parisi que Manabe y Hasselmann en el Nobel de Física de 2021. La Academia Sueca ha decidido que le acompañe Hinton, que no es físico, pero que es un todoterreno, que ha recibido premios como el Turing (2018) y el Princesa de Asturias (2022). Un premio al abuelo de la IA, padre de la biofísica de la red de Hopfield, que queda redondeado gracias al padrino de la IA, padre de la biofísica del aprendizaje gracias a la máquina de Boltzmann, su versión estocástica.

En 1982, Hopfield era un físico de 49 años que se había reconvertido en biofísico (biólogo teórico) interesado en los sistemas complejos, como el cerebro y los vidrios de espines. Propuso un modelo de red de neuronas artificiales con un paisaje energético que actuaba como memoria asociativa. En 1986, Hinton aplicó los principios de la física estadística a la red de Hopfield, con objeto de modelar el aprendizaje de patrones visuales, en el contexto del reconocimiento y la clasificación de imágenes. Ambos trabajos tuvieron tal impacto en la década de la quinta generación japonesa que yo estudié sus contribuciones durante mi carrera de informática (c. 1990), en el contexto de los modelos computacionales. Lo que la inteligencia artificial no logró en dicha década prodigiosa, con la llegada del invierno de la década de los 1990, se ha logrado en este siglo y, en especial, en esta última década. La inteligencia artificial basada en redes de neuronas artificiales, en gran parte inspiradas en el trabajo de Hopfield y bajo la batuta de Hinton, ya es una tecnología transparente (invisible) que está en todas partes. Además, en el último lustro se ha hecho visible en nuestra vida cotidiana gracias a las IA generativas. La revolución de ChatGPT y sus primas tenía que ser premiada con un Nobel y qué mejor año que 2024.


La física es una herramienta que ha revolucionado la inteligencia artificial gracias a los trabajos de Hopfield y Hinton, entre otros. Y ahora la inteligencia artificial está revolucionando la física, pues ya es sinónimo de análisis estadístico avanzado de datos (experimentales, observacionales y computacionales). El anuncio oficial del Nobel en YouTube, Nota de Prensa [PDF], Popular Information [PDF], y Scientifc Background [PDF]. Recomiendo leer a Miguel Ángel Criado, «Premio Nobel de Física 2024 a John Hopfield y Geoffrey Hinton por poner las bases de la inteligencia artificial», Materia, El País, 08 oct 2024; «Nobel de Física 2024 para dos pioneros en redes neuronales artificiales», Agencia SINC, 08 oct 2024. En inglés puedes disfrutar de Elizabeth Gibney, Davide Castelvecchi, «Physics Nobel scooped by machine-learning pioneers,» News, Nature, 08 oct 2024.

Los artículos premiados según la información Nobel son: [1]  J. J. Hopfield, «Neural networks and physical systems with emergent collective computational abilities,» PNAS 79: 2554-2558 (15 Apr 1982), doi: https://doi.org/10.1073/pnas.79.8.2554; [2] John J. Hopfield, David W. Tank, «Computing with Neural Circuits: A Model,» Science 233: 625-633 (1986), doi: https://doi.org/10.1126/science.3755256; [3] Scott E. Fahlman, Geoffrey E. Hinton, «Massively Parallel Architectures for Al: NETL, Thistle, and Boltzmann Machines,» In: Proceedings of the AAAI-83 conference, Washington D.C. (1983), PDF; [4] D.H. Ackley, G.E. Hinton, T.J. Sejnowski, «A learning algorithm for Boltzmann machines,» Cognitive Science 9: 147-169 (1985), doi: https://doi.org/10.1016/S0364-0213(85)80012-4; [5] David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, «Learning representations by back-propagating errors,» Nature 323: 533-536 (1986), doi: https://doi.org/10.1038/323533a0; [6] Geoffrey E. Hinton, «Training Products of Experts by Minimizing Contrastive Divergence,» Neural Computation 14: 1771-1800 (2002), doi: https://doi.org/10.1162/089976602760128018.

Las redes de neuronas artificiales se inspiran en las redes de neuronas biológicas (Warren McCulloch y Walter Pitts, 1943). Están formadas por un conjunto de «neuronas» (nodos de cálculo descritos por cierta función de activación) conectadas por un conjunto de «sinapsis» (acoplamientos ponderados descritos por una matriz de números). Se llama aprendizaje (o entrenamiento) a la estimación de los «pesos sinápticos» para que «memoricen» un conjunto de datos de entrada (Donald Hebb, 1949). Las redes formadas por varias capas permitían reconocer patrones en imágenes, como dígitos manuscritos (Frank Rosenblatt, 1957). Pero estas redes directas (sin recurrencia) tenían un poder computacional limitado (no eran un sistema universal de cálculo); por ejemplo, eran incapaces de aprender la función o-exclusivo (XOR), la suma sin acarreo de números binarios (Marvin Minsky y Seymour Papert, 1969).

Los genios como John Hopfield están dotados de un sexto sentido, que les permite trabajar en un problema hasta dar con una solución aceptable, para luego abandonar dicho tema en manos de otros y ponerse a trabajar en otro problema sin ninguna relación con el anterior. Las contribuciones de Hopfield en los 1970 sobre la transferencia de electrones en macromoléculas y en el análisis de reacciones bioquímicas le convirtieron en famoso en el campo de la biofísíca (o física biológica). Pero en 1980, decidió abandonar su plaza de profesor en la Universidad de Princeton para ocupar una plaza en la otra costa, en el CalTech (Instituto Tecnológico de California), hasta 1997 (para más tarde retornar a Princeton). Le atraía del CalTech la posibilidad de usar ordenadores no disponibles en Princeton, le atraía la física computacional y los modelos computacionales.

En 1982, Hopfield publicó en PNAS [1] un nuevo modelo de red de neuronas recurrente (hoy llamado red de Hopfield). Su inspiración fue el modelo del campo molecular de Weiss (1907), el modelo de espines de Ising (1925), la memoria de contenido direccionable de Kramers y Wannier (1941), y la neurona artificial de McCulloch y Pitts (1943). Su red está formada por N nodos binarios s_i \in {0, 1} conectados a pares s_i y s_j por pesos simétricos w_{ij} = w_{ji}; estos valores se actualizan cada cierto tiempo aleatorio, para ello se calcula una función de activación h_i = \sum_{j\ne i} w_{ij}\,s_j, tal que s_i = 1, si h_i> 0, y s_i = 0, en otro caso. La red tiene asociada una función de energía, E = - \sum_{i<j} w_{ij}\,s_i\,s_j, que resulta ser monótona decreciente bajo dicha actualización. Como anécdota, esta primera red de Hopfield tenía unas 30 neuronas conectadas por 435 pesos sinápticos (se usaba un ordenador que no podría almacenar más de 100 neuronas); hoy en día los grandes modelos de lenguaje (LLMs) usan hasta un billón (millón de millones) de pesos sinápticos.

La dinámica de la red de Hopfield se suele ilustrar con un paisaje energético con una serie de mínimos locales con estados estacionarios asociados; dichos mínimos representan los patrones almacenados en la red como memoria asociativa (la letra J en este ejemplo). Estos mínimos son aprendidos en la fase de entrenamiento usando la regla de Hebb (1949). Cuando se introduce un patrón de entrada (la letra J con ruido) el estado del sistema desciende por el paisaje energético hasta alcanzar un mínimo local (que en este caso coincide con el patrón almacenado de la letra J).

La red de Hopfield tiene muchas limitaciones prácticas. Por ejemplo, el número de patrones que puede almacenar está muy limitado (aunque hay técnicas para aliviar este problema). Pero destaca el problema de los mínimos locales espurios, que no representan ningún patrón almacenado; la dinámica de la red siempre converge a un mínimo, pero solo de forma excepcional converge a uno que representa un patrón entrenado. De hecho, cada patrón tiene una cuenca de atracción que hace que solo se converja a dicho patrón cuando la entrada está en dicha cuenca (cuyos bordes son muy irregulares, lo que lleva a sorpresas a veces inesperadas en el funcionamiento práctico de la red). En los 1980 se usaron técnicas de física estadística para entender el comportamiento de esta red; un buen resumen en el libro de Marc Mezard, Giorgio Parisi y Miguel Ángel Virasoro, «Spin glass theory and beyond: An introduction to the replica method and its applications,»World Scientific (1987).

Como buen físico, Hopfield desarrolló implementaciones físicas de su red de neuronas artificiales; la más famosa la publicó en Science, usando un circuito eléctrico con amplificadores operacionales, con resonadores RC para emular las neuronas artificiales (John J. Hopfield, David W. Tank, «Computing with Neural Circuits: A Model,» Science 233: 625-633 (1986), doi: https://doi.org/10.1126/science.3755256). Sin entrar en muchos detalles, las ecuaciones de los circuitos son muy parecidas a las de la red de Hopfield: C_j du_i/dt = \sum_{j=1}^N T_{ij}\,V_j - u_i/R_i + I_i, con V_j = g_j(u_j) (J. J. Hopfield, «Neurons with graded response have collective computational properties like those of two-state neurons,» PNAS 81: 3088-3092 (15 May 1984), doi: https://doi.org/10.1073/pnas.81.10.3088; J. J. Hopfield, D.W. Tank,  «“Neural” computation of decisions in optimization problems,» Biological Cybernetics 52: 141-152 (1985), doi: https://doi.org/10.1007/BF00339943).

La idea de que la dinámica se podía representar mediante un paisaje energético facilitó que la red de Hopfield se volviera muy popular y muy inspiradora. Además, Hopfield y Tank (1985) mostraron que se podían resolver muchos problemas de optimización usando estas redes. Para evitar los mínimos locales se podía recurrir a la técnica de recocido simulado de Kirpatrick, Gelatt y Vecchi (1983) que asociaba una temperatura efectiva que determinaba el grado de aleatoriedad en la dínámica. Dicho método tenía la ventaja de que se podía aplicar a implementaciones analógicas con circuitos de la red

Entre 1983 y 1985, Geoffrey Hinton, junto con Terrence Sejnowski y otros colegas desarrollaron una versión estocástica de la red de Hopfield, bautizada máquina de Boltzmann; como suele ser habitual en informática y en inteligencia artificial publicaron sus primeros artículos en conferencias científicas, lo que no quita que las fotocopias de dichos artículos corrieran como la pólvora entre los investigadores en redes de neuronas artificiales de todo el mundo. En la máquina de Boltzmann el vector de estado de la red {\bf s} = (s_1, \ldots, s_N) tiene asociada a una distribución de probabilidad de Boltzmann, P({\bf s}) \propto e^{-E/T}, con E = -\sum_{i<j} w_{ij}\,s_i\,s_j - \sum_i \theta_i\,s_i, donde T es la temperatura y \theta_i es un campo local.

La gran diferencia con la red de Hopfield es que la máquina de Boltzmann es un modelo generativo. Además, almacena distribuciones estadísticas de patrones, en lugar de patrones individuales. Gracias a la existencia de nodos (neuronas) ocultas puede describir distribuciones de probabilidad generales. Hinton y sus colegas desarrollaron un algoritmo de aprendizaje (entrenamiento) basado en el algoritmo del gradiente que era muy eficiente (en comparación con el usado para la red de Hopfield).

La red de Hopfield y la máquina de Boltzmann son redes de neuronas recurrentes. El gran avance de Hinton y sus colegas fue el algoritmo de retropropagación (back-propagation) de errores para redes directas (no recurrentes), el nacimiento del llamado aprendizaje profundo (deep learning). Lo publicaron en la revista Nature en 1986, siendo uno de los artículos más citados del campo de la inteligencia artificial. La idea de David Rumelhart, Hinton y Ronald Williams fue comparar los patrones a aprender con la salida de la red para obtener una estimación del error que se propaga hacia atrás modulando los pesos sinápticos de una conjunto de capas de neuronas; se llaman capas ocultas a las que están entre la capa de entrada y la de salida. El procedimiento era muy sencillo de implementar y tuvo un enorme impacto.

Las redes de neuronas convolucionales multicapa no tardaron en llegar, LeCun et al. (1989), ver también LeCun et al. (1998). La futura revolución del aprendizaje profundo en el siglo XXI ya estaba en marcha. Las redes de neuronas artificiales empezaron a usarse para todo (en especial, en biomedicina, donde las preferidas eran redes de pequeño tamaño para resolver problemas muy sencillos, pero que requerían conocimiento experto). El campo explotó y describir todos los avances raya lo imposible. Como no puede ser de otra forma, la información Nobel destaca otro gran avance de Hinton relacionado con la física, la máquina de Boltzmann recurrente de 2002. Pero se podrían citar muchos otros trabajos, pues Hinton se convirtió en la gran figura científica que ha liderado la revolución científica en inteligencias artificiales en este siglo, incluyendo las generativas que ahora están tan  de moda.

Hoy en día la inteligencia artificial se usa para todo y es usada por todo el mundo. Muchas personas la usan sin saberlo. Ni Hopfield ni Hinton pudieron soñar con el estado actual de las redes de neuronas artificiales. Pero llevan muchos años disfrutando de ser prestigiosos pioneros a los que solo les faltaba un Premio Nobel. Hasta hoy, pues ya ostentan el más ansiado galardón, el rayo que truena en el firmamento marcando el inicio de la eternidad.

Saludos.

[Cadavre Exquis]

Premio Nobel de Química: Demis Hassabis y John Jumper por AlphaFold de Google DeepMind, y David Baker por RoseTTA

Por Francisco R. Villatoro, el 9 octubre, 2024

Se confirma lo que parecía imposible, dos premios Nobel a la inteligencia artificial. Y también que he acertado mi predicción para el de Química; como ya comenté, me parecía imposible que, a pesar de que la inteligencia artificial es el campo más revolucionario en la actualidad, copara dos Nobel, así que me decanté por el más claro. El británico Demis Hassabis (48 años) y el estadounidense John M. Jumper (39 años), ambos de Google DeepMind, Londres, Reino Unido, reciben el galardón por la inteligencia artificial AlphaFold2 para la predicción de la estructura de proteínas, y el estadounidense David Baker (62 años), Universidad de Washington, Seattle, Estados Unidos, lo recibe por la inteligencia artificial RoseTTAFold y su anterior versión, RoseTTA, que permitió el diseño computacional de una proteína. El plegamiento de proteínas es el primer gran problema que se ha sido resuelto de forma definitiva por las inteligencias artificiales.

Parecía imposible allá por el año 2020 cuando AlphaFold2 arrasó en el concurso CASP14 (LCMF, 03 dic 2020; LCMF, 26 jul 2021; LCMF, 30 jul 2021). Pero dos años más tarde, en 2022, el problema estaba resuelto y la alfombra roja estaba puesta para que Hassabis y Jumper recibieran el Nobel. La idea de AlphaFold fue de Hassabis, pero fue Jumper quien marcó la diferencia para llegar al revolucionario AlphaFold2. En paralelo Baker transformó su RoseTTA original en la inteligencia artificial RoseTTAFold, que completó la revolución ofreciendo funcionalidades que solo ha ofrecido AlphaFold3 en 2024. Pero para premiar a Baker con la mitad del galardón, la Academia Sueca ha decidido destacar el primer éxito de su primitivo software RoseTTA en 2003, el diseño de novo de la proteína Top7 con 93 residuos α/β, que fue predicha y validad mediante cristalografía (el hito previo de Dahiyat y Mayo en 1997, con el diseño computacional de 6 de los 28 residuos de una proteína ha quedado eclipsado por RoseTTAFold). La revolución en el campo del plegamiento y función de las proteínas en los últimos dos años, no solo con AlphaFold y RoseTTAFold, sino con muchas otras inteligencias artificiales, es el espejo en el que tenemos que ver el futuro de la inteligencia artificial en la ciencia, un antes y un después.


La inteligencia artificial es sinónimo de análisis estadístico avanzado de datos. Todas las ciencias experimentales, observacionales y computacionales requieren el análisis estadístico avanzado de datos. Todas ellas estarán dominadas por la inteligencia artificial en pocos años. Todas las carreras científicas en todas las universidades del mundo acabarán teniendo una asignatura de inteligencia artificial. Tiempo al tiempo. El anuncio oficial del Nobel en YouTube, Nota de Prensa [PDF], Popular Information [PDF], y Scientifc Background [PDF]. Recomiendo leer a Antonio Martínez Ron, «Premio Nobel de Química de 2024 para los científicos que diseñan y predicen la estructura de las proteínas», Diario.es, 09 oct 2024; Francisco Doménech, «Nobel de Química 2024 a David Baker, Demis Hassabis y John Jumper por revelar los secretos de las proteínas con IA y computación», Materia, El País, 09 oct 2024; «Baker, Hassabis y Jumper, Nobel de Química por descifrar la estructura de las proteínas», AgenciaSINC, 09 oct 2024; En inglés puedes disfrutar de Ewen Callaway, «Chemistry Nobel goes to developers of AlphaFold AI that predicts protein structures,» News, Nature, 09 oct 2024; Cathleen O’Grady, Hannah Richter, «Protein designer and structure solvers win chemistry Nobel,» News, Science, 09 oct 2024.

Los artículos premiados según la información Nobel son: [1] Kim T. Simons, Rich Bonneau, …, David Baker, «Ab initio protein structure prediction of CASP III targets using ROSETTA,» Proteins 37: 171-176 (1999), doi: https://doi.org/c4ttz7; [2]Brian Kuhlman, Gautam Dantas, …, David Baker, «Design of a Novel Globular Protein Fold with Atomic-Level Accuracy,» Science 302: 1364-1368 (2003), doi: https://doi.org/10.1126/science.1089427; [3] L. Jiang, E. A. Althoff, …, D. Baker, «De novo computational design of retro-aldol enzymes,» Science 319: 1387-1391 (2008), doi: https://doi.org/10.1126/science.1152692; [4] D. Röthlisberger, O. Khersonsky, …, D. Baker, «Kemp elimination catalysts by computational enzyme design,» Nature 453: 190-195 (2008), doi: https://doi.org/10.1038/nature06879; [5] Po-Ssu Huang, Scott E. Boyken, David Baker, «The coming of age of de novo protein design,» Nature 537: 320-327 (2016), doi: https://doi.org/10.1038/nature19946; [6] A. W. Senior, …, J. Jumper, …, D. Hassabis, «Improved protein structure prediction using potential from deep learning,» Nature 577: 706-710 (2020), doi: https://doi.org/10.1038/s41586-019-1923-7; [7] J. Jumper, R. Evans, …, D. Hassabis, «Highly accurate protein structure prediction with AlphaFold,» Nature 596: 583-589 (2021), doi: https://doi.org/10.1038/s41586-021-03819-2; [8] M. Baek, F. DiMaio, …, D. Baker, «Accurate prediction of protein structures and interactions using a three-track neural network,» Science 373: 871-876 (2021), doi: https://doi.org/10.1126/science.ade2574; [9] K. Tunyasuvunakool, … J. Jumper, D. Hassabis, «Highly accurate protein structure prediction for the human proteome,» Nature 596: 590-596 (2021), doi: https://doi.org/10.1038/s41586-021-03828-1; y [10] Mihaly Varadi, …, John Jumper, …, Demis Hassabis, Sameer Velankar, «AlphaFold Protein Structure Database: massively expanding the structural coverage of protein-sequence space with high-accuracy models,» Nucleic Acids Research 50: D439-D444 (2022), doi: https://doi.org/10.1093/nar/gkab1061.

Como el premio se ha concedido a la revolución de AlphaFold2, la información Nobel se inicia hablando de Hassabis y Jumper. Las primeras estructuras tridimensionales de proteínas se obtuvieron por cristalografía de rayos X en 1958 y 1960. En aquella época la máxima era que la estructura (de una proteína) determina la función (biológica de dicha proteína). Una proteína es un polímero formado por aminoácidos (residuos), su estructura primaria, que forman motivos de tipo hélice alfa (amarillo) y láminas beta (azul), su estructura secundaria, cuya conformación tridimensional define su estructura terciaria y que se agrupan en complejos proteicos, su estructura cuaternaria. Christian Anfinsen recibió el Nobel de Química en 1972 por demostrar que la estructura primaria determina una única estructura terciaria (desnaturalizó proteínas que recuperaron su conformación tridimensional original de forma espontánea). En aquella época resolver el problema del plegamiento de proteínas parecía un problema del siglo XXI. Y ha sido en este siglo, tras 60 años de investigación y muchos palos de ciego, cuando se ha logrado resolver (aunque no de forma definitiva, pues quedan muchos flecos que darán para unas décadas de investigación).

Margaret O. Dayhoff (1925–1983), quimicofísica pionera de la bioinformática, fue la gran responsable de la creación del Atlas of Protein Sequence and Structure en 1965 (con solo 65 proteínas). Su Atlas fue el germen de las bases de datos biológicas bioinformáticas actuales, como el Protein Data Bank (PDB), que nació en los 1970 (Berstein et al. JMB (1977), https://doi.org/10.1016/S0022-2836(77)80200-3). Hoy en día el PDB contiene unas 220 000 estructuras de proteínas. Por cierto, el galardón más famoso en Biofísica es el Permio Margaret O. Dayhoff, que se instituyó en 1984 tras su temprano fallecimiento a los 57 años. La inteligencia artificial nunca hubiera sido posible sin estas bases de datos; de hecho, AlphaFold2 fue entrenada con todas las estructuras de proteínas publicadas en el PDB, en su momento unas 170 000 estructuras de proteínas.

La hipótesis de los expertos (la mayoría físicos y quimicofísicos) era que la predicción de la estructura de las proteínas requería entender las leyes físicas y químicas del plegamiento. Por desgracia, el problema resultó ser mucho más difícil de lo esperado a partir de los primeros resultados (Regan y DeGrado, Science (1988), https://doi.org/10.1126/science.3043666). A pesar de ello, algunos pioneros se atrevieron incluso a diseñar proteínas (en realidad, pequeñas regiones de la proteína, de hecho, las más relevantes para su función biológica, su sitio activo), como Dahiyat y Mayo, Science (1997), https://doi.org/10.1126/science.278.5335.82.

El diseño de novo de proteínas completas (aunque pequeñas en número de residuos) no se logró hasta la revolución computacional liderada por David Baker. Su software RoseTTA (1999) [1] le permitió publicar en 2003 en Science [2] el diseño de una proteína globular con 93 residuos llamada Top17; todo hito ya que esta proteína tenía dos hélices alfa y una lámina beta, con cinco cadenas beta. Su novedad es que su plegamiento era nuevo, no se conocía ninguna proteína natural que presentara un plegamiento similar. Además, el diseño fue validado con cristalografía de rayos X hasta la escala atómica. La biología computacional, la bioinformática, estaba dando sus primeros éxitos en la resolución del problema más difícil. Pero RoseTTA no usaba inteligencia artificial; estaba basado en un método de optimización de Montecarlo para minimizar la función de energía asociada a la proteína y sus interacciones de van der Waals con los enlaces de hidrógeno del agua que la rodeaba durante el plegamiento.

El objetivo era diseñar enzimas con actividad catalítica. El grupo de Baker lo logró en 2008, publicando sendos artículos en Science [3] y Nature [4]. El campo parecía viento en popa y en 2016, en Nature [5], Baker se venía arriba prometiendo una nueva era en la biología molecular en la que se podrían diseñar proteínas de novo para aplicaciones biomédicas y biotecnológicas. Todos los aficionados a la biología estructural nos quedamos fascinados con su promesa. Pero algunos la tomamos con cierto escepticismo, pues el problema de base, la resolución del problema del plegamiento de proteínas, seguía aparentando necesitar otros 60 años de avances. Bastaba ver los resultados en los concursos CASP (Critical Assessment of protein Structure Prediction) del grupo de Baker y de todos competidores. Rara vez se alcanzaba más del 30 % de fidelidad entre la predicción y la estructura cristalográfica. Todo parecía estar estancado. El campo pedía un golpe en la mesa, una revolución…

La revolución se inició en CASP12 en 2016, con la llegadas de la inteligencia artificial y el aprendizaje automático mediante redes de neuronas artificiales. La calidad de las predicciones alcanzó el 45 %; parece una pequeña diferencia, pero era un salto de gigante. Demis Hassabis, fundador de la empresa DeepMind, que fue comprada por Google, quería que sus inteligencias artificiales de la familia Alpha (como AlphaGo, AlphaZero, etc.), además de jugar a juegos (Atari, Go, ajedrez, etc.) también resolvieran algún problema relevante a nivel científico. Apostó por el plegamiento de proteínas y el concurso CASP. Lideró el desarrollo de AlphaFold (ahora llamada AlphaFold1) que venció de forma aplastante en CASP13 alcanzando un inaudito 70 %, publicado en Nature [6]. Pero la gran revolución fue el liderazgo de John M. Jumper, pues su conocimiento experto y sus geniales ideas fueron clave para en el rediseño por completo de AlphaFold2 respecto a AlphaFold1. En el año 2020, AlphaFold2 arrasó en CASP14 con una precisión que alcanzó en algunos casos hasta el 90 %, hito publicado en Nature [7]. Baker no se quedó de brazos cruzados y contraatacó con ESMFold, publicado en Science [7]. Para más detalles sobre su funcionamiento te recomiendo mis piezas en este blog, como «El plegamiento de proteínas de AlphaFold 2 vence de forma rotunda en CASP14», LCMF, 03 dic 2020; y mis intervenciones en podcast sobre este tema: LCMF, 26 jul 2021; LCMF, 30 jul 2021; LCMF, 02 ago 2021; y LCMF, 17 nov 2023.

Estas inteligencias artificiales estaban alcanzado una precisión del orden de 1 Å. A ojos de todos los expertos, el problema del plegamiento estaba próximo a su solución gracias a las inteligencias artificiales. Máxime tras la publicación de la base de datos de proteínas predichas por AlphaFold DB (https://alphafold.ebi.ac.uk) [10]. Todos los bioquímicos empezaron a recurrir a las estructuras de proteínas predichas por AlphaFold, no solo los bioquímicos estructurales, todos. Así que desde 2022 se empezó a comentar en todas las conferencias científicas que Baker, Hassabis y Jumper eran candidatos firmes para un Premio Nobel de Química. Y cuando el río suena, … es que llueven nominaciones. Y tienen que haber sido muchas en poco tiempo para que en solo dos años estos genios hayan recibido la más ansiada recompensa, a pesar de su juventud (por cierto, Jumper es doctor desde hace unos 7 años, así que es un pipiolo en investigación). Las revoluciones siempre son premiadas por los Nobel, porque premios como este prestigian más al Nobel de lo que prestigian a los galardonados.

Saludos.

[Cadavre Exquis]

https://x.com/sytelus/status/1848160140278555049

Saludos.

P.D. El paper al que hace referencia el tweet es: Grandmaster-Level Chess Without Search.

[Cadavre Exquis]

https://www.expansion.com/economia-digital/2024/10/24/671a047c468aeb38738b45af.html

Saludos.

[Marv]

Apple ha sacado un paper para decir que los roboces no razonan.


https://machinelearning.apple.com/research/gsm-symbolic
https://arxiv.org/abs/2410.05229

We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer.

O sea, que sólo replican los pasos de razonamiento que están en su entrenamiento.

Había una manera más sencilla de decirlo: estos bichos no entienden nada de lo que están haciendo, porque no pueden entenderlo. Son estructuras matemáticas implementadas en hardware. Autocompletadores on steroids.

Por supuesto, ustedes ya lo sabían, porque se dijo aquí.

Vivimos tiempos curisosos, donde hace falta montar una burrada de estudio para desmontar a los vendedores de crecepelo, porque la gente es genuinamente engañada y están indefensos. Incluso los que se supone que deberían protegernos del misticismo. Tecnosocurantismo.

[el malo]

Apple ha sacado un paper para decir que los roboces no razonan.


https://machinelearning.apple.com/research/gsm-symbolic
https://arxiv.org/abs/2410.05229

We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer.

O sea, que sólo replican los pasos de razonamiento que están en su entrenamiento.

Había una manera más sencilla de decirlo: estos bichos no entienden nada de lo que están haciendo, porque no pueden entenderlo. Son estructuras matemáticas implementadas en hardware. Autocompletadores on steroids.

Por supuesto, ustedes ya lo sabían, porque se dijo aquí.

Vivimos tiempos curisosos, donde hace falta montar una burrada de estudio para desmontar a los vendedores de crecepelo, porque la gente es genuinamente engañada y están indefensos. Incluso los que se supone que deberían protegernos del misticismo. Tecnosocurantismo.

¿Y para eso Apple se ha gastado una pasta? Pero si es IA 101. Los LLMs se basan en predicciones acordes a un contexto (en este caso, palabras). Por diseño, es imposible que razonen (aunque los algoritmos se auto-refinen). Incluso en el proceso de auto-refine ("aprendizaje"), llega un momento que la precisión empieza a descender.

Yo diría que tengo conocimiento medio sobre IA y eso ya lo sabía yo. No entiendo qué esperaba Apple con esto.

[pollo]

Apple ha sacado un paper para decir que los roboces no razonan.


https://machinelearning.apple.com/research/gsm-symbolic
https://arxiv.org/abs/2410.05229

We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer.

O sea, que sólo replican los pasos de razonamiento que están en su entrenamiento.

Había una manera más sencilla de decirlo: estos bichos no entienden nada de lo que están haciendo, porque no pueden entenderlo. Son estructuras matemáticas implementadas en hardware. Autocompletadores on steroids.

Por supuesto, ustedes ya lo sabían, porque se dijo aquí.

Vivimos tiempos curisosos, donde hace falta montar una burrada de estudio para desmontar a los vendedores de crecepelo, porque la gente es genuinamente engañada y están indefensos. Incluso los que se supone que deberían protegernos del misticismo. Tecnosocurantismo.

No es por ser tocahuevos, pero son estructuras matemáticas implementadas en un software, y para ello se valen de un hardware. El hardware es un mero sustrato físico para que el software pueda operar.

Si hay algo basado exclusivamente en hardware somos nosotros, aunque filosóficamente podría ser discutible según se enfoque. Las calculadoras antiguas electrónicas sí que eran puro hardware y no podían cambiar sus funciones ni eran programables (que es lo que da pie al concepto de software).

No tiene relevancia para la discusión, pero era por no liar terminología.

[pollo]

Apple ha sacado un paper para decir que los roboces no razonan.


https://machinelearning.apple.com/research/gsm-symbolic
https://arxiv.org/abs/2410.05229

We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer.

O sea, que sólo replican los pasos de razonamiento que están en su entrenamiento.

Había una manera más sencilla de decirlo: estos bichos no entienden nada de lo que están haciendo, porque no pueden entenderlo. Son estructuras matemáticas implementadas en hardware. Autocompletadores on steroids.

Por supuesto, ustedes ya lo sabían, porque se dijo aquí.

Vivimos tiempos curisosos, donde hace falta montar una burrada de estudio para desmontar a los vendedores de crecepelo, porque la gente es genuinamente engañada y están indefensos. Incluso los que se supone que deberían protegernos del misticismo. Tecnosocurantismo.

¿Y para eso Apple se ha gastado una pasta? Pero si es IA 101. Los LLMs se basan en predicciones acordes a un contexto (en este caso, palabras). Por diseño, es imposible que razonen (aunque los algoritmos se auto-refinen). Incluso en el proceso de auto-refine ("aprendizaje"), llega un momento que la precisión empieza a descender.

Yo diría que tengo conocimiento medio sobre IA y eso ya lo sabía yo. No entiendo qué esperaba Apple con esto.

No creo que esperase nada, pero quizá poner los pies en la tierra a la gente. Hay que tener en cuenta que Apple está muy atrás en este tema y le interesa que la gente no se crea las promesas locas que están haciendo sus rivales.

[Marv]

Apple ha sacado un paper para decir que los roboces no razonan.


https://machinelearning.apple.com/research/gsm-symbolic
https://arxiv.org/abs/2410.05229

We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer.

O sea, que sólo replican los pasos de razonamiento que están en su entrenamiento.

Había una manera más sencilla de decirlo: estos bichos no entienden nada de lo que están haciendo, porque no pueden entenderlo. Son estructuras matemáticas implementadas en hardware. Autocompletadores on steroids.

Por supuesto, ustedes ya lo sabían, porque se dijo aquí.

Vivimos tiempos curisosos, donde hace falta montar una burrada de estudio para desmontar a los vendedores de crecepelo, porque la gente es genuinamente engañada y están indefensos. Incluso los que se supone que deberían protegernos del misticismo. Tecnosocurantismo.

No es por ser tocahuevos, pero son estructuras matemáticas implementadas en un software, y para ello se valen de un hardware. El hardware es un mero sustrato físico para que el software pueda operar.

Si hay algo basado exclusivamente en hardware somos nosotros, aunque filosóficamente podría ser discutible según se enfoque. Las calculadoras antiguas electrónicas sí que eran puro hardware y no podían cambiar sus funciones ni eran programables (que es lo que da pie al concepto de software).

No tiene relevancia para la discusión, pero era por no liar terminología.

No tengo ningún problema con la matización, porque efectivamente es irrelevante. Sin embargo disiento.

La estructura matemática subyacente son los hipergrafos ponderados.
El harware son las redes neuronales artificiales.
Y el software es la secuencia de instrucciones que ejecutada, explota el hardware.

El software en sentido filosófico no es la implementación, sino la función, aunque sé perfectamente que la industria del software llama implementar a escribir código fuente. Desde mi punto de vista, no es correcto.

Con respecto a lo que quiere Apple, yo no lo sé pero por supuesto que algo tendrá que ver con aguar la fiesta del hype. Incluso puede tener intereses directos en ello, porque es partner de OpenAI y entiendo que querrá que no se suban a las barbas con los precios.

[Cadavre Exquis]

Graphene-Based Memristors Inch Towards Practical Production
Posted by BeauHD on Friday October 25, 2024 @09:25PM from the game-changing-innovations dept.

Longtime Slashdot reader Baron_Yam writes:

Memristors are the long-sought 4th fundamental circuit element. They promise analog computing capability in hardware, the ability to hold state without power, and to work with less power. A small cluster of them can replace a transistor using less space. Working and long term storage can blend together and neural networks can be implemented in hardware -- they are a game-changing innovation. Now, researchers are getting closer to putting these into production as they can now produce graphene-based memristors at wafer scale.

"One of the key challenges in memristor development is device degradation, which graphene can help prevent," reports Phys.Org. "By blocking chemical pathways that degrade traditional electrodes, graphene could significantly extend the lifetime and reliability of these devices. Its remarkable transparency, transmitting 98% of light, also opens doors to advanced computing applications, particularly in AI and optoelectronics."

The findings have been published in the journal ACS Advanced Electronic Materials.

Saludos.

[Cadavre Exquis]

Researchers Develop New Lithium Extraction Method With 'Nearly Double the Performance'
Posted by EditorDavid on Saturday October 26, 2024 @01:34PM from the battery-up dept.

PV Magazine reports:

Researchers in Australia and China have developed an innovative technology enabling direct lithium extraction from difficult-to-process sources like saltwater, which they say represents a substantial portion of the world's lithium potential.

Until now, up to 75% of the world's lithium-rich saltwater sources have remained untapped because of technical limitations, but given predictions that global lithium supply could fall short of demand as early as 2025, the researchers believe they have a game-changing solution. Their technology is a type of nanofiltration system that uses ethylenediaminetetraacetic acid, or EDTA, as a chelating agent to selectively separate lithium from other minerals, especially magnesium, which is often present in brines and difficult to remove.

"With some predicting global lithium supply could fall short of demand as early as 2025, the innovative technology sets a new standard in lithium processing," writes SciTechDaily:

The work, co-led by Dr Zhikao Li, from the Monash Suzhou Research Institute and the Department of Chemical and Biological Engineering, and Professor Xiwang Zhang from the University of Queensland, promises to meet the surging demand for lithium and paves the way for more sustainable and efficient extraction practices... "Our technology achieves 90 percent lithium recovery, nearly double the performance of traditional methods, while dramatically reducing the time required for extraction from years to mere weeks," Dr. Li said.

The technology also turns leftover magnesium into a valuable, high-quality product that can be sold, reducing waste and its impact on the environment. Beyond its advanced efficiency, the EALNF system brings innovation to address major environmental concerns associated with lithium extraction. Unlike conventional methods that deplete vital water resources in arid regions, the technology produces freshwater as a by-product.

Dr Li said the system was flexible and ready for large-scale use, meaning it can quickly expand from testing to full industrial operations. "This breakthrough is crucial for avoiding a future lithium shortage, making it possible to access lithium from hard-to-reach sources and helping power the shift to clean energy."

"Our scalable process minimizes environmental impact while maximizing resource utilization," according to the researchers' article in Nature Sustainability, "thereby catalysing the shift toward a more sustainable future."

Thanks to long-time Slashdot reader schwit1 for sharing the news.

Saludos.

[pollo]

Apple ha sacado un paper para decir que los roboces no razonan.


https://machinelearning.apple.com/research/gsm-symbolic
https://arxiv.org/abs/2410.05229

We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer.

O sea, que sólo replican los pasos de razonamiento que están en su entrenamiento.

Había una manera más sencilla de decirlo: estos bichos no entienden nada de lo que están haciendo, porque no pueden entenderlo. Son estructuras matemáticas implementadas en hardware. Autocompletadores on steroids.

Por supuesto, ustedes ya lo sabían, porque se dijo aquí.

Vivimos tiempos curisosos, donde hace falta montar una burrada de estudio para desmontar a los vendedores de crecepelo, porque la gente es genuinamente engañada y están indefensos. Incluso los que se supone que deberían protegernos del misticismo. Tecnosocurantismo.

No es por ser tocahuevos, pero son estructuras matemáticas implementadas en un software, y para ello se valen de un hardware. El hardware es un mero sustrato físico para que el software pueda operar.

Si hay algo basado exclusivamente en hardware somos nosotros, aunque filosóficamente podría ser discutible según se enfoque. Las calculadoras antiguas electrónicas sí que eran puro hardware y no podían cambiar sus funciones ni eran programables (que es lo que da pie al concepto de software).

No tiene relevancia para la discusión, pero era por no liar terminología.

No tengo ningún problema con la matización, porque efectivamente es irrelevante. Sin embargo disiento.

La estructura matemática subyacente son los hipergrafos ponderados.
El harware son las redes neuronales artificiales.
Y el software es la secuencia de instrucciones que ejecutada, explota el hardware.

El software en sentido filosófico no es la implementación, sino la función, aunque sé perfectamente que la industria del software llama implementar a escribir código fuente. Desde mi punto de vista, no es correcto.

Con respecto a lo que quiere Apple, yo no lo sé pero por supuesto que algo tendrá que ver con aguar la fiesta del hype. Incluso puede tener intereses directos en ello, porque es partner de OpenAI y entiendo que querrá que no se suban a las barbas con los precios.

El hardware no pueden ser redes neuronales, porque tal concepto es puramente abstracto y existe sólo en el software residiendo en la memoria en forma de programa+datos exactamente igual que Excel o Chrome. Y cuando ejecutamos Excel, ¿a que no lo llamamos neuronas artificiales ni lo llamamos nada especial? Pues eso.

Ni el hardware ni su nombre ni su concepto cambian en función de lo que ejecutes en él. No hay mucha discusión posible. Si quieres llámalo Mariano, pero el hardware es lo que es.

El hardware sigue siendo una CPU+GPU y memoria, tu planteamiento no tiene sentido. Sólo en los casos en los que se ejecuten las operaciones en hardware diseñado específicamente para ejercer esa función de neuronas artificiales (que por otro lado no tienen nada de especial, son objetos matemáticos como podrían ser una matriz o un quaternion) te podría dar la razón.

[sudden and sharp]

China 'trolea' a Elon Musk: demuestran que Starlink se puede usar para detectar drones espía de EEUU
https://www.20minutos.es/tecnologia/actualidad/china-trolea-elon-musk-starlink-detectar-drones-espia-eeuu-5650539/
Los académicos de la Escuela de Información Electrónica de la Universidad de Wuhan (China) consideran que Starlink les da "potencial de dispersión" para localizar un caza moderno F-22.






 

[Cadavre Exquis]

America's First Sodium-Ion Battery Gigafactory Announced. Cost: $1.4 Billion
Posted by EditorDavid on Sunday November 10, 2024 @03:34AM from the power-plays dept.

Sodium-ion batteries are cheaper than lithium-ion batteries — and they're also more environmentally friendly. And "In the past few years, sodium-ion battery production has increased in the United States," reports the Washington Post, with a new factory planned to manufacture them "in the same way as lithium-ion batteries, just with different ingredients. Instead of using expensive materials like lithium, nickel and cobalt, these will be made of sodium, iron and manganese..."

Last month, sodium-ion battery manufacturer Natron Energy announced it would open a "gigafactory" in North Carolina that would produce 24 gigawatt hours of batteries annually, enough energy to charge 24,000 electric vehicles. But sodium-ion batteries are still early in their development compared with lithium-ion, and they have yet to hit the market on a massive scale.

"It's unlikely sodium-ion could displace lithium-ion anytime soon," said Keith Beers, polymer science and materials chemistry principal engineer at technical consultancy firm Exponent... The biggest limitation of sodium-ion batteries is their weight. Sodium weighs nearly three times as much as lithium, and it cannot store the same amount of energy. As a result, sodium-ion batteries tend to be larger. Jens Peters, an economics professor at the University of Alcalá in Madrid, said the energy density could be improved over time in sodium-ion batteries. But, he added, "what we found out so far in our assessments is that it is not a game changer."

Sodium-ion batteries are touted to be the environmentally friendly alternative to their lithium-ion counterparts, thanks to their raw materials. Sodium, iron and manganese are all abundant elements on the planet, so they require less energy to extract and cost less... Sodium-ion batteries also last longer than lithium-ion ones because they can withstand more charge cycles, said Wendell Brooks, co-CEO of Natron Energy. "Our product can have millions of cycles," said Brooks, "where lithium-ion would have three to five thousand cycles and wear out a lot faster...." Sodium-ion batteries aren't the best fit for smartphones or electric vehicles, which need to store lots of energy. However, one advantage is their low cost. And they could be a good candidate in situations where the size of the battery isn't a concern, like energy storage. "When something is built out to support grid or backup storage, it doesn't need to be very dense. It's staying put," Beers said.

Natron will invest nearly $1.4 billion in the factory "to meet the rapidly expanding demand for critical power, industrial and grid energy storage solutions," according to their announcement.

"Natron's high-performance sodium-ion batteries outperform lithium-ion batteries in power density and recharging speed, do not require lithium, cobalt, copper, or nickel, and are non-flammable... Natron's batteries are the only UL-listed sodium-ion batteries on the market today, and will be delivered to a wide range of customer end markets in the industrial power space, including data centers, mobility, EV fast charging, microgrids, and telecom, among others."

Saludos.