En la literatura sobre inteligencia artificial, en algunos casos en la cara más fantasiosa de la misma, se plantea la posibilidad de conseguir la super-inteligencia, la inteligencia de propósito general.
Muchas dificultades existen en el camino para conseguirla, caso de que sea posible e incluso deseable, pero en este artículo me voy a centrar sólo en un aspecto: el tamaño.
Hablo del tamaño de una red neuronal de deep learnng, la familia de algoritmos de Inteligencia Artificial probablemente mas exitosa de los últimos años y la que más puede, quizá, hacer soñar con esa presunta super-inteligencia.
Advierto, eso sí, para los más expertos, o para los más amantes del rigor (que tienen todo mi reconocimiento y admiración), que este que nos ocupa es un post especulativo y de tipo ‘bote pronto’, y al que no he dedicado, debo confesarlo, mucho tiempo de investigación y documentación que pudiera aportar algún nuevo dato o mostrar algún matiz que yo no contemple en lo que sigue. Si algún lector quiere aportar algún dato adicional, alguna investigación adicional, alguna valoración adicional, estaré más que encantado de escucharla.
Biomímesis: cerebro humano versus redes neuronales artificiales
Aunque no conocemos en exceso sobre el sistema nervioso humano y sobre el cerebro, sí sabemos algunas cosas.
Y entre las que sabemos está que está formado básicamente por las células denominadas neuronas, unas células que reciben impulsos eléctricos en sus terminaciones denominadas dendritas, y que transmiten a través de los axones que ‘conectan’ (hacen sinapsis) con las ‘siguientes’ neuronas. Sabemos, pues, que las neuronas siguen patrones complejos y no bien conocidos de conexiones y, aparentemente, es a través de estas conexiones y de los impulsos que viajan por ellas que se consiguen todos los mecanismos cognitivos y de gestión del cuerpo y que se almacena de alguna forma el conocimiento.
^Por otro lado, desde hace ya muchos años, existe un conjunto amplio y creciente de algoritmos de inteligencia artificial denominados redes neuronales artificiales inspirados (sólo inspirados, no equivalentes) en ese funcionamiento. Unos algoritmos que utilizan unas pequeñas unidades de cálculo, las neuronas artificiales, que se conectan entre sí mediante unas conexiones digitales normalmente parametrizadas mediante ‘pesos’. Esas neuronas artificiales se estructuran en capas y, en el caso de que dispongamos de muchas capas hablamos del ‘deep learning’ o redes de aprendizaje profundo.
Las redes neuronales artificiales son pues una forma de biomímesis, de imitación, del sistema nervioso humano, lo que permite establecer paralelismos y comparaciones, aunque con cierta prudencia, pues, el que exista esa inspiración y paralelismo no significa, ni de lejos, que sean equivalentes
La pregunta: ¿El tamaño importa?
Y la pregunta que me formulo es: ¿el tamaño importa? ¿es muy relevante que dispongamos de muchas neuronas (naturales o artificiales) y de muchas conexiones (sinapsis o uniones matemáticas mediante pesos) para conseguir capacidades cognitivas avanzadas, para alcanzar la super-inteligencia?
Hay una respuesta evidente: algo sí que importa.
Si volvemos los ojos a una red neuronal artificial, por ejemplo a una red que actúe como clasificadora binaria (es decir, clasifica sus entradas en dos valores categóricos posibles), tenemos claro que, a medida que añadimos más capas y neuronas podemos obtener funciones más sofisticadas, funciones que establezcan una frontera de decisión (‘decision boundary‘) de formas más complejas, más elaboradas, que permitan separar en clases los datos de entrada pertenecientes conjuntos de datos más complejos, más caprichosos, poco nítidos.
Y no parece atrevido extrapolar eso mismo al caso del cerebro humano. De hecho, el cerebro humano es notoriamente abundante en neuronas si lo comparamos con el de otros animales.
¿Pero cuánto importa ese tamaño?
Veamos algunos datos.
El tamaño del cerebro humano
Aunque creo que no se conoce con exactitud, el orden de magnitud en el que se sitúa el número de neuronas del cerebro humano. según he podido ver en varias fuentes, está en torno a los cien mil millones de neuronas (100.000.000.000), es decir 1011. En cuanto al número de conexiones, parece que rondan los cien billones de conexiones (100.000.000.000.000, es decir, 1014), lo cual, por cierto, supone unas mil conexiones por neurona.
No son pocas, desde luego.
¿Y las redes neuronales artificiales?
El tamaño de GPT-3 y GPT-4
Desde luego, las redes neuronales artificiales más comunes, están lejos de esas cifras. Pero he buscado los datos de una de las redes más grandes, las redes de OpenAI dedicadas al procesamiento de lenguaje natural: GPT-3 y GPT-4.
Pues bien, no tengo, aunque debe andar ‘por ahí’, el dato de neuronas de GPT-3 pero, según explican sus propios creadores en el artículo ‘Language models are Few-Shot Learners’ el número de parámetros de esta red es de 175 billones (americanos). Si asumo (espero no equivocarme en esto) que cuando hablan de parámetros se refieren fundamentalmente a pesos y, por tanto, en grandes números, eso equivale a conexiones, estaríamos hablando de ciento setenta y cinco mil millones de conexiones, o lo que es lo mismo 1,75 * 1011, es decir, una quinientas veces menos que el cerebro humano (algo menos aún).
He podido leer en alguna parte, que GPT-4, la sucesora de GPT-3, se sitúa ya en cien trillones americanos, o sea, cien billones europeos de parámetros, es decir, asumiendo de nuevo (espero de nuevo no equivocarme mucho) que parámetro es algo parecido en este caso a decir conexión, hablaríamos de 100.000.000.000.000 o 1014 conexiones… que curiosamente, equivale exactamente a la estimación de que dispongo de conexiones en el cerebro humano.
GPT-3 y GPT-4 son las redes más avanzadas, probablemente, para procesamiento de lenguaje natural pero, aún así, son ‘solo’ un modelo probabilístico (proporcionan la siguiente palabra más probable), ‘ni siquiera’ entienden realmente el lenguaje.
Muchísimo menos, ni de lejos, hablamos de una inteligencia artificial, de propósito general.
Si mis datos e hipótesis son ciertos, queda claro, pues, que el cerebro humano es mucho, mucho más eficiente, o potente, o como queramos decirlo, que las redes neuronales artificiales de que disponemos hoy día. Cosa que tampoco extraña, pero que me gusta ver en números.
Y, aunque admito y reconozco, de nuevo, que la documentación e investigación previa que he realizado previa a este artículo es superficial y puede faltarme algún dato relevante o mis hipótesis estar sometidas a alguna revisión, creo, espero, que permiten anticipar una respuesta aproximada a la pregunta de si el tamaño importa.
En conclusión: ¿El tamaño importa?
Y creo que sí, que el tamaño importa, que parece bastante evidente que redes con mayores números de capas, neuronas y parámetros, son y serán capaces de modelar y emular capacidades de todo tipo, incluyendo las cognitivas, más sofisticadas, como sin duda la inteligencia humana hace.
Pero también parece evidente que el tamaño por sí solo no es completamente determinante.
Hace falta algo más.
Un algo más que, en el caso de redes neuronales artificiales se recogería en forma de nuevas arquitecturas, hiperparámetros y algoritmos de propagación y aprendizaje. Unas arquitecturas y algoritmos que, hoy día, nos permiten alcanzar logros muy notables, espectaculares diría, pero lejos aún, muy lejos, de alcanzar a un cerebro humano.
Y un algo más que en el caso del cerebro humano, no sabemos qué es, pero está claro que existe. Puede que existan patrones de conexión diferentes a los que hemos conocido hasta la fecha. Puede que su funcionamiento íntimo sea algo diferente al modelo puramente conexionista. Puede que nos falte por llegar a algún descubrimiento trascendental. Puede, incluso, pensarán algunos, que exista un algo más, quizá un ‘alma’ o un ‘espíritu’ que trascienda lo físico y sea imposible de emular en una red neuronal artificial.
Nos falta mucho por aprender.
No basta, pues, sólo con crecer en tamaño: hace falta algo más, un algo más que nos gustaría conocer. Hay que seguir investigando.
