phoenixzero
Miembro Maestro
¿El aprendizaje profundo viene del diablo?
El aprendizaje profundo ha revolucionado la visión artificial y el procesamiento del lenguaje natural. Sin embargo, las matemáticas que explican su éxito siguen siendo esquivas. En la conferencia de Yandex sobre perspectivas y aplicaciones de aprendizaje automático, Vladimir Vapnik ofreció una perspectiva crítica.
Por Zachary Chase Lipton, UCSD el 9 de octubre de 2015 en Berlín, Deep Learning, Machine Learning, Support Vector Machines, SVM, Vladimir Vapnik, Yandex, Zachary Lipton
c comentarios
yandex-berlin
Durante la semana pasada en Berlín, asistí a Machine Learning: Prospects and Applications, una conferencia de oradores invitados de la comunidad académica de aprendizaje automático. Organizada por Yandex, el motor de búsqueda más grande de Rusia, la conferencia presentó de manera destacada los temas Aprendizaje profundo y Aprendizaje inteligente, dos conceptos que a menudo se consideraban opuestos. Aunque asistí como orador y participante en el panel de aprendizaje profundo, lo más destacado de la conferencia fue presenciar el choque de filosofías entre el empirismo y las matemáticas expresado por muchos teóricos y profesionales destacados.
El primer día, que contó con el aprendizaje profundo, fue coronado por un panel de discusión por la noche. Moderado por el Dr. Li Deng, el debate desafió a los oradores de la comunidad de aprendizaje profundo, incluido yo mismo, a explicar los fundamentos matemáticos del aprendizaje automático y también a ofrecer una visión de su futuro. Las preguntas sobre la interpretabilidad del modelo, un tema que abordé en una publicación anterior, específicamente en relación con las aplicaciones a la medicina, fueron abundantes. El miércoles se llevó a cabo una segunda noche de discusión. Aquí, Vladimir Vapnik, co-inventor de la máquina de vectores de soporte y ampliamente considerado uno de los padres de la teoría del aprendizaje estadístico, expuso su teoría de la transferencia de conocimiento de un maestro inteligente. Además, ofreció una visión filosófica que abarca el aprendizaje automático, las matemáticas y la fuente de la inteligencia. Quizás lo más controvertido fue que asumió el aprendizaje profundo, desafiando su enfoque ad hoc.
vaporizador
El verano pasado, publiqué un artículo que sugería que el éxito del aprendizaje profundo reflejaba más ampliamente el triunfo del empirismo en el entorno de los grandes datos. Argumenté que, sin el riesgo de sobreajuste, el conjunto de métodos que podrían validarse con datos reales podría ser mucho mayor que aquellos que podemos garantizar que funcionan matemáticamente desde los primeros principios. Después de la conferencia, me gustaría continuar con este tema presentando una perspectiva alternativa, específicamente los desafíos presentados por Vladimir Vapnik en la conferencia.
Para evitar cualquier confusión, soy un investigador de aprendizaje profundo. Personalmente, no descarto el aprendizaje profundo y respeto tanto a sus pioneros como a los abanderados. Pero también creo que deberíamos estar abiertos a la posibilidad de que eventualmente alguna teoría matemática explique su éxito de manera más completa o señale el camino hacia un nuevo enfoque. Claramente, es valioso digerir tanto los argumentos a favor del enfoque de aprendizaje profundo como aquellos que lo critican, y en ese espíritu presento algunos aspectos destacados de la conferencia, particularmente de la charla del profesor Vapnik.
Big Data y Deep Learning como fuerza bruta
Aunque el profesor Vapnik tenía varios ángulos sobre el aprendizaje profundo, quizás este sea el más central: durante la discusión de la audiencia sobre el aprendizaje inteligente, Vapnik invocó la noción metafórica de Dios de Einstein. En resumen, Vapnik postuló que las ideas y las intuiciones provienen de Dios o del diablo. La diferencia, sugirió, es que Dios es inteligente, mientras que el diablo no lo es.
diablo-aprendizaje-profundo
En su carrera como matemático e investigador de aprendizaje automático, Vapnik sugirió que el diablo aparecía siempre en forma de fuerza bruta. Además, si bien reconoció el rendimiento impresionante de los sistemas de aprendizaje profundo para resolver problemas prácticos, sugirió que tanto el big data como el aprendizaje profundo tienen el sabor de la fuerza bruta. Un miembro de la audiencia preguntó si el profesor Vapnik creía que la evolución (que presumiblemente resultó en la inteligencia humana) era un algoritmo de fuerza bruta. De acuerdo con un disgusto declarado por la especulación, el profesor Vapnik se negó a ofrecer conjeturas sobre la evolución. También parece apropiado mencionar que las intuiciones de Einstein acerca de cómo Dios podría diseñar el universo, aunque notablemente fructíferas, no siempre dieron resultado. En particular, la intuición de Einstein de que "Dios no juega a los dados" parece entrar en conflicto con nuestra comprensión moderna de la mecánica cuántica (vea esta excelente y legible publicación sobre el tema de Stephen Hawking).
Si bien es posible que no esté de acuerdo en que el aprendizaje profundo equivale necesariamente a la fuerza bruta, veo más claramente el argumento en contra de las actitudes modernas hacia los grandes datos. Como sugirieron el Dr. Vapnik y el profesor Nathan Intrator de la Universidad de Tel Aviv, un bebé no necesita miles de millones de ejemplos etiquetados para aprender. En otras palabras, puede ser fácil aprender de manera efectiva con conjuntos de datos etiquetados gigantes, pero al confiar en ellos, uno puede perderse algo fundamental sobre la naturaleza de
aprendiendo. Tal vez, si nuestros algoritmos pueden aprender solo con conjuntos de datos gigantescos lo que debería ser intrínsecamente aprendible con cientos, hemos sucumbido a la pereza.
Aprendizaje profundo o ingeniería profunda
Otra perspectiva que ofreció el profesor Vapnik sobre el aprendizaje profundo es que no es ciencia. Precisamente, dijo que distraía de la misión central del aprendizaje automático, que postuló como la comprensión del mecanismo. En comentarios más elaborados, sugirió que el estudio del aprendizaje automático es como tratar de construir un Stradivarius, mientras que diseñar soluciones para problemas prácticos es más como ser un violinista. En este sentido, un violinista puede producir música hermosa y tener una intuición de cómo tocar, pero no comprender formalmente lo que está haciendo. Por extensión, sugirió que muchos profesionales del aprendizaje profundo tienen un gran sentido de los datos y de la ingeniería, pero de manera similar no saben realmente lo que están haciendo.
¿Los humanos inventamos algo?
Una última idea aguda planteada por el profesor Vapnik fue si descubrimos o inventamos algoritmos y modelos. En opinión de Vapnik, en realidad no inventamos nada. En concreto, se dirigió a la audiencia diciendo que "no es tan inteligente como para inventar nada". Por extensión, presumiblemente nadie más era tan inteligente tampoco. Más diplomáticamente, sugirió que las cosas que inventamos (si las hay) son triviales al lado de aquellas que son de naturaleza intrínseca y que la única fuente de conocimiento real deriva de la comprensión de las matemáticas. El aprendizaje profundo, en el que los modelos se inventan, marcan y patentan técnicas con frecuencia, parece algo artificial en comparación con el aprendizaje automático más motivado por las matemáticas. En ese momento, desafió a la audiencia a ofrecer una definición de aprendizaje profundo. La mayoría de los miembros de la audiencia, al parecer, se mostraron reacios a ofrecer uno. En otras ocasiones, los miembros de la audiencia desafiaron su punto de vista invocando la inspiración biológica del aprendizaje profundo. A esto el Dr. Vapnik preguntó, "¿sabes cómo funciona el cerebro?"