Microsoft lanza AI en tiempo real para Azure

Microsoft dio a conocer el miércoles una nueva plataforma de aceleración de aprendizaje profundo diseñada para la inteligencia artificial en tiempo real, con el nombre en código “Project Brainwave”, en Hot Chips 2017.

La plataforma tiene tres capas principales:

Una arquitectura de sistemas distribuidos de alto rendimiento;

Un motor DNN (red neural profunda) de hardware sintetizado en FPGA (matrices de puerta programables en campo); y

Un compilador y tiempo de ejecución para el despliegue de baja fricción de los modelos entrenados.

El proyecto Brainwave aprovecha la enorme infraestructura FPGA del proyecto Catapult que Microsoft ha estado desplegando en Azure y Bing en los últimos años.

AI en tiempo real

“FPGA es una manera de agregar y aplicar la energía de cálculo dedicada específica de la tarea enfocada a redes neurales profundas a la infraestructura de nube convencional”, dijo Doug Henschen, analista principal de Constellation Research.

“Esto facilita el desarrollo de la capacidad del servidor convencional y permite que los FPGA proporcionen la potencia computacional necesaria para las cargas de trabajo de AI”, dijo a TechNewsWorld.

La conexión de FPGA de alto rendimiento directamente a la red de centros de datos de Microsoft permite que los DNN se sirvan como microservicios de hardware, llamándolos por un servidor sin software en el bucle. Esto reduce la latencia y permite un rendimiento muy alto.

“La IA en tiempo real es el objetivo final para la gran mayoría de los proyectos”, dijo Rob Enderle, analista principal del Grupo Enderle.

“AI debería ser capaz de moverse a la velocidad del pensamiento, o simplemente será un script avanzado”, dijo a TechNewsWorld.

Proyecto Brainwave’s Guts

El proyecto Brainwave utiliza una unidad de procesamiento DNN suave, o DPU, sintetizada en matrices de puerta programables comercialmente disponibles. Esto le permite escalar un rango de tipos de datos, siendo el tipo de datos deseado una decisión de tiempo de síntesis.

Las soft DPU de Microsoft combinan los bloques de procesamiento de señales digitales ASIC en los FPGAs con la lógica sintetizable para proporcionar un número mayor y más optimizado de unidades funcionales.

Las DPU utilizan tipos de datos de precisión estrecha altamente personalizados definidos por Microsoft, que aumentan el rendimiento sin pérdidas reales en la precisión del modelo. Innovaciones de investigación pueden ser incorporados a la plataforma de hardware rápidamente, por lo general en semanas.

El proyecto Brainwave incorpora una pila de software que soporta el Microsoft Cognitive Toolkit (MCTK) y Tensorflow de Google. El soporte para otros marcos se agregará más tarde.

Tensorflow es “la técnica que domina actualmente la máquina de aprendizaje”, dijo Holger Mueller, analista principal de Constellation Research.

Proyecto de Microsoft Brainwave Demo

En Hot Chips, Microsoft demostró el sistema Brainwave del proyecto portado a 14nm de Intel Stratix 10 FPGA.

Se ejecutó un modelo de unidad recurrente bloqueada (GRU) cinco veces mayor que Resnet-50 sin batching, utilizando el formato de punto flotante de 8 bits personalizado de Microsoft (ms-fp8).

Sostuvo 39.5 Tflops de datos, ejecutando cada solicitud en menos de un milisegundo.

Microsoft llevará el Proyecto Brainwave a los usuarios de Azure, complementando el acceso indirecto a través de servicios como Bing.

“Este es un buen punto de partida para muchos de los esfuerzos de Microsoft para la IA”, dijo Ray Wang, analista principal de Constellation Research.

La detección de fraude, la personalización masiva de la masa a escala, los precios dinámicos y el ajuste del seguro están entre los negocios que se beneficiarían de la IA en tiempo real, señaló Wang.

Tratar con los competidores

La mayoría de los clientes y socios tecnológicos con los que ha hablado Constellation se han dirigido a Google Cloud Platform usando Tensorflow, dijo Wang.

Google será el mayor competidor de Microsoft al principio, predijo.

“A largo plazo, serán aquellos con poder de computación masivo que llevarán a la IA”, dijo Wang, “como Facebook, Alibaba, Tencent y Amazon”.

El servicio basado en FPGA “probablemente será una opción popular y rentable, pero Microsoft seguramente también ofrecerá opciones de infraestructura de GPU dirigidas a AI también”, comentó Henschen. “IBM y Google han llevado el poder de cálculo de GPU a sus respectivas nubes”.