Lightelligence Colibrí Bajo

Aug 13, 2023

En Hot Chips 2023, Lightelligence mostró su motor de conexión óptica de baja latencia Hummingbird. Logramos encontrar uno fuera del auditorio para tomar una instantánea para la imagen de portada.

Aún así, esto se está escribiendo en tiempo real, así que disculpe los errores tipográficos.

Esta es otra tabla que dice que la demanda de computación de IA está superando con creces el escalado de transistores.

Lightelligence se centra en aumentar la óptica en la informática. Hoy, la empresa habla del NOC óptico. Para ello se utiliza un chip y una tarjeta de prueba que vimos en el exterior, pero que son sólo una parte de la cartera de la empresa.

La compañía dice que la creación de arquitecturas de dominio específico para abordar formatos numéricos, matemáticas y paralelismo específicos es un área de mejora del rendimiento.

Otra área para aumentar el rendimiento es agregar más silicio a los paquetes.

Las interconexiones que utilizan señales eléctricas se consideran ineficientes.

Aquí Lightelligence habla de una red óptica en chip u oNOC. La idea es utilizar señalización luminosa en lugar de eléctrica en un paquete para aumentar la eficiencia.

También permite diferentes tipos de topologías ya que las guías de ondas ópticas pueden abarcar distancias más largas.

Permite un mejor escalado a medida que aumenta la distancia entre chiplets. Esto es importante ya que los chiplets pueden tener un menor costo de fabricación, pero luego deben conectarse en paquetes.

Hummingbird es el ejemplo del uso del oNOC. Tiene una FPGA, un láser externo y un SiP de terceros empaquetado en una tarjeta. Ese oNOC permite cosas como la transmisión de todos a todos.

Hummingbird se centra en poner conectividad óptica en un paquete utilizando un circuito integrado fotónico o PIC junto con chips de silicio electrónicos.

El intercalador proporciona energía a los chips. El PIC inferior es el componente óptico. El EIC vuelve a estar en la cima. Ese SiP es una arquitectura SIMD con un ISA personalizado con grupos de ocho núcleos.

La gran diferencia es la red de transmisión óptica con estructura en forma de U. Al usarlo, cada núcleo puede actualizar todos los demás núcleos y no tener cruces de guías de onda en el PIC.

Aquí está la microarquitectura del núcleo. Este es un núcleo de inferencia AI DSA. Cada uno de los demás núcleos puede enviar sus datos a través de la recepción oNOC y también a cada núcleo se le pueden enviar datos a través de la cuantificación y transmisión del oNOC.

Aquí están las métricas del Colibrí.

Aquí hay un sistema con Hummingbird en un chasis de GPU PCIe.

Aquí están las métricas de rendimiento.

Lightelligence dice que puede coser chips de diferentes tamaños. Parece que está centrado en construir algo más que un chip rectile limitado como el NVIDIA H100.

Aquí están las soluciones nuevamente:

La utilización de envases 3D hará que esta tecnología sea más interesante. La siguiente pregunta, por supuesto, es si otras empresas buscarán esto para la comunicación entre chips o si otros tipos de tecnologías tomarán el relevo. Se trata de una tecnología interesante, pero muchos de los grandes proveedores también están estudiando las tecnologías ópticas.

Con suerte, recibiremos una actualización en un futuro Hot Chips.