Investigadores de Georgia Tech e Intel Labs publicaron (preimpresión) un documento técnico titulado "VEGETA: extensiones integradas verticalmente para aceleración de mosaico GEMM escasa/densa en CPU".
Abstracto:
“La compatibilidad con la aceleración de aprendizaje profundo (DL) en las CPU ha cobrado mucha fuerza recientemente, con varias empresas (Arm, Intel, IBM) anunciando productos con motores de matriz especializados accesibles a través de instrucciones GEMM. Las CPU son omnipresentes y deben manejar diversos requisitos en las cargas de trabajo de DL que se ejecutan en plataformas de borde/HPC/nube. Por lo tanto, a medida que las cargas de trabajo de DL adoptan la escasez para reducir los cálculos y el tamaño de la memoria de los modelos, también es imperativo que las CPU agreguen compatibilidad con la escasez para evitar la infrautilización del motor de matriz densa y el uso ineficiente de las memorias caché y los registros. Este trabajo presenta VEGETA, un conjunto de ISA y extensiones de microarquitectura sobre motores de matriz densa para admitir la escasez estructurada flexible para CPU, lo que permite el soporte programable para diversos modelos DL con diversos grados de escasez. En comparación con el motor de matriz densa de última generación (SOTA) en las CPU, un motor VEGETA proporciona aceleraciones de 1.09x, 2.20x, 3.74x y 3.28x cuando se ejecuta 4:4 (denso), 2:4 , 1:4 y capas DNN dispersas no estructuradas (95 %).
Encuentra los documento técnico aquí. Preprint publicado en febrero de 2023.
Jeong, Geonhwa, et al. "VEGETA: extensiones integradas verticalmente para aceleración de mosaico GEMM escasa/densa en CPU". preimpresión de arXiv arXiv:2302.08687 (2023).
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://semiengineering.com/isa-and-microarchitecture-extensions-over-dense-matrix-engines-to-support-flexible-structured-sparsity-for-cpus-georgia-tech-intel-labs/
