Merhaba TurkHackTeam üyeleri bugün NVDLA'yı inceleyeceğiz.
NVDLA (NVIDIA Deep Learning Accelerator), Nvidia tarafından tasarlanan bir sinir işlemcisi mikro mimarisidir. Aslen kendi Xavier SoC'leri için tasarlanan mimari, açık kaynak haline getirildi. NVDLA, orijinal olarak kendi Xavier SoC'leri için tasarlandı. Xavier uygulamasının ardından, Nvidia mimariyi açık kaynaklı hale getirdi. Tasarımcıya güç, performans ve alan arasında değiş tokuş seçeneği verildiği için mimari daha parametrelenebilir hale getirildi.
NVDLA, Nvidia tarafından derin öğrenme iş yüklerinin hızlandırılması için tasarlanmış bir mikro mimaridir. Orijinal uygulama Nvidia'nın kendi Xavier SoC'sini hedeflediğinden, diğer ağlar da desteklense de, ana iş yükü türleri görüntüler ve videolar ile ilgilendiğinden, mimari özellikle evrişimli sinir ağları (CNN'ler) için optimize edilmiştir. NVDLA öncelikle uç cihazları, IoT uygulamalarını ve diğer düşük güçlü çıkarım tasarımlarını hedefler.
Yüksek düzeyde, NVDLA hem etkinleştirmeyi hem de girdileri bir evrişimli arabellekte depolar. Her ikisi de, geniş bir çoklu-birikimli birimler dizisinden oluşan bir evrişimsel çekirdeğe beslenir. Nihai sonuç, onu belleğe geri yazan bir son işlem birimine gönderilir. İşleme öğeleri, kontrol mantığının yanı sıra bir bellek arabirimi (DMA) ile kapsüllenir TurkHackTeam üyeleri.
NVDLA oldukça parametrelenebilirdir. Evrişim arabelleğinin boyutu, gerekli olan ödünleşimlerin türüne (eq kalıp boyutu, bellek bant genişliği, sinir ağı özellikleri) bağlı olarak ayarlanabilir. Arabelleğe yardımcı olmak için hem dahili RAM hem de SDRAM desteğini destekleyen bir bellek arabirimi bulunur. Daha küçük evrişimli arabellek boyutuyla, ikinci önbellek düzeyi bellek arabirimi aracılığıyla desteklenebilir ve önbelleği genişletmek için başka bir çip dışı bellek kullanılabilir.
Evrişimli çekirdek için genellikle bir dizi çekirdekle birlikte bir giriş aktivasyonu vardır. Bellek arayüzünde olduğu gibi, girişten alınan piksel sayısı, çekirdek sayısı ile birlikte parametrelenebilir. Tipik olarak, bir seferde 16-32 çıkışlık bir şerit hesaplanır. Güvenli güç sağlamak için, MAC'lerin bir ağırlığı bir dizi döngü için sabit kalır. Bu aynı zamanda veri aktarımlarını azaltmaya da yardımcı olur TurkHackTeam üyeleri.
Yapay Sinir Ağlarında katmanlar arasında, bir sonraki katman için yeterli TCM/CVSRAM tahsis edilmişse, veriler sonraki katman tarafından tüketilir. Tensörlerin arabellekleri yeniden kullanması için yeterli TCM varsa, katmanlar arka arkaya çalışabilir. Bellek sıkıntısı olduğunda, veriler DRAM'a yazılır ve ardından döşemelerde yürütülür.
NVDLA iki ana konfigürasyonda gelir: büyük ve küçük. Konfigürasyonlar, alan, performans ve güç arasında dengeli bir ödünleşim sağlar. Genel olarak, küçük konfigürasyon, gelişmiş özelliklerin çoğundan kurtulur. Xavier için büyük konfigürasyon kullanılır.
NVDLA (NVIDIA Deep Learning Accelerator), Nvidia tarafından tasarlanan bir sinir işlemcisi mikro mimarisidir. Aslen kendi Xavier SoC'leri için tasarlanan mimari, açık kaynak haline getirildi. NVDLA, orijinal olarak kendi Xavier SoC'leri için tasarlandı. Xavier uygulamasının ardından, Nvidia mimariyi açık kaynaklı hale getirdi. Tasarımcıya güç, performans ve alan arasında değiş tokuş seçeneği verildiği için mimari daha parametrelenebilir hale getirildi.
NVDLA, Nvidia tarafından derin öğrenme iş yüklerinin hızlandırılması için tasarlanmış bir mikro mimaridir. Orijinal uygulama Nvidia'nın kendi Xavier SoC'sini hedeflediğinden, diğer ağlar da desteklense de, ana iş yükü türleri görüntüler ve videolar ile ilgilendiğinden, mimari özellikle evrişimli sinir ağları (CNN'ler) için optimize edilmiştir. NVDLA öncelikle uç cihazları, IoT uygulamalarını ve diğer düşük güçlü çıkarım tasarımlarını hedefler.
Yüksek düzeyde, NVDLA hem etkinleştirmeyi hem de girdileri bir evrişimli arabellekte depolar. Her ikisi de, geniş bir çoklu-birikimli birimler dizisinden oluşan bir evrişimsel çekirdeğe beslenir. Nihai sonuç, onu belleğe geri yazan bir son işlem birimine gönderilir. İşleme öğeleri, kontrol mantığının yanı sıra bir bellek arabirimi (DMA) ile kapsüllenir TurkHackTeam üyeleri.
NVDLA oldukça parametrelenebilirdir. Evrişim arabelleğinin boyutu, gerekli olan ödünleşimlerin türüne (eq kalıp boyutu, bellek bant genişliği, sinir ağı özellikleri) bağlı olarak ayarlanabilir. Arabelleğe yardımcı olmak için hem dahili RAM hem de SDRAM desteğini destekleyen bir bellek arabirimi bulunur. Daha küçük evrişimli arabellek boyutuyla, ikinci önbellek düzeyi bellek arabirimi aracılığıyla desteklenebilir ve önbelleği genişletmek için başka bir çip dışı bellek kullanılabilir.
Evrişimli çekirdek için genellikle bir dizi çekirdekle birlikte bir giriş aktivasyonu vardır. Bellek arayüzünde olduğu gibi, girişten alınan piksel sayısı, çekirdek sayısı ile birlikte parametrelenebilir. Tipik olarak, bir seferde 16-32 çıkışlık bir şerit hesaplanır. Güvenli güç sağlamak için, MAC'lerin bir ağırlığı bir dizi döngü için sabit kalır. Bu aynı zamanda veri aktarımlarını azaltmaya da yardımcı olur TurkHackTeam üyeleri.
Yapay Sinir Ağlarında katmanlar arasında, bir sonraki katman için yeterli TCM/CVSRAM tahsis edilmişse, veriler sonraki katman tarafından tüketilir. Tensörlerin arabellekleri yeniden kullanması için yeterli TCM varsa, katmanlar arka arkaya çalışabilir. Bellek sıkıntısı olduğunda, veriler DRAM'a yazılır ve ardından döşemelerde yürütülür.
NVDLA iki ana konfigürasyonda gelir: büyük ve küçük. Konfigürasyonlar, alan, performans ve güç arasında dengeli bir ödünleşim sağlar. Genel olarak, küçük konfigürasyon, gelişmiş özelliklerin çoğundan kurtulur. Xavier için büyük konfigürasyon kullanılır.
