سیستم هوش مصنوعی Jetson AGX Thor

نقش کارت گرافیک در سیستم های محاسباتی

امروزه دنیای قطعات الکترونیک و هوش مصنوعی پیشرفت کرده است. با این تغییرات سیستم های محاسباتی دچار تغیراتی شدند. این تغییرات به گونه ای رو به رشد است که پیشرفت این سیستم ها را تضمین می کند. با توسعه توان پردازشی کارت های گرافیک، توانایی سیستم های محاسباتی چندین برابر شد. پردازنده ها ابتدا داده ها را پردازش و به صورت تصاویر نمایش می دادند. GPUها به خاطر ساختار و معماری عظیم خود قادرند محاسبات برداری و ماتریسی را به صورت همزمان انجام دهند. این تجهیزات از هزاران هسته کوچک تشکیل شدند که چیدمانی موازی دارند. هر یک از این هسته ها یک عملیات ریاضی را به صورت منظم انجام می دهد.

موازی این هسته ها به GPU کمک می کند، محاسبات پیچیده هوش مصنوعی را با سرعت بالا انجام و داده ها را در لحظه پردازش کنند. از طرفی الگوریتم های هوش مصنوعی پیشرفته مثل GPU و LLaMA نیازمند توان پردازشی بسیار بالایی هستند. کارت گرافیک های پیشرفته مثل کارت گرافیک Jetson AGX Thor و NVIDIA H200 این مدل ها (Edge AI) را اجرا می

کنند.

ضرورت Edge AI

• پاسخ در لحظه

برخی از تجهیزات و ماشین ها به گونه ای برنامه ریزی شدند که باید در لحظه واکنش دهند. ترمز خودرو نمونه ای از این سیستم هاست. مثلا رباتی که در خط تولید یک کارخانه قطعات حساس را مونتاژ می کند، باید دقت و سرعت بالایی داشته باشد. اگر سرور دیر جواب بدهد، ربات دچار اختلال در عملکرد می شود. به همین دلیل امروزه محاسبات در نزدیک دستگاه یا در لبه آن ایجاد می شود. این پاسخگویی باعث رشد Edge AI در دنیای امروز شده است.

• صرفه جویی در هزینه ها و کاهش پهنای باند

سنسورها تصاویر، ویدیو و صداهای زیادی تولید می کنند. data باید به سرور اینترنت ارسال و سپس پردازش شود. انتقال دهی زیاد، مصرف اینترنت و پهنای باند را افزایش می دهد. و در نهایت هزینه های انتقال و ذخیره دیتاها زیاد می شود. Edge AI باعث کاهش حجم دیتاها می شود و فقط هدف را نشانه می گیرد. این مدل سرعت عملکرد را چندین برابر می کند.

• امنیت داده

دیتاها بدون اینکه به سرور منتقل شوند، در یک محل قرار می گیرند. پردازش در لبه، خطر هک شدن را کاهش می دهد.

• پایداری

اگر سیستم پایداری داشته باشد، سیستم با وجود مشکل هم عمل می کند. با وجود Edge AI حتی اگر اینترنت یا سرور قطع شود، سیستم به کار خود ادامه می دهد. این مدل ها به سیستم های هوشمند اجازه می دهد تا به صورت مستقل و همزمان کار کنند.

معرفی کارت گرافیک NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Thor، یک کارت گرافیک بسیار پیشرفته است که برای کاربردهای وسیع Edge AI طراحی شده است. این پردازنده ترکیبی از سخت افزارها و نرم افزارهای بسیار پیشرفته است و به افراد این امکان را می دهد پروژه های بزرگ هوش مصنوعی را با کیفیت بالا ارائه دهند. Jetson AGX Thor یک جایگزین پرسرعت و قدرتمندتر به جای Jetson Orin محسوب می شود. این کارت گرافیک بر پایه Blackwell تولید می شود. به طور کلی می توان گفت کارت گرافیک های شرکت NVIDIA طبق معماری خاصی ساخته می شوند. Ampere و blackwell نمونه ای از آن هستند. blackwell به روزترین نسخه این طراحی است و توان پردازشی بسیار بالایی دارد.

ساختار Jetson AGX Thor

GPU

این پردازنده، 2560 هسته CUDA و 96 هسته Tensor دارد که مدل های یادگیری عمیق را اجرا می کند. این پردازنده می تواند 2070 ترافلاپس را در محاسبات با دقت 4 بیت روی دیتاهای ناپیوسته اجرا کند. این سیستم قابلیت MIG دارد. این ویژگی برجسته یعنی می تواند از یک GPU بزرگ چندین GPU کوچکتر و مستقل بسازد و از 10 واحد TPC پشتیبانی کند. فرکانس هسته ها حدودا 1.6 گیگاهرتز است. این یعنی هسته ها می توانند 1.6 میلیارد بار در یک ثانیه، عملیات محاسباتی داشته باشند. به عبارتی این GPU دارای 128 گیگابایت حافظه پرسرعت است. این به سیستم با پهنای باند 273 کمک می کند تا بتواند در هر ثانیه 273 گیگ داده را جا به جا کند.

پردازنده مرکزی (CPU)

پردازنده مرکزی AGX با معماری Arm تولید شذه است و 14 هسته پردازشی دارد. این هسته ها وظایف عمومی بین بخش های سخت افزاری را بر عهده می گیرند. هر هسته می تواند با حداکثر فرکانس 6 گیگاهرتز کار انجام دهد. با این پلتفرم امکان اجرای همزمان چند برنامه فراهم می شود. CPU این کارت گرافیک multi است و برای کارهای مختلف طراحی شده. این ویژگی باعث اجرای برنامه ها در یک لحظه با سرعت بالا می شود. CPU هماهنگی بین سخت افزارها را مدیریت می کند. مثلا ورودی و خروجی را باهم هماهنگ می کند و با کنترل حافظه دیتاها را به GPU ارسال می کند.

حافظه

از نوع LPDDR5X است.به خاطر پهنای باند بالایی که دارد، با سرعت بسیار بالا داده ها را به CPU و GPU منتقل می کند. این بخش اطلاعات را به صورت موقت ذخیره می کند و پردازش را بدون تأخیر انجام می دهد.
این بخش پروژه های سنگین هوش مصنوعی را اجرا می کند. Jetson AGX Thor، با رابط PCIe ذخیره می کند.

پورت ها و ذخیره سازی

این کارت گرافیک چهار پورت Ethernet با سرعت 25 گیگابیت دارد. این پورت باعث انتقال داده ها با سرعت بالا می شود. این ویژگی برای پردازش ویدیو با دقت بالا، هو مصنوعی، رباتیک و بینایی ماشین بسیار کاربردی است. در ذخیره کردن دیتاها، AGX Thor با رابط PCIe از درایور NVMe و USB 3.2 پشتیبانی می کند. NVMe، دسترسی سریع دارد و حجم بالای دیتاها را پردازش می کند. SSDهای خارجی سیستم را انعطاف پذیرتر می کند. پورت های سرعتی شبکه و ذخیره سازی حرفه ای اجرای پروژه های هوش مصنوعی لحظه ای را فراهم می کند. همچنین این دستگاه برای اتصال دوربین، سنسور و سایر دستگاه های خارجی پورت USB 3.2 دارد. رابط‌های سریال و GPIO برای کاربردهای صنعتی بسیار مناسب است. از طریق این رابط ها می توان سخت افزار و ربات ها را به صورت مستقیم کنترل کرد.

کاربرد و مزایای Jetson AGX Thor

سیستم هوش مصنوعی Jetson AGX Thor، یک کارت گرافیک امروزی از رباتیک است. این پردازنده در خودروها، ربات های شبیه به آدم، تجهیزات پزشکی، بینایی ماشین و پهپادها کاربرد گسترده ای دارد. توان مصرفی بهینه و قابل کنترل بین W40 تا 130W از مزایای برجسته این GPU محسوب می شود. علاوه بر اینکه بهترین عملکرد را ارئه می دهد، مصرف انرژی را نیز کاهش می دهد. این ویژگی برای Edge و کاربردهای صنعتی اهمیت ویژه ای دارد. پشتیبانی از پورت های پرسرعت شبکه، اتصالات به دوربین ها، سنسورها و دستگاه ها را راحت تر کرده است. نرم افزارهای تخصصی NVIDIA، مثل Isaac و Metropolis روی این کارت گرافیک قابل اجرا هستند. اتصال آسان، حافظه پرسرعت، انرژی بهینه و پشتیبانی از نرم افزارها باعث رشد فراگیر سیستم هوش مصنوعی و پردازش داده های Edge AI شده است.

مقایسه Jetson AGX Thor و Jetson AGX Orin

کارت گرافیک NVIDIA Jetson AGX Thor و Jetson AGX Orin از خانواده Jetson هستند که توسط شرکت معتبر NVIDIA تولید شده اند. هر دو سیستم دیتاهای حجیم را پردازش می کنند. در عین حال تفاوت های اصلی این دو پردازنده را می توان در طراحی سخت افزاری مشاهده کرد. برای انتخاب آنها توان، حافظه و توان پردازشی اهمیت دارد. کارت گرافیک Jetson AGX Thor حافظه و توان پردازشی بالاتری نسبت به AGX Orin دارد و از MIG پشتیبانی می کند. Jetson AGX Orin در ابعاد جمع و جورتر و مصرف انرژی کمتر طراحی شده است و ارزان تر است. این کارت گرافیک برای پروژه های سبک تر معمولا انتخاب می شود.