NVIDIA Mellanox 920-9B210-00FN-0D0 বাস্তবে: ট্রিলিয়ন-প্যারামিটার এআই ক্লাস্টারের জন্য একটি NDR লো-ল্যাটেন্সি ফ্যাব্রিক তৈরি করা

NVIDIA Mellanox 920-9B210-00FN-0D0 অনুশীলনেঃ ট্রিলিয়ন-প্যারামিটার এআই ক্লাস্টারগুলির জন্য একটি এনডিআর লো-লেটেন্সি ফ্যাব্রিক তৈরি করা

পটভূমি ও চ্যালেঞ্জঃ যখন এইচডিআর ট্রিলিয়ন-প্যারামিটার মডেলের সাথে মিলিত হয়

একটি শীর্ষস্থানীয় এআই গবেষণা সংস্থা সম্প্রতি তার বড় ভাষা মডেল প্রশিক্ষণ ক্লাস্টারকে 1,024 থেকে 4,096 এনভিআইডিআইএ এইচ 100 জিপিইউতে পরিমাপ করেছে, যার লক্ষ্য হল প্রশিক্ষণের সময়রেখাটি 1 বছরের জন্য সংকুচিত করা।৮ ট্রিলিয়ন প্যারামিটারের ক্ষুদ্র এমওই (বিশেষজ্ঞদের মিশ্রণ) মডেল মাস থেকে দুই সপ্তাহেরও কমতবে, প্রাথমিক বৈধতার সময়, দলটি তাদের বিদ্যমান 200Gb / s HDR ফ্যাব্রিকের সমস্ত-টু-অল যোগাযোগের পর্যায়ে গুরুতর ঘনত্ব পর্যবেক্ষণ করেছে,জিপিইউ ব্যবহার প্রত্যাশিত ৮৫% থেকে মাত্র ৫২% পর্যন্ত হ্রাস পেয়েছে যা তাদের উচ্চাভিলাষী প্রশিক্ষণের সময়সীমা পূরণের জন্য প্রয়োজনীয় প্রান্তিকের অনেক নিচে.

নেটওয়ার্ক বিশ্লেষণে দেখা গেছে যে এমওই আর্কিটেকচারের অন্তর্নিহিত সমস্ত-সব-সমষ্টিগত ক্রিয়াকলাপগুলিএইচডিআর লিঙ্কগুলিকে স্যাচুরেট করছে এবং জ্যাম কন্ট্রোল মেকানিজমগুলিকে ট্রিগার করছে যা ল্যাটেনসিকে আরও বাড়িয়ে তুলেছেসংস্থাটির এমন একটি কাঠামোর প্রয়োজন ছিল যা নির্ধারণমূলক,হাজার হাজার এন্ডপয়েন্ট জুড়ে সাব-মাইক্রোসেকেন্ড লেটেনসি, কর্মক্ষমতা পতন ছাড়া ট্র্যাফিক বিস্ফোরণ শোষণ করার জন্য ব্যান্ডউইথ হেডরুম প্রদান করেএই চ্যালেঞ্জটিইএনভিআইডিআইএ মেলানোক্স ৯২০-৯বি২১০-০০এফএন-০ডি০এর জন্য ডিজাইন করা হয়েছে।

সমাধান ও বাস্তবায়নঃ এক্সাসকেল এআই এর জন্য একটি 400Gb/s এনডিআর ফ্যাব্রিক

সংস্থাটি920-9B210-00FN-0D0 ইনফিনিব্যান্ড সুইচ OPN(অর্ডার পার্ট নম্বর) একটি নতুন দুই স্তরীয় পাতা-পিঠের ফ্যাব্রিকের ভিত্তি হিসাবে।920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRসুইচ, যা OSFP থেকে OSFP সক্রিয় অপটিক্যাল তারের মাধ্যমে প্রতি র্যাকের 64 টি ডুয়াল-পোর্ট H100 সার্ভারে 400Gb / s সংযোগের 128 টি পোর্ট সরবরাহ করে।16 অতিরিক্ত 920-9B210-00FN-0D0 সুইচ আন্তঃসংযুক্ত সব পাতা সুইচ, একটি নন-ব্লকিং ফ্যাট-ট্রি তৈরি করে যার পূর্ণ বিসেশন ব্যান্ডউইথ প্রতি মেরুদণ্ড স্তর প্রতি 51.2 টিবি / সেকেন্ড।

যা এই সমাধানটিকে বিশেষভাবে আকর্ষণীয় করে তুলেছিল তা হল সুইচটির ইন্টিগ্রেটেড SHARPv3 (স্কেলাবল হিয়ারারকিয়াল এগ্রিগেশন অ্যান্ড রিডাকশন প্রোটোকল) প্রযুক্তি।সব থেকে সব যোগাযোগ সরাসরি সুইচ ফ্যাব্রিক উপর offloaded ছিল, সুইচগুলি নেটওয়ার্কের মধ্যে ডেটা হ্রাস এবং পুনরায় বিতরণ সম্পাদন করে। এটি একাধিক হোস্ট-সাইড পাসগুলির প্রয়োজনীয়তা দূর করে,নাটকীয়ভাবে যোগাযোগের ওভারহেড হ্রাস যা পূর্ববর্তী এইচডিআর স্থাপনার ক্ষতিগ্রস্ত হয়েছিল.

এর মতে920-9B210-00FN-0D0 তথ্য পত্র, সুইচটি 100ns এর নিচে কাট-থ্রো ল্যাটেনসি সরবরাহ করে, যা ধারণার প্রমাণের পর্যায়ে বৈধ করা হয়েছিল।920-9B210-00FN-0D0 সামঞ্জস্যপূর্ণএই ইকোসিস্টেমটি ইতিমধ্যে তারা যোগ্যতা অর্জন করেছে এমন সমস্ত ওএসএফপি অপটিক্স এবং তারগুলি অন্তর্ভুক্ত করেছে, যা সংগ্রহের বিলম্বকে নির্মূল করে।920-9B210-00FN-0D0 স্পেসিফিকেশন👉দুই-অপ্রয়োজনীয় পাওয়ার সাপ্লাই এবং হট-স্পেচযোগ্য ফ্যান সহ 👉প্রযোজনা ক্লাস্টারের জন্য তাদের 99.999% উপলব্ধতা লক্ষ্য অর্জনে দলের আত্মবিশ্বাস দিয়েছে।

ফলাফল ও পরিমাপযোগ্য লাভঃ বোতল ঘা থেকে সক্ষমকরণে

এনডিআর-এর সম্পূর্ণ কাঠামো মোতায়েন করার পর এবং এমওই-র প্রশিক্ষণ কর্মসূচি পুনরায় শুরু করার পর, সংগঠনটি একাধিক মাত্রায় রূপান্তরমূলক উন্নতি পরিমাপ করেঃ

• জিপিইউ ব্যবহার পুনরুদ্ধারঃগড় জিপিইউ ব্যবহার ৫২% থেকে ৮৯% পর্যন্ত বেড়েছে, গণনা-সমৃদ্ধ পর্যায়ে সর্বোচ্চ ব্যবহার ৯৪% পৌঁছেছে, নেটওয়ার্ক-প্ররোচিত স্টলগুলি নির্মূল করার সরাসরি ফলাফল।
• অল-টু-অল লেটেন্সি হ্রাসঃ৪,০৯৬ টি জিপিইউ জুড়ে সম্পূর্ণ অল-টু-অল এক্সচেঞ্জের জন্য প্রয়োজনীয় সময় ১৮০ এমএস থেকে কমে ৪৫ এমএসের নিচে এসেছে, যা ৭৫% উন্নতি যা সরাসরি দ্রুততর প্রশিক্ষণ পুনরাবৃত্তিতে অনুবাদ করেছে।
• কাজের সমাপ্তির সময়ঃ১.৮ টি এমওই মডেলের জন্য প্রশিক্ষণের সময়সীমা ১৪ দিন থেকে কমিয়ে মাত্র ৯ দিনে করা হয়েছে।
• অপারেটিং দক্ষতাঃপ্রতি সুইচে 64 টি পোর্টের সাথে, 40 টি পোর্ট এইচডিআর ডিজাইনের তুলনায় প্রয়োজনীয় স্পিন সুইচগুলির সংখ্যা 37% হ্রাস পেয়েছে, তারের সরলীকরণ এবং র্যাক প্রতি শক্তি খরচ 28% হ্রাস করে।

মালিকানার মোট খরচের দৃষ্টিকোণ থেকে, সংস্থার অর্থনীতির দল উল্লেখ করেছে যে যদিও920-9B210-00FN-0D0 দামএই অর্থনৈতিক সুবিধাটি হ'ল এইচডিআর বিকল্পের তুলনায় এইচডিআর প্রতি ইউনিট বেশি ছিল, প্রতি জিপিইউ নেটওয়ার্কিংয়ের ব্যয় প্রকৃতপক্ষে উচ্চতর র্যাডিক্স এবং কম সুইচ-লেয়ারের কারণে হ্রাস পেয়েছে।নাটকীয় পারফরম্যান্স লাভের সাথে মিলিত, এনডিআর আপগ্রেড একটি স্পষ্ট ব্যবসায়িক জয় করে।920-9B210-00FN-0D0 InfiniBand সুইচ OPN সমাধানএছাড়াও তাদের বিদ্যমান এনভিআইডিআইএ ইউএফএম স্থাপনার সাথে নির্বিঘ্নে সংহত, কেন্দ্রীয় দৃশ্যমানতা এবং স্বয়ংক্রিয় সতর্কতা প্রদান করে যা অপারেশনাল ওভারহেডকে 40% হ্রাস করে।

সংক্ষিপ্ত বিবরণ এবং দৃষ্টিভঙ্গিঃ পরবর্তী প্রজন্মের এআই এর জন্য এনডিআর ফাউন্ডেশন

দ্যএনভিআইডিআইএ মেলানোক্স ৯২০-৯বি২১০-০০এফএন-০ডি০এই এআই গবেষণা সংস্থাকে তার ৪,০৯৬-জিপিইউ এইচ১০০ ক্লাস্টারের পূর্ণ সম্ভাবনা উন্মোচন করার জন্য প্রয়োজনীয় রূপান্তরিত সমাধান বলে প্রমাণিত হয়েছে।এবং SHARPv3 ইন-নেটওয়ার্ক কম্পিউটিং, স্যুইচটি তাদের আগের এইচডিআর অবকাঠামোর সাথে অসম্ভব হতে পারে এমন পারফরম্যান্স বা পরিচালনাযোগ্যতার সাথে আপস ছাড়াই 1,024 থেকে 4,096 জিপিইউ থেকে স্কেল করতে সক্ষম করেছিল।

সামনের দিকে তাকিয়ে, সংগঠনটি আগামী ১৮ মাসের মধ্যে ৮,১৯২ টি জিপিইউতে সম্প্রসারণের পরিকল্পনা করছে,বিক্রির জন্য 920-9B210-00FN-0D0এনভিআইডিআইএর চ্যানেল অংশীদারদের মাধ্যমে আরও বড় তিন স্তরের ভাঁজ-বন্ধ ফ্যাব্রিক তৈরি করতে।920-9B210-00FN-0D0 একটি প্রমাণিত, একটি উৎপাদন-প্রস্তুত সমাধান যা এক্সাসকেলে কম-ল্যাটেনসি RDMA ইন্টারকানেকশন অপ্টিমাইজেশনের প্রতিশ্রুতি দেয়।