NVIDIA Mellanox 920-9B210-00FN-0D0 অনুশীলনেঃ ট্রিলিয়ন-প্যারামিটার এমওই মডেলগুলির জন্য একটি এনডিআর লো-লেটেন্সি ফ্যাব্রিক তৈরি করা

NVIDIA Mellanox 920-9B210-00FN-0D0 অনুশীলনেঃ ট্রিলিয়ন-প্যারামিটার এমওই মডেলগুলির জন্য একটি এনডিআর লো-লেটেন্সি ফ্যাব্রিক তৈরি করা

ব্যাকগ্রাউন্ড ও চ্যালেঞ্জ: যখন সবার জন্য সবকিছুই প্রশিক্ষণের বোতলঘাট হয়ে যায়

একটি শীর্ষস্থানীয় এআই গবেষণা সংস্থা সম্প্রতি তার বড় ভাষা মডেল প্রশিক্ষণ ক্লাস্টারকে 1,024 থেকে 4,096 এনভিআইডিআইএ এইচ 100 জিপিইউতে পরিমাপ করেছে, উচ্চাভিলাষী লক্ষ্যের সাথে 1.৮ ট্রিলিয়ন প্যারামিটারের ক্ষুদ্র এমওই (বিশেষজ্ঞদের মিশ্রণ) মডেল মাস থেকে দুই সপ্তাহেরও কমতবে, প্রাথমিক বৈধতার সময়, the team discovered that their existing 200Gb/s HDR network was experiencing severe congestion during the all-to-all communication phase—a characteristic pattern of MoE architectures—causing GPU utilization to plummet from an expected 85% to just 52%তাদের প্রশিক্ষণের সময়সীমা পূরণের জন্য প্রয়োজনীয় প্রান্তিকের তুলনায় অনেক কম।

নেটওয়ার্ক বিশ্লেষণে দেখা গেছে যে এমওই মডেলের যোগাযোগের 40% এরও বেশি অংশের জন্য সর্বজনীন যোগাযোগ ছিল এবং বিশেষজ্ঞদের সংখ্যা বাড়ার সাথে সাথেট্রাফিক প্যাটার্ন ক্রমবর্ধমান টুকরো টুকরো হয়ে ওঠেবিদ্যমান এইচডিআর নেটওয়ার্কে, ঘনত্ব নিয়ন্ত্রণ ব্যবস্থা চালু করার পর, লেট লেটেন্সিতে নাটকীয় বৃদ্ধি ঘটেছে, যার ফলে জিপিইউগুলির একটি উল্লেখযোগ্য অংশ অলস এবং অপেক্ষা করছে।সংগঠনটি জরুরিভাবে একটি নেটওয়ার্ক ফ্যাব্রিক প্রয়োজন যা নির্ধারণমূলক সাব-মাইক্রোসেকেন্ড লেটেন্সি সরবরাহ করতে সক্ষম, ক্ষতিহীন পরিবহন, এবং বিশাল অ-ব্লকিং স্কেলাবিলিটিএনভিআইডিআইএ মেলানোক্স ৯২০-৯বি২১০-০০এফএন-০ডি০ঠিক এই চ্যালেঞ্জের জন্য তৈরি করা হয়েছিল।

সমাধান ও বাস্তবায়নঃ একটি এমওই-অপ্টিমাইজড এনডিআর লিফ-স্পাইন আর্কিটেকচার

সংস্থাটি একটি দ্বি-স্তরীয় পাতা-পিঁড়ির কাপড় স্থাপন করেছে যা920-9B210-00FN-0D0 ইনফিনিব্যান্ড সুইচ OPN. প্রতিটি কম্পিউটার র্যাক, দুই920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRসুইচগুলি পাতার স্তরে স্থাপন করা হয়েছিল, OSFP থেকে OSFP সক্রিয় অপটিক্যাল তারের মাধ্যমে 64 টি ডুয়াল-পোর্ট H100 সার্ভারের সাথে 400Gb / s সংযোগ সরবরাহ করে।16 অতিরিক্ত 920-9B210-00FN-0D0 সুইচ আন্তঃসংযুক্ত সব পাতা সুইচ, একটি সম্পূর্ণ নন-ব্লকিং ফ্যাট-ট্রি ফ্যাব্রিক তৈরি করে যার সমষ্টিগত বিসেকশন ব্যান্ডউইথ ৫১.২ টিবি/এস।

এই সমাধানের কেন্দ্রবিন্দু হল সুইচটির ইন্টিগ্রেটেড SHARPv3 (স্কেলযোগ্য হিয়ারারকিয়াল এগ্রিগেশন এবং রিডাকশন প্রোটোকল) প্রযুক্তি।সব থেকে সব যোগাযোগ সরাসরি সুইচ ফ্যাব্রিক উপর offloaded ছিল, সুইচগুলি নেটওয়ার্কের মধ্যে ডেটা হ্রাস এবং পুনরায় বিতরণ সম্পাদন করে। এটি একাধিক হোস্ট-সাইড পাসগুলির প্রয়োজনীয়তা দূর করে,নাটকীয়ভাবে যোগাযোগের ওভারহেড হ্রাস যা পূর্ববর্তী এইচডিআর স্থাপনার ক্ষতিগ্রস্ত হয়েছিল.920-9B210-00FN-0D0 তথ্য পত্রএটি ১০০ এনএস এর নিচে কট-থ্রু লেটেন্সিকে তুলে ধরে, যা ধারণার প্রমাণের পর্যায়ে বৈধ করা হয়েছিল এবং এমওই ওয়ার্কলোডের কঠোর লেটেন্সি প্রয়োজনীয়তার জন্য সমালোচনামূলক প্রমাণিত হয়েছিল।

দ্য920-9B210-00FN-0D0 স্পেসিফিকেশন👉দুই-অপ্রয়োজনীয় পাওয়ার সাপ্লাই এবং হট-স্পেচযোগ্য ফ্যান সহ 👉৯৯.৯৯৯% উপলভ্যতা লক্ষ্য অর্জনে দলের আত্মবিশ্বাস দিয়েছে।920-9B210-00FN-0D0 সামঞ্জস্যপূর্ণইকোসিস্টেমটি ইতিমধ্যে যোগ্যতাসম্পন্ন সমস্ত OSFP অপটিক্স এবং তারগুলি অন্তর্ভুক্ত করেছিল, সংগ্রহের বিলম্ব দূর করে এবং স্থাপনার সময়রেখা সহজ করে।

ফলাফল ও পরিমাপযোগ্য লাভঃ বোতল ঘা থেকে সক্ষমকরণে

এনডিআর ফ্যাব্রিক সম্পূর্ণরূপে মোতায়েন করার পর এবং এমওই প্রশিক্ষণ কাজ পুনরায় শুরু করার পরে, সংগঠনটি একাধিক মাত্রায় রূপান্তরমূলক উন্নতি পরিমাপ করেঃ

• জিপিইউ ব্যবহার পুনরুদ্ধারঃগড় জিপিইউ ব্যবহার ৫২% থেকে ৮৯% পর্যন্ত বেড়েছে, গণনা-সমৃদ্ধ পর্যায়ে সর্বোচ্চ ব্যবহার ৯৪% পৌঁছেছে, নেটওয়ার্ক-প্ররোচিত স্টলগুলি নির্মূল করার সরাসরি ফলাফল।
• অল-টু-অল লেটেন্সি হ্রাসঃ৪,০৯৬ টি জিপিইউ জুড়ে সম্পূর্ণ অল-টু-অল এক্সচেঞ্জের জন্য প্রয়োজনীয় সময় ১৮০ এমএস থেকে কমে ৪৫ এমএসের নিচে এসেছে, যা ৭৫% উন্নতি যা সরাসরি দ্রুততর প্রশিক্ষণ পুনরাবৃত্তিতে অনুবাদ করেছে।
• কাজের সমাপ্তির সময়ঃ১.৮ টি এমওই মডেলের জন্য প্রশিক্ষণের সময়সীমা ১৪ দিন থেকে কমিয়ে মাত্র ৯ দিনে করা হয়েছে।
• অপারেটিং দক্ষতাঃপ্রতি সুইচে 64 টি পোর্টের সাথে, 40 টি পোর্ট এইচডিআর ডিজাইনের তুলনায় প্রয়োজনীয় স্পিন সুইচগুলির সংখ্যা 37% হ্রাস পেয়েছে, তারের সরলীকরণ এবং র্যাক প্রতি শক্তি খরচ 28% হ্রাস করে।

মালিকানার মোট ব্যয়ের দৃষ্টিকোণ থেকে, সংস্থার অর্থনীতির দল উল্লেখ করেছে যে যদিও920-9B210-00FN-0D0 দামএই অর্থনৈতিক সুবিধাটি হ'ল এইচডিআর বিকল্পগুলির তুলনায় এইচডিআর ডিভাইসগুলির প্রতি ইউনিট উচ্চতর ছিল, প্রতি জিপিইউ নেটওয়ার্কিংয়ের ব্যয় প্রকৃতপক্ষে উচ্চতর র্যাডিক্স এবং কম সুইচ-লেয়ারের কারণে হ্রাস পেয়েছে।নাটকীয় পারফরম্যান্স লাভের সাথে মিলিত, এনডিআর আপগ্রেড একটি স্পষ্ট ব্যবসায়িক জয় করে।920-9B210-00FN-0D0 InfiniBand সুইচ OPN সমাধানএছাড়াও তাদের বিদ্যমান এনভিআইডিআইএ ইউএফএম স্থাপনার সাথে নির্বিঘ্নে সংহত, কেন্দ্রীয় দৃশ্যমানতা এবং স্বয়ংক্রিয় সতর্কতা প্রদান করে যা অপারেশনাল ওভারহেডকে 40% হ্রাস করে।

সংক্ষিপ্ত বিবরণ এবং দৃষ্টিভঙ্গিঃ পরবর্তী প্রজন্মের এমওই ওয়ার্কলোডের জন্য এনডিআর ফাউন্ডেশন

দ্যএনভিআইডিআইএ মেলানোক্স ৯২০-৯বি২১০-০০এফএন-০ডি০এই এআই গবেষণা সংস্থাকে তার ৪,০৯৬-জিপিইউ এইচ১০০ ক্লাস্টারের পূর্ণ সম্ভাবনা উন্মোচন করার জন্য প্রয়োজনীয় রূপান্তরিত সমাধান বলে প্রমাণিত হয়েছে।এবং SHARPv3 ইন-নেটওয়ার্ক কম্পিউটিং, স্যুইচটি তাদের আগের এইচডিআর অবকাঠামোর সাথে অসম্ভব হতে পারে এমন পারফরম্যান্স বা পরিচালনাযোগ্যতার সাথে আপস ছাড়াই 1,024 থেকে 4,096 জিপিইউ থেকে স্কেল করতে সক্ষম করেছিল।

সামনের দিকে তাকিয়ে, সংগঠনটি আগামী ১৮ মাসের মধ্যে ৮,১৯২ টি জিপিইউতে সম্প্রসারণের পরিকল্পনা করছে,বিক্রির জন্য 920-9B210-00FN-0D0এনভিআইডিআইএর চ্যানেল অংশীদারদের মাধ্যমে আরও বড় তিন স্তরের ভাঁজ-বন্ধ ফ্যাব্রিক তৈরি করতে।920-9B210-00FN-0D0 একটি প্রমাণিত, একটি উৎপাদন-প্রস্তুত সমাধান যা এক্সাসকেলে কম-ল্যাটেনসি RDMA ইন্টারকানেকশন অপ্টিমাইজেশনের প্রতিশ্রুতি দেয়।