NVIDIA Mellanox MQM9790-NS2F ইনফিনিব্যান্ড স্যুইচ অ্যাকশনেঃ নিম্ন-ল্যাটেনসি ইন্টারকানেক্ট অপ্টিমাইজেশন

NVIDIA Mellanox MQM9790-NS2F ইনফিনিব্যান্ড স্যুইচ অ্যাকশনেঃ RDMA / HPC / AI ক্লাস্টারগুলির জন্য নিম্ন-ল্যাটেনসি ইন্টারকানেক্ট অপ্টিমাইজেশন

এআই প্রশিক্ষণ, উচ্চ-কার্যকারিতা কম্পিউটিং (এইচপিসি) সিমুলেশন এবং বৃহত আকারের বিতরণ স্টোরেজ, নেটওয়ার্ক লেটেন্সি এবং ব্যান্ডউইথ প্রায়শই ক্লাস্টার দক্ষতার উপরের সীমা নির্ধারণ করে।সংগঠনগুলোকে এই ঘাটতি অতিক্রম করতে সাহায্য করার জন্য,MQM9790-NS2Fএনভিআইডিআইএ মেলানোক্সের ইনফিনিব্যান্ড সুইচ অনেক এআই এবং এইচপিসি স্থাপনার মধ্যে একটি মূল আন্তঃসংযোগ উপাদান হয়ে উঠছে। এই নিবন্ধটি একটি বড় আকারের এআই প্রশিক্ষণ ক্লাস্টারের বাস্তব বিশ্বের আপগ্রেডের মধ্য দিয়ে চলেছে,এই সুইচ কিভাবে কম লেটেন্সি RDMA নেটওয়ার্ক এবং পরিমাপযোগ্য কর্মক্ষমতা লাভ প্রদান করে তা চিত্রিত করে.

পটভূমি ও চ্যালেঞ্জঃ হাজার-জিপিইউ থেকে দশ-হাজার-জিপিইউ নেটওয়ার্ক চাপ

একটি শীর্ষস্থানীয় গবেষণা প্রতিষ্ঠান পূর্বে বড় ভাষার মডেল প্রশিক্ষণ এবং আবহাওয়া সিমুলেশন জন্য এক হাজার জিপিইউ ক্লাস্টার পরিচালনা করে।যেহেতু মডেলের পরামিতি দশ বিলিয়ন থেকে শত বিলিয়ন বেড়েছে, বিদ্যমান 200 গিগাবাইট / সেকেন্ডের এইচডিআর ইনফিনিব্যান্ড নেটওয়ার্কে যানজট এবং ক্রমবর্ধমান যোগাযোগের ওভারহেডের অভিজ্ঞতা শুরু হয়েছিল। ক্রস-নোড অল-রেডুস অপারেশনগুলি উল্লেখযোগ্যভাবে বেশি সময় নিয়েছে,এবং নেটওয়ার্ক স্থানান্তর জন্য অপেক্ষা করার সময় প্রায়শই জিপিইউ অল্টারনেটিংআর্কিটেক্টদের জরুরীভাবে এমন একটি সমাধানের প্রয়োজন ছিল যা বন্দরের ঘনত্ব বৃদ্ধি, সূক্ষ্ম লোড ভারসাম্য এবং বিদ্যমান আরডিএমএ অবকাঠামোর সাথে সম্পূর্ণ সামঞ্জস্যপূর্ণ।

নিবিড় মূল্যায়নের পর, দলটি এনডিআর-গ্রেড ইনফিনিব্যান্ড ফ্যাব্রিক নির্বাচন করেছে।এনভিডিয়া মেলানোক্স এমকিউএম৯৭৯০-এনএস২এফ. 64 ওএসএফপি পোর্টগুলির সাথে, প্রতিটি 400Gb / s লাইন হারের সাথে কাজ করে, সুইচটি পরবর্তী প্রজন্মের জিপিইউ সার্ভারের থ্রুপুট চাহিদার সাথে পুরোপুরি মেলে।

সমাধান ও বাস্তবায়নঃ এনডিআর ফ্যাব্রিক + লসলেস আরডিএমএ নেটওয়ার্ক

নতুন ডিজাইনে, প্রতিটি জিপিইউ সার্ভার দুটি পোর্ট কানেক্টএক্স -7 অ্যাডাপ্টার দিয়ে সজ্জিত, দুটি পাতার সুইচগুলিতে আপলিঙ্ক করা হয়েছে।MQM9790-NS2F 400Gb/s NDR 64-পোর্ট OSFPসুইচগুলি একটি নন-ব্লকিং ক্লস আর্কিটেকচার ব্যবহার করে একটি দ্বি-স্তরীয় ফ্যাট-ট্রি টপোলজি গঠন করে। অভিযোজিত রাউটিং এবং ঘনত্ব নিয়ন্ত্রণ সক্ষম করা হয়,জিপিইউ মেমরি থেকে সরাসরি ডেটা স্থানান্তর করতে নেটিভ ইনফিনিব্যান্ড আরডিএমএ ব্যবহার করে দূরবর্তী জিপিইউ মেমরি, সিপিইউ এবং সফটওয়্যার স্ট্যাক ওভারহেড বাইপাস করে।

• পোর্ট ব্যবহার এবং সামঞ্জস্যতাঃবিদ্যমান এইচডিআর অ্যাডাপ্টারগুলি হ্রাস গতিতে কাজ করতে পারে, পূর্ববর্তী বিনিয়োগগুলি রক্ষা করে।MQM9790-NS2F সামঞ্জস্যপূর্ণতালিকাটি প্রধানধারার জিপিইউ সার্ভার এবং স্টোরেজ সিস্টেমগুলিকে কভার করে, যার জন্য মোতায়েনের সময় ড্রাইভার পরিবর্তন করার প্রয়োজন হয় না।
• বুদ্ধিমান অপারেশনঃঅন্তর্নির্মিত টেলিমেট্রি মনিটরগুলি রিয়েল-টাইমে ত্রুটি এবং ঘনত্বের সাথে সংযোগ স্থাপন করে, দলগুলিকে দ্রুত অপটিক্যাল মডিউল বা তারের সমস্যাগুলি বিচ্ছিন্ন করতে সহায়তা করে এবং মেরামতের গড় সময়কে ব্যাপকভাবে হ্রাস করে।

ফলাফল ও উপকারিতা: প্রশিক্ষণের পুনরাবৃত্তি সময় ৩৮% কমেছে, নেটওয়ার্ক ওভারহেড ৮% কমেছে

আপগ্রেডের পর প্রতিষ্ঠানটি উৎপাদন কাজের চাপের উপর তুলনামূলক পরীক্ষা চালায়।MQM9790-NS2F ইনফিনিব্যান্ড সুইচ২.৮ সেকেন্ড থেকে ১.৭৩ সেকেন্ডের মধ্যে পুনরাবৃত্তি সময় হ্রাস পেয়েছে, যা ৩৮% উন্নতি। নেটওয়ার্ক যোগাযোগের মোট বিলম্বের অংশ ২২% থেকে ৮% কমেছে।যার অর্থ GPUs দরকারী গণনা উপর উল্লেখযোগ্যভাবে বেশি সময় ব্যয়. এনডিআর সুইচের ভিতরে SHARPv3 নেটওয়ার্ক কম্পিউটিংয়ের জন্য ধন্যবাদ, অল-রেডুস ব্যান্ডউইথ ব্যবহার প্রায় দ্বিগুণ হয়েছে।

স্টোরেজ সাইডে, ইনফিনিব্যান্ডের উপর কম-ল্যাটেনসি এনভিএমই সমান্তরাল ফাইল সিস্টেমের সামগ্রিক পাঠ / লেখার ব্যান্ডউইথকে ২.3x বৃদ্ধি করেছে।চেকপয়েন্ট সংরক্ষণ এবং পুনরুদ্ধারের সময় 12 মিনিট থেকে 5 মিনিটের নিচে সঙ্কুচিত হয়েছেএই পরিসংখ্যানগুলি অভ্যন্তরীণ পরীক্ষার প্রতিবেদনে ধরা হয় এবংMQM9790-NS2F স্পেসিফিকেশনবেসলাইন।

সংক্ষিপ্ত বিবরণ ও প্রত্যাশাঃ পরবর্তী প্রজন্মের এআই অবকাঠামোর জন্য ডিফল্ট পছন্দ হিসাবে এনডিআর ইন্টারকানেক্ট

এই মামলাটি স্পষ্টভাবে দেখায় যে বড় আকারের RDMA/HPC/AI ক্লাস্টারগুলির জন্য,MQM9790-NS2F ইনফিনিব্যান্ড সুইচ সমাধানএটি কার্যকরভাবে নেটওয়ার্ক ঘনত্ব দূর করে, জিপিইউ ব্যবহার বাড়ায় এবং অপারেশনগুলিকে সহজ করে তোলে।MQM9790-NS2F তথ্য পত্রএই মডেলটি এখন ভর উৎপাদন করা হচ্ছে;MQM9790-NS2F দামঅথবাবিক্রির জন্য MQM9790-NS2Fভবিষ্যতে কাজের লোড 800 গিগাবাইট / সেকেন্ড এবং তার পরেও চাহিদা চালাচ্ছে,এনডিআর সুইচিং প্ল্যাটফর্ম কম্পিউটারের সম্ভাবনার উন্মোচনে গুরুত্বপূর্ণ ভূমিকা পালন করবে।.