NVIDIA Mellanox MCX653105A-HDAT অ্যাকশনেঃ RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট অপ্টিমাইজেশন

NVIDIA Mellanox MCX653105A-HDAT অ্যাকশনেঃ RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট অপ্টিমাইজেশন

ব্যাকগ্রাউন্ড ও চ্যালেঞ্জঃ একটি এআই / এইচপিসি ক্লাস্টারে নেটওয়ার্ক বোতলঘাট

একটি বড় প্রযুক্তি প্রতিষ্ঠান সম্প্রতি বড় ভাষার মডেল (এলএলএম) প্রশিক্ষণের জন্য একটি ১২৮ নোড জিপিইউ-অ্যাক্সিলারেটেড ক্লাস্টার স্থাপন করেছে,প্রতিটি নোড আটটি NVIDIA H100 GPU এবং উচ্চ-কার্যকারিতা NVMe স্টোরেজ দিয়ে সজ্জিতকিন্তু ৩২টি নোডের বাইরে স্কেল করার পর, ক্লাস্টারের পারফরম্যান্স নাটকীয়ভাবে হ্রাস পেয়েছে।যখন TCP/IP নেটওয়ার্কিং স্ট্যাক প্রতি নোডের সিপিইউ রিসোর্সের 45% এর বেশি খরচ করেএকাধিক 25GbE লিংক উপর নির্মিত নেটওয়ার্ক প্রধান বোতল ঘাঁটি হয়ে উঠেছে, গুরুতরভাবে GPU ব্যবহার সীমিত এবং গ্রহণযোগ্য সময়সীমার বাইরে প্রশিক্ষণ চক্র প্রসারিত।টিমের জরুরিভাবে একটি সমাধান প্রয়োজন ছিল যা সিপিইউ-সমৃদ্ধ নেটওয়ার্ক প্রসেসিংয়ের সময় অতি-নিম্ন লেটেন্সি এবং বিশাল ব্যান্ডউইথ উভয়ই সরবরাহ করতে সক্ষম.

সমাধান ও বাস্তবায়নঃ MCX653105A-HDAT দিয়ে ফ্যাব্রিক রূপান্তর

একটি সম্পূর্ণ প্রযুক্তিগত মূল্যায়নের পর, দলটিএনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিতাদের নেটওয়ার্ক রূপান্তর জন্য ভিত্তি হিসাবে. প্রতিটি জিপিইউ নোড একটিMCX653105A-HDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড, ডুয়াল পোর্ট 100GbE সংযোগের সাথে কনফিগার করা হয়েছে যাতে প্রতি সার্ভারে 200 গিগাবাইট / সেকেন্ডের সমষ্টিগত ব্যান্ডউইথ সরবরাহ করা যায়।

চারটি কাঠামোগত পর্যায়ে এই কর্মসূচি বাস্তবায়ন করা হয়েছে:

• ধাপ ১ ০ হার্ডওয়্যার ইনস্টলেশন (১২৮টি নোড):প্রতিটি সার্ভারMCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড, উভয় QSFP28 পোর্ট দ্বৈত অপ্রয়োজনীয় এনভিআইডিআইএ স্পেকট্রাম -4 পাতার সুইচগুলির সাথে সংযুক্ত। অ্যাডাপ্টারগুলি সর্বশেষতম ফার্মওয়্যার এবং এনভিআইডিএ ওএফইডি ড্রাইভার স্ট্যাকের সাথে ইনস্টল করা হয়েছিল।
• ধাপ ২ ∙ RoCEv2 কনফিগারেশনঃগোটা ফ্যাব্রিক জুড়ে RoCEv2 সক্ষম করে, একটি ক্ষতিহীন ইথারনেট পরিবেশ প্রতিষ্ঠার জন্য সতর্কতার সাথে অগ্রাধিকার প্রবাহ নিয়ন্ত্রণ (পিএফসি) এবং সুস্পষ্ট ঘনত্ব বিজ্ঞপ্তি (ইসিএন) প্যারামিটারগুলি সামঞ্জস্য করে।উন্নত যানজট ব্যবস্থাপনার বৈশিষ্ট্যগুলি বিস্তারিতভাবেMCX653105A-HDAT ডেটা শীটসর্বোত্তম বাফার বরাদ্দ অর্জনে সহায়ক ছিল।
• তৃতীয় ধাপ ∙ এনসিসিএল অপ্টিমাইজেশানঃএনভিআইডিআইএ সমষ্টিগত যোগাযোগ গ্রন্থাগার (এনসিসিএল) এডাপ্টারের আরডিএমএ ক্ষমতা ব্যবহার করার জন্য পুনরায় কনফিগার করা হয়েছিল,কাস্টম ট্রাফিক স্টিয়ারিং নিয়মের সাথে অ্যাডাপ্টারের এমবেডেড প্রসেসিং ইঞ্জিনগুলিতে প্রোগ্রাম করা হয়েছে এলএলএম ওয়ার্কলোডের নির্দিষ্ট সমস্ত হ্রাস এবং সমস্ত সংগ্রহের নিদর্শনগুলির জন্য অপ্টিমাইজ করার জন্য.
• ধাপ ৪ ঃ বৈধতা এবং সূক্ষ্ম-নিয়ন্ত্রণঃটেলিমেট্রি ডেটা ব্যবহার করেMCX653105A-HDAT স্পেসিফিকেশন, দলটি কনফিগারেশনটি যাচাই করেছে, বিচ্ছিন্নতা মডারেটরের সেটিংসটি সূক্ষ্মভাবে সামঞ্জস্য করেছে এবং চলমান পর্যবেক্ষণের জন্য বেসলাইন পারফরম্যান্স মেট্রিকগুলি প্রতিষ্ঠা করেছে।

বিশেষ করে, অ্যাডাপ্টার প্রমাণিত হয়েছেMCX653105A-HDAT সামঞ্জস্যপূর্ণবিদ্যমান ক্যাবলিং অবকাঠামোর সাথে, যেহেতু QSFP28 পোর্টগুলি 100GbE এবং 25GbE উভয় অপটিক্সকে সমর্থন করে, যা ব্যাহতকারী ক্যাবল প্রতিস্থাপন ছাড়াই একটি মসৃণ মাইগ্রেশন সক্ষম করে।একই শারীরিক পোর্টে কম্পিউটিং এবং স্টোরেজ উভয় ফাংশন সমর্থন করার জন্য দলটি অ্যাডাপ্টারের মাল্টি-হোস্ট ক্ষমতাও ব্যবহার করেছিল.

ফলাফল ও উপকারিতাঃ প্রশিক্ষণের কর্মক্ষমতা পরিমাপযোগ্য লাভ

কর্মক্ষমতা উন্নতিএনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিআপগ্রেডের আগে এবং পরে মূল পারফরম্যান্স মেট্রিকগুলি নীচে সংক্ষিপ্ত করা হয়েছেঃ

এই পরিমাণগত সাফল্য ছাড়াও, দলটি উল্লেখযোগ্য অপারেশনাল সুবিধা লক্ষ্য করেছে। প্রশিক্ষণ রানগুলি যা পূর্বে 12 দিন ব্যয় করেছিল তা মাত্র 4 দিনে সম্পন্ন হয়েছিল,নাটকীয়ভাবে মডেল পুনরাবৃত্তি চক্র ত্বরান্বিতঅ্যাডাপ্টারের প্রোগ্রামযোগ্য ডেটা-পাথ অগ্রাধিকার প্রবাহের জন্য কাস্টম ট্রাফিকের আকারকে সক্ষম করে, যা নিশ্চিত করে যে সমালোচনামূলক সমষ্টিগত যোগাযোগ ট্র্যাফিক কখনও বিরোধের সম্মুখীন হয়নি।বিনিয়োগের রিটার্ন মূল্যায়নকারী সংস্থাগুলির জন্য,MCX653105A-HDAT দাম৩x থ্রুপুট লাভ এবং কমপক্ষে ১২ মাস অতিরিক্ত জিপিইউ সার্ভার অধিগ্রহণ স্থগিত করার ক্ষমতা দ্বারা সম্পূর্ণরূপে ন্যায়সঙ্গত প্রমাণিত হয়েছে।বিক্রির জন্য MCX653105A-HDATএনভিআইডিআইএ স্পেকট্রাম-৪ সুইচগুলির সাথে বান্ডিলগুলি সম্পূর্ণ ক্লাস্টার স্থাপনের জন্য সর্বাধিক অনুকূল অর্থনীতি সরবরাহ করেছিল।

সংক্ষিপ্ত বিবরণ এবং দৃষ্টিভঙ্গিঃ পরবর্তী প্রজন্মের এআই অবকাঠামোর জন্য একটি ভিত্তি

এই উৎপাদন-স্কেল স্থাপনার প্রমাণ যেএনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিএটি আধুনিক এআই এবং এইচপিসি ক্লাস্টারের জন্য একটি রূপান্তরকারী উপাদান। 200 গিগাবাইট / সেকেন্ডের সমষ্টিগত ব্যান্ডউইথের সমন্বয়, 0.3 মিলিসেকেন্ডের অধীনে সমষ্টিগত যোগাযোগ বিলম্ব,এবং ব্যাপক হার্ডওয়্যার অফলোডগুলি সংস্থাগুলিকে জিপিইউ-গতিসম্পন্ন ওয়ার্কলোডগুলির জন্য প্রায় রৈখিক স্কেলিং অর্জন করতে সক্ষম করে. একটি শেষ থেকে শেষ হিসাবেMCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধান, এটি নেটওয়ার্কের বোতল ঘাঁটি দূর করে যা ঐতিহাসিকভাবে বিতরণ প্রশিক্ষণের দক্ষতা সীমিত করেছে।

ভবিষ্যতের দিকে তাকিয়ে, এন্টারপ্রাইজটি NVIDIA DOCA এর সাথে একীকরণ অনুসন্ধান করছে যাতে ওয়ার্কলোড-নির্দিষ্ট অপ্টিমাইজেশনের জন্য অতিরিক্ত ডেটা-পাথ প্রোগ্রামযোগ্যতা বাস্তবায়ন করা যায়।তারা অ্যাডাপ্টারের উন্নত টেলিমেট্রিও ব্যবহার করছে যা ব্যাপকভাবে নথিভুক্তMCX653105A-HDAT ডেটা শীট০ ভবিষ্যদ্বাণীমূলক পারফরম্যান্স মডেল এবং স্বয়ংক্রিয় যানজট হ্রাস কৌশল তৈরি করা।এনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিএটি তাদের এআই অবকাঠামো রোডম্যাপের মূল ভিত্তি হয়ে উঠেছে, যা পরবর্তী প্রজন্মের ফাউন্ডেশন মডেলের বিকাশ এবং প্রয়োগের জন্য একটি শক্তিশালী, স্কেলযোগ্য ভিত্তি সরবরাহ করে।