NVIDIA Mellanox MCX653106A-HDAT অ্যাকশনেঃ RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট অপ্টিমাইজেশন

একটি প্রধান হাইপারস্কেল ক্লাউড প্রোভাইডার ডিস্ট্রিবিউটেড এআই প্রশিক্ষণ এবং রিয়েল-টাইম অ্যানালিটিক্সের জন্য 256-নোডের একটি ক্লাস্টার পরিচালনা করার সময় তাদের পরিকাঠামো স্কেল করার সাথে সাথে গুরুতর নেটওয়ার্ক পারফরম্যান্সের অবনতি অনুভব করতে শুরু করে। বিদ্যমান 25GbE TCP/IP-ভিত্তিক ফ্যাব্রিক 128 নোড জুড়ে 6 মিলিসেকেন্ডের বেশি অল-রিডিউস ল্যাটেন্সি প্রদর্শন করে, যখন নেটওয়ার্ক প্রক্রিয়াকরণের জন্য সিপিইউ ব্যবহার প্রতিটি সার্ভারের কম্পিউট ক্ষমতার 40% এর বেশি ব্যবহার করে। এই বাধা জিপিইউ ব্যবহারকে মাত্র 55% এ সীমাবদ্ধ করে, প্রশিক্ষণ চক্রকে নাটকীয়ভাবে দীর্ঘায়িত করে এবং রাজস্ব-উৎপাদনকারী ক্ষমতা হ্রাস করে। দলটির এমন একটি সমাধানের প্রয়োজন ছিল যা মাইক্রোসেকেন্ড-স্কেল ল্যাটেন্সি এবং বিশাল ব্যান্ডউইথ উভয়ই সরবরাহ করতে পারে, পাশাপাশি ওয়ার্কলোড-নির্দিষ্ট ট্র্যাফিক অপ্টিমাইজেশানের জন্য প্রয়োজনীয় প্রোগ্রামেবিলিটি প্রদান করতে পারে।

একটি বিস্তৃত প্রযুক্তিগত মূল্যায়নের পর, প্রোভাইডার তাদের নেটওয়ার্ক রূপান্তরের ভিত্তি হিসাবে NVIDIA Mellanox MCX653106A-HDAT নির্বাচন করে। প্রতিটি সার্ভার নোড একটি MCX653106A-HDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড দিয়ে সজ্জিত ছিল, যা প্রতি নোডে 200 Gb/s অ্যাগ্রিগেট ব্যান্ডউইথ সরবরাহ করার জন্য ডুয়াল-পোর্ট 100GbE সংযোগ সহ কনফিগার করা হয়েছিল।

• প্রথম পর্যায় — পাইলট (8 নোড): দলটি MCX653106A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড জিপিইউ সার্ভারের একটি উপসেটে ইনস্টল করে, একটি লসলেস ইথারনেট ফ্যাব্রিক স্থাপন করার জন্য PFC এবং ECN সহ RoCEv2 কনফিগার করে। অ্যাডাপ্টারগুলি এন্ড-টু-এন্ড কনজেশন ম্যানেজমেন্টের জন্য NVIDIA Spectrum-4 সুইচগুলির সাথে যুক্ত করা হয়েছিল।
• দ্বিতীয় পর্যায় — বৈধতা ও টিউনিং: MCX653106A-HDAT ডেটাশিট এ নথিভুক্ত টেলিমেট্রি ডেটা ব্যবহার করে, দলটি কনফিগারেশন যাচাই করে, DCB প্যারামিটারগুলি ফাইন-টিউন করে এবং NCCL কালেক্টিভ কমিউনিকেশন সেটিংস অপ্টিমাইজ করে। অ্যাডাপ্টারের উন্নত প্রোগ্রামেবিলিটি বৈশিষ্ট্যগুলি ওয়ার্কলোডের নির্দিষ্ট অল-রিডিউস প্যাটার্নের জন্য কাস্টম ট্র্যাফিক স্টিয়ারিং সক্ষম করে।
• তৃতীয় পর্যায় — সম্পূর্ণ প্রোডাকশন রোলআউট (256 নোড): সফল বৈধতার পর, পুরো ক্লাস্টারটি নতুন অ্যাডাপ্টারে স্থানান্তরিত হয়। সমাধানের MCX653106A-HDAT সামঞ্জস্যপূর্ণ প্রকৃতি বিদ্যমান সার্ভার এবং লিনাক্স ডিস্ট্রিবিউশনের সাথে নির্বিঘ্ন ইন্টিগ্রেশন নিশ্চিত করে।
• চতুর্থ পর্যায় — অবিচ্ছিন্ন অপ্টিমাইজেশান: দলটি এআই প্রশিক্ষণ কাজের জন্য পারফরম্যান্স আরও অপ্টিমাইজ করার জন্য ওয়ার্কলোড-সচেতন রাউটিং নীতিগুলি বাস্তবায়নের জন্য অ্যাডাপ্টারের ইন-লাইন টেলিমেট্রি এবং প্রোগ্রামযোগ্য ডেটা-পাথ ব্যবহার করে।

দলটি লক্ষ্য করেছে যে MCX653106A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধান একটি সহজ মাইগ্রেশন পাথ সরবরাহ করেছে, কারণ QSFP56 পোর্টগুলি 100GbE এবং 25GbE উভয় অপটিক্স সমর্থন করে, বিদ্যমান সংযোগে ব্যাঘাত না ঘটিয়ে একটি সুন্দর রূপান্তর সক্ষম করে।

এই পরিমাণগত লাভের বাইরে, প্রোভাইডার উল্লেখযোগ্য অপারেশনাল সুবিধা লক্ষ্য করেছে। পূর্বে 14 দিন সময় লাগা প্রশিক্ষণ রান মাত্র 4.5 দিনে সম্পন্ন হয়েছিল, নতুন এআই পরিষেবাগুলির জন্য টাইম-টু-মার্কেটকে নাটকীয়ভাবে ত্বরান্বিত করে। অ্যাডাপ্টারের প্রোগ্রামযোগ্য ডেটা-পাথ অগ্রাধিকার প্রবাহের জন্য কাস্টম ট্র্যাফিক শেপিং সক্ষম করেছে, নিশ্চিত করে যে গুরুত্বপূর্ণ কালেক্টিভ কমিউনিকেশন ট্র্যাফিক কখনও বিরোধের সম্মুখীন হয়নি। রিটার্ন অন ইনভেস্টমেন্ট মূল্যায়নকারী সংস্থাগুলির জন্য, MCX653106A-HDAT মূল্য 3* থ্রুপুট লাভ এবং 18 মাসের বেশি অতিরিক্ত সার্ভার অধিগ্রহণ স্থগিত করার ক্ষমতা দ্বারা সম্পূর্ণরূপে ন্যায়সঙ্গত প্রমাণিত হয়েছে। দলটি আরও লক্ষ্য করেছে যে বিক্রয়ের জন্য MCX653106A-HDAT NVIDIA Spectrum-4 সুইচগুলির সাথে বান্ডিলগুলি বড় আকারের স্থাপনার জন্য সবচেয়ে অনুকূল অর্থনীতি সরবরাহ করে।

প্রোভাইডার MCX653106A-HDAT স্পেসিফিকেশন এ বিস্তারিত ব্যাপক টেলিমেট্রি ক্ষমতাগুলি ব্যবহার করে ভবিষ্যদ্বাণীমূলক পারফরম্যান্স মডেল এবং স্বয়ংক্রিয় কনজেশন প্রশমন কৌশল তৈরি করেছে, অপারেশনাল দক্ষতা আরও বাড়িয়েছে।

এই প্রোডাকশন-স্কেল স্থাপন প্রদর্শন করে যে NVIDIA Mellanox MCX653106A-HDAT আধুনিক এআই এবং ক্লাউড পরিকাঠামোর জন্য একটি রূপান্তরমূলক উপাদান। 200 Gb/s অ্যাগ্রিগেট ব্যান্ডউইথ, সাব-0.3 মিলিসেকেন্ড কালেক্টিভ কমিউনিকেশন ল্যাটেন্সি এবং ব্যাপক হার্ডওয়্যার অফলোডের সংমিশ্রণ জিপিইউ-ত্বরান্বিত ওয়ার্কলোডগুলির জন্য প্রায়-রৈখিক স্কেলিং সক্ষম করে। একটি এন্ড-টু-এন্ড MCX653106A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধান হিসাবে, এটি নেটওয়ার্কের বাধা দূর করে যা ঐতিহাসিকভাবে ডিস্ট্রিবিউটেড প্রশিক্ষণ দক্ষতা এবং ক্লাউড পরিষেবা সরবরাহকে সীমাবদ্ধ করেছে।

ভবিষ্যতের দিকে তাকিয়ে, ক্লাউড প্রোভাইডার একাধিক টেন্যান্ট পরিবেশ জুড়ে ওয়ার্কলোড-নির্দিষ্ট অপ্টিমাইজেশানের জন্য অতিরিক্ত ডেটা-পাথ প্রোগ্রামেবিলিটি বাস্তবায়নের জন্য NVIDIA DOCA এর সাথে বর্ধিত ইন্টিগ্রেশন অন্বেষণ করছে। তারা পরবর্তী প্রজন্মের স্বয়ংক্রিয় পারফরম্যান্স ম্যানেজমেন্ট সিস্টেমগুলি বিকাশের জন্য অ্যাডাপ্টারের ইন-লাইন টেলিমেট্রি — যা MCX653106A-HDAT ডেটাশিট এ ব্যাপকভাবে নথিভুক্ত — ব্যবহার করছে। NVIDIA Mellanox MCX653106A-HDAT তাদের এআই পরিকাঠামো রোডম্যাপের ভিত্তি হয়ে উঠেছে, যা ফাউন্ডেশন মডেল প্রশিক্ষণ এবং রিয়েল-টাইম অ্যানালিটিক্স পরিষেবাগুলির পরবর্তী প্রজন্মের জন্য একটি শক্তিশালী, স্কেলযোগ্য প্ল্যাটফর্ম সরবরাহ করে।