NVIDIA Mellanox MCX631432AN-ADAB কার্যকারিতা: RDMA/RoCE লো-ল্যাটেন্সি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট অপ্টিমাইজেশন

NVIDIA Mellanox MCX631432AN-ADAB অ্যাকশনেঃ RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট অপ্টিমাইজেশন

ব্যাকগ্রাউন্ড ও চ্যালেঞ্জঃ একটি এআই প্রশিক্ষণ ক্লাস্টারে নেটওয়ার্ক বোতলঘাট

একটি শীর্ষস্থানীয় ফিনটেক কোম্পানি সম্প্রতি উচ্চ-ফ্রিকোয়েন্সি ট্রেডিং কৌশল প্রশিক্ষণের জন্য ডিজাইন করা একটি 64-নোড জিপিইউ-ভিত্তিক এআই ক্লাস্টার স্থাপন করেছে, প্রতিটি সার্ভার উচ্চ-কার্যকারিতা এনভিএম স্টোরেজ দিয়ে সজ্জিত।,প্রথমবারের মতো, প্রকৃত প্রশিক্ষণ আউটপুট প্রত্যাশার তুলনায় উল্লেখযোগ্যভাবে কম ছিল।স্থাপনার পর বিশ্লেষণে দেখা গেছে যে 10GbE TCP/IP-ভিত্তিক ইন্টার-নোড যোগাযোগের ফ্যাব্রিকটি প্রধান বোতলঘাট হয়ে উঠেছেঅল-রেডুস সমষ্টিগত যোগাযোগের অপারেশন ৪৫ মিলিসেকেন্ড পর্যন্ত বিলম্ব দেখায়।যখন নেটওয়ার্ক প্রোটোকল প্রক্রিয়াকরণের জন্য সিপিইউ ওভারহেড 40% অতিক্রম করেছে √ গুরুতরভাবে ক্ষুধার্ত জিপিইউ ডেটা প্রিপ্রসেসিং পাইপলাইনএই টিমের জরুরিভাবে এমন একটি নেটওয়ার্কিং সমাধানের প্রয়োজন ছিল যা যোগাযোগের বিলম্বকে নাটকীয়ভাবে হ্রাস করতে পারে এবং সিপিইউর কম্পিউটিং ক্ষমতা পুনরুদ্ধার করতে পারে।

সমাধান ও বাস্তবায়নঃ MCX631432AN-ADAB এর সাথে একটি RoCE লসলেস নেটওয়ার্ক তৈরি করা

একটি ব্যাপক প্রযুক্তিগত মূল্যায়নের পর, দলটিএনভিডিয়া মেলানোক্স এমসিএক্স৬৩১৪৩২এএন-এডএবিতাদের নেটওয়ার্ক আপগ্রেডের ভিত্তি হিসাবে। প্রতিটি সার্ভার একটিMCX631432AN-ADAB ConnectX-6 Lx ডুয়াল পোর্ট 25GbE SFP28অ্যাডাপ্টার, উভয় SFP28 পোর্ট একটি উচ্চ উপলব্ধ স্থাপত্য স্থাপন করার জন্য অতিরিক্ত NVIDIA স্পেকট্রাম -3 সুইচ সংযুক্ত।

এই কর্মসূচি তিনটি পর্যায়ে বাস্তবায়ন করা হয়েছে:

• ধাপ ১ ✓ পাইলট (৮টি নোড):দলটিMCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ডজিপিইউ সার্ভারের একটি উপসেটে, RoCEv2 কে অগ্রাধিকার প্রবাহ নিয়ন্ত্রণ (পিএফসি) এবং এক্সপ্লিক্ট কনজেসন নোটিফিকেশন (ইসিএন) দিয়ে কনফিগার করে একটি ক্ষতিহীন ইথারনেট ফ্যাব্রিক তৈরি করা।এনসিসিএল (এনভিআইডিআইএ সমষ্টিগত যোগাযোগ গ্রন্থাগার) আরডিএমএ সমর্থন সহ পুনরায় সংকলিত হয়েছিল.
• ধাপ ২ ঃ টিউনিং ও ভ্যালিডেশনঃটেলিমেট্রি তথ্য ব্যবহার করেMCX631432AN-ADAB ডেটা শীট, দলটি প্রায় শূন্য প্যাকেট ক্ষতি বজায় রেখে পিএফসি বিরতি ঝড়গুলি নির্মূল করার জন্য ডিসিবি পরামিতি এবং বাফার থ্রেশহোল্ডগুলি সূক্ষ্মভাবে সামঞ্জস্য করেছে।MCX631432AN-ADAB স্পেসিফিকেশননির্দিষ্ট ওয়ার্কলোড প্রোফাইলের জন্য বিচ্ছিন্নতা মডারেশন এবং সারি গভীরতা অপ্টিমাইজেশান গাইড।
• ৩য় ধাপ ০ সম্পূর্ণ উৎপাদন প্রবর্তন (৬৪টি নোড):সফল বৈধকরণের পর, অবশিষ্ট নোডগুলি নতুন অ্যাডাপ্টারে স্থানান্তরিত হয়।MCX631432AN-ADAB সামঞ্জস্যপূর্ণড্রাইভারগুলি বিদ্যমান উবুন্টু ভিত্তিক পরিবেশ এবং মেলানোক্স ওএফইডি স্ট্যাকের সাথে নির্বিঘ্নে সংহত।

দলটি উল্লেখ করেছে যেMCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড সমাধানএডাপ্টারগুলি তাদের বিদ্যমান SFP28 ক্যাবলিং এবং সুইচ অবকাঠামোর সাথে সম্পূর্ণরূপে সামঞ্জস্যপূর্ণ ছিল, তাই ব্যয়বহুল আনুষঙ্গিক আপগ্রেডের প্রয়োজন নেই।

ফলাফল এবং উপকারিতাঃ লেটেন্সি এবং থ্রুপুট পরিমাপযোগ্য রূপান্তর

কর্মক্ষমতা বৃদ্ধির মাধ্যমেএনভিডিয়া মেলানোক্স এমসিএক্স৬৩১৪৩২এএন-এডএবিনিম্নলিখিত টেবিলে আপগ্রেডের আগে এবং পরে মূল মেট্রিকগুলি সংক্ষিপ্ত করা হয়েছেঃ

এই পরিমাণগত লাভের বাইরে, দলটি অপারেশনাল উন্নতি পর্যবেক্ষণ করেছে যা সরাসরি ডেভেলপার উত্পাদনশীলতাকে প্রভাবিত করে।মডেল প্রশিক্ষণ রান যা পূর্বে মাত্র ১৫ ঘণ্টায় সম্পন্ন করতে ৩৬ ঘন্টা সময় লাগতো, যা আরও ঘন ঘন পুনরাবৃত্তি চক্রকে সক্ষম করে। হার্ডওয়্যার-ভিত্তিক NVMe-oF অফলোডও স্টোরেজ অ্যাক্সেস লেটেন্সিকে 35% হ্রাস করেছে, আরও ডেটা-সমৃদ্ধ চেকপয়েন্ট অপারেশনগুলিকে ত্বরান্বিত করেছে।ব্যবসায়িক ক্ষেত্রে মূল্যায়নকারী সংস্থাগুলির জন্য,MCX631432AN-ADAB দামজিপিইউ সার্ভার অধিগ্রহণ স্থগিত করার ক্ষমতা এবং ২.৪x থ্রুপুট লাভের তুলনায় পরিমাপ করা হলে এটি অত্যন্ত প্রতিযোগিতামূলক বলে প্রমাণিত হয়েছে।বিক্রির জন্য MCX631432AN-ADABএনভিআইডিআইএ স্পেকট্রাম সুইচগুলির সাথে বান্ডিলগুলি ভবিষ্যতের স্কেলিংয়ের জন্য সবচেয়ে ব্যয়বহুল পথ সরবরাহ করেছিল।

সংক্ষিপ্ত বিবরণ এবং দৃষ্টিভঙ্গিঃ ভবিষ্যতের কাজের চাপ উদ্ভাবনের জন্য একটি ভিত্তি

এই উত্পাদন প্রবর্তন প্রমাণ করে যেএনভিডিয়া মেলানোক্স এমসিএক্স৬৩১৪৩২এএন-এডএবিএটি একটি রুটিন নেটওয়ার্ক রিফ্রেশের চেয়ে অনেক বেশি ∙ এটি একটি রূপান্তরকারী অবকাঠামো উপাদান যা আধুনিক জিপিইউ-এক্সিলারেটেড কম্পিউটিংয়ের পূর্ণ সম্ভাবনাকে উন্মুক্ত করে।50 গিগাবাইট/সেকেন্ডের সমষ্টিগত ব্যান্ডউইথের সংমিশ্রণ, sub-0.4ms সমষ্টিগত যোগাযোগ বিলম্ব, এবং নাটকীয় সিপিইউ অফলোড ক্ষমতা এই অ্যাডাপ্টারকে বিতরণকৃত এআই, এইচপিসি,এবং রিয়েল-টাইম বিশ্লেষণের কাজের চাপ.

ভবিষ্যতের দিকে তাকিয়ে, ফিনটেক টিম এনভিডিয়া ডোকা-র সাথে সংহতকরণ অনুসন্ধান করছে যাতে ডেটা-পাথ প্রোগ্রামযোগ্যতা আরও ত্বরান্বিত করা যায় এবং ভবিষ্যতে ক্লাস্টার সম্প্রসারণের জন্য শূন্য-স্পর্শ প্রসেসিং বাস্তবায়ন করা যায়।তারা অ্যাডাপ্টারের টেলিমেট্রি সক্ষমতাও মূল্যায়ন করছেMCX631432AN-ADAB ডেটা শীট০ জনাকীর্ণতা ব্যবস্থাপনার ভবিষ্যদ্বাণীমূলক মডেল তৈরি করা।MCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড সমাধানএই প্ল্যাটফর্মে ভবিষ্যতে অবকাঠামোগত বিনিয়োগের জন্য কোম্পানিটি স্ট্যান্ডার্ডাইজ করার পরিকল্পনা করছে।এআই-চালিত পরবর্তী প্রজন্মের আর্থিক অ্যাপ্লিকেশনের জন্য এটি একটি শক্তিশালী এবং স্কেলযোগ্য ভিত্তি প্রদান করে বলে আত্মবিশ্বাসী.