NVIDIA Mellanox MCX623106AN-CDAT সার্ভার অ্যাডাপ্টার অ্যাকশনে | RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট ও সার্ভার থ্রুপুট বৃদ্ধি

NVIDIA Mellanox MCX623106AN-CDAT সার্ভার অ্যাডাপ্টার অ্যাকশনে।

ব্যাকগ্রাউন্ড ও চ্যালেঞ্জঃ যখন 200GbE এআই স্কেলিং ওয়ালের সাথে মিলিত হয়

একটি দ্রুত বর্ধনশীল এআই গবেষণা সংস্থা ∙ আসুন তাদের "ডিপকোর ল্যাবস" বলি ∙ একটি সমালোচনামূলক স্কেলিং বোতল ঘাটের মুখোমুখি হয়েছিল। তাদের ফ্ল্যাগশিপ বড় ভাষা মডেল প্রশিক্ষণ ক্লাস্টার,৫১২টি এনভিডিয়া এইচ১০০ জিপিইউ সহ ১২৮টি নোডে বিতরণ করা হয়েছে, তারা 64 নোডের বাইরে স্কেল করার সময় গুরুতর পারফরম্যান্স অবনতির সম্মুখীন হয়েছিল। সমস্যা ছিল কম্পিউটারে বা মেমরিতে নয়, কিন্তু নেটওয়ার্ক ফ্যাব্রিক।সব হ্রাস সিঙ্ক্রোনাইজেশন গ্রেডিয়েন্ট প্রতি পুনরাবৃত্তি 15 সেকেন্ডের বেশি সময় নিচ্ছে, এবং নেটওয়ার্ক স্টলগুলির কারণে জিপিইউ ব্যবহার মাত্র 62% এ নেমে গেছে। তাদের বিদ্যমান 100GbE অবকাঠামো, সফটওয়্যার ভিত্তিক টিসিপি / আইপি উপর নির্ভর করে, কেবল বিস্ফোরিত পরিচালনা করতে পারেনি,বিতরণ প্রশিক্ষণের বিলম্ব-সংবেদনশীল যোগাযোগের নিদর্শনএই টিমের এমন একটি সমাধান দরকার ছিল যা মাইক্রোসেকেন্ডের লেটেন্সির সাথে 200GbE লাইন রেট সরবরাহ করতে পারে।

তাদের মূল্যায়ন তাদেরএনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটি∙ একটি 200GbE সার্ভার অ্যাডাপ্টার যা সবচেয়ে চাহিদাপূর্ণ এআই এবং এইচপিসি ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে।MCX623106AN-CDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ডনেটওয়ার্ক বোতল ঘাঁটি দূর করতে এবং জিপিইউ ব্যবহার সর্বাধিক করতে প্রয়োজনীয় উন্নত অফলোড এবং জিপিইউডাইরেক্ট ক্ষমতা সরবরাহ করে।

সমাধানঃ MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড স্থাপন

ডিপকোর ল্যাবসMCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ডসমস্ত 128 টি প্রশিক্ষণ নোড জুড়ে, প্রতিটি সার্ভারে একটি দ্বৈত-পোর্ট QSFP112 অ্যাডাপ্টার দিয়ে সজ্জিত যা NVIDIA স্পেকট্রাম -4 সুইচগুলিতে নির্মিত একটি পাতার-পিঁড়ির ফ্যাব্রিকের সাথে সংযুক্ত।ডিপ্লয়মেন্টটি হ্রাসহীন ইথারনেট পরিবহন সক্ষম করতে অ্যাডাপ্টারের নেটিভ RoCE v2 সমর্থনকে কাজে লাগিয়েছিল, একটি পৃথক ইনফিনিব্যান্ড ফ্যাব্রিকের প্রয়োজনীয়তা দূর করে। সমাধানের মূল চাবিকাঠি ছিল অ্যাডাপ্টারের GPUDirect RDMA ক্ষমতা,যা সিপিইউ হস্তক্ষেপ ছাড়াই নেটওয়ার্ক জুড়ে জিপিইউগুলির মধ্যে সরাসরি ডেটা চলাচলকে সক্ষম করে.

টিম সুইচ স্তরে PFC (Priority Flow Control) এবং ECN (Explicit Congestion Notification) কনফিগার করেছে,যেটি অগ্রাধিকার ৩-এর জন্য সমষ্টিগত যোগাযোগ ট্রাফিক এবং অগ্রাধিকার ৪-এর জন্য স্টোরেজ I/O-কে উৎসর্গ করেতারা এনভিআইডিআইএর অ্যাডাপ্টিভ রাউটিং টেকনোলজি বাস্তবায়ন করে ট্রাফিককে গতিশীলভাবে একাধিক পথের মধ্যে বিতরণ করে, হটস্পটকে হ্রাস করে।পুরো প্রশিক্ষণ কাঠামোটি আরডিএমএতে চলছিল।, সমস্ত 512 জিপিইউ RoCE এর মাধ্যমে নির্বিঘ্নে যোগাযোগ করে।MCX623106AN-CDAT সামঞ্জস্যপূর্ণইকোসিস্টেমটি শক্তিশালী প্রমাণিত হয়েছে ✓ এইচ১০০-ভিত্তিক সার্ভার এবং এনভিআইডিআইএ-র এনসিসিএল (এনভিআইডিআইএ সমষ্টিগত যোগাযোগ লাইব্রেরি) এর সাথে কোনও পরিবর্তন ছাড়াই কার্ডগুলি নিখুঁতভাবে সংহত হয়েছে।

দলটিMCX623106AN-CDAT ডেটা শীটবাফার বরাদ্দ এবং ঘনত্ব নিয়ন্ত্রণের পরামিতিগুলি সূক্ষ্মভাবে সামঞ্জস্য করতে,তাদের মিশ্র কাজের চাপের পরিবেশের জন্য সর্বোত্তম পারফরম্যান্স অর্জন করা যা উভয় সিঙ্ক্রোন প্রশিক্ষণ (সমস্ত-হ্রাসের আধিপত্য) এবং অ্যাসিনক্রোন চেকপয়েন্টিং অন্তর্ভুক্ত.

পরিমাপযোগ্য ফলাফলঃ স্কেলিং দক্ষতা, থ্রুপুট এবং জিপিইউ ব্যবহার

পারফরম্যান্স আপলিফ্ট রূপান্তরিত ছিল।এনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটি, সমস্ত সংক্ষিপ্ত সিঙ্ক্রোনাইজেশন বিলম্বের গড় 15.2 সেকেন্ড থেকে প্রতি পুনরাবৃত্তি প্রতি মাত্র 1.8 সেকেন্ডে হ্রাস পেয়েছে ¢ একটি 8.4x উন্নতি। এটি সরাসরি দ্রুত মডেল সংযোজন অনুবাদ করেঃতাদের ৭০-বি প্যারামিটার মডেলের জন্য মোট প্রশিক্ষণ সময় ৪২ দিন থেকে কমে ১৯ দিন হয়েছে।, তাদের গবেষণা চক্র 50% এরও বেশি ত্বরান্বিত করে।

নেটওয়ার্ক স্টলগুলির কারণে জিপিইউ ব্যবহার, যা ৬২% ছিল, আপগ্রেডের পরে ৯৪% এ উঠেছে ∙ কার্যকর কম্পিউটিং ক্ষমতা ৫২% বৃদ্ধি পেয়েছে।অ্যাডাপ্টারের উন্নত আউট-অফ-অর্ডার ডেটা প্লেসমেন্ট এবং প্যাকেট পেজিং মাইক্রো-বার্স্টগুলিকে দূর করে দিয়েছে যা লেটেনসি স্পাইকস সৃষ্টি করেছে, যা সকল নোডের মধ্যে ধারাবাহিক পারফরম্যান্স নিশ্চিত করে।

প্রশিক্ষণের পারফরম্যান্স ছাড়াও, সার্ভারের থ্রুপুট লাভগুলিও সমানভাবে আকর্ষণীয় ছিল।এবং RoCE ত্বরান্বিত করা হয়েছে সমস্ত নোড জুড়ে নেটওয়ার্ক প্রসেসিংয়ের জন্য CPU ব্যবহার 38% থেকে 4% এর নিচে হ্রাস পেয়েছেএটি ডেটা প্রিপ্রসেসিং, চেকপয়েন্ট কম্প্রেশন এবং অন্যান্য সহায়ক কাজগুলির জন্য উল্লেখযোগ্য সিপিইউ ক্ষমতা মুক্ত করেছে যা পূর্বে সীমাবদ্ধ ছিল।

অপারেশনাল বেনিফিটঃ টিসিও এবং অবকাঠামো দক্ষতা

যদিও কর্মক্ষমতা বৃদ্ধি নাটকীয় ছিল, অপারেশনাল এবং আর্থিক সুবিধা সমানভাবে উল্লেখযোগ্য ছিল।MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানস্বতন্ত্র ইনফিনিব্যান্ড ফ্যাব্রিকের প্রয়োজনীয়তা দূর করে মোট মালিকানার খরচ হ্রাস করেছে, সুইচ অবকাঠামোর খরচ $ 500K এর বেশি সঞ্চয় করে।অ্যাডাপ্টারের শক্তি দক্ষ নকশা (প্রতি কার্ডে 20W এর নিচে) 128 নোড ক্লাস্টারে পরিমাপযোগ্য শক্তি সঞ্চয় করতে অবদান রাখে, যা বার্ষিক শীতল করার খরচ আনুমানিক ১৮% হ্রাস করে।

আইটি ম্যানেজারদের জন্যMCX623106AN-CDAT দামবিকল্প সমাধানের বিরুদ্ধে, ডিপকোরের অবকাঠামো পরিচালক উল্লেখ করেছেন যে, মূলত প্রশিক্ষণের সময় কমিয়ে আনার কারণে ছয় মাসেরও কম সময় ব্যয় হয়েছে।যা সরাসরি তাদের পণ্য উন্নয়ন পাইপলাইন ত্বরান্বিত. দলটি অ্যাডাপ্টারের ভবিষ্যত-প্রমাণকেও মূল্য দেয়ঃ একইবিক্রির জন্য MCX623106AN-CDATবর্তমানে 200GbE সমর্থন করে কিন্তু 100GbE এবং 50GbE অপটিক্সের সাথেও সামঞ্জস্যপূর্ণ, হাইব্রিড-স্পিড পরিবেশ এবং ধীরে ধীরে আপগ্রেডের জন্য নমনীয়তা প্রদান করে।

এর মতেMCX623106AN-CDAT স্পেসিফিকেশন, অ্যাডাপ্টারে ইন-ব্যান্ড নেটওয়ার্ক টেলিমেট্রি (আইএনটি) এবং প্রতি-প্রবাহ বিলম্ব ট্র্যাকিং সহ বিস্তৃত টেলিমেট্রি বৈশিষ্ট্য অন্তর্ভুক্ত রয়েছে। ডিপকোর এই মেট্রিকগুলিকে তাদের প্রমিথিউস / গ্রাফানা স্ট্যাকের সাথে সংহত করেছে,প্রশিক্ষণের পারফরম্যান্সকে প্রভাবিত করার আগে মাইক্রো-কংগজেশনকে সক্রিয়ভাবে সনাক্ত করতে সক্ষম করে। দলটি ইসিএন থ্রেশহোল্ডগুলিকে গতিশীলভাবে সামঞ্জস্য করার জন্য অ্যাডাপ্টারের কংগজেশন নিয়ন্ত্রণ অ্যালগরিদমগুলিও ব্যবহার করেছিল,অতিরিক্ত নেটওয়ার্ক লোড তৈরি করে চেকপয়েন্টিং অপারেশন চলাকালীনও ক্ষতিহীন আচরণ বজায় রাখা.

সংক্ষিপ্ত বিবরণ এবং দৃষ্টিভঙ্গিঃ এআই-স্কেল নেটওয়ার্কিংয়ের জন্য একটি ব্লুপ্রিন্ট

ডিপকোর ল্যাবসের যাত্রাএনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটিএটি এআই অবকাঠামো নির্মাণ বা স্কেলিংয়ের জন্য একটি পরিষ্কার ব্লুপ্রিন্ট প্রদর্শন করে। ডুয়াল-পোর্ট 200GbE থ্রুপুট, পিসিআইই 5.0 হোস্ট ইন্টারফেস এবং জিপিইউডিরেক্ট-সক্ষম আরডিএমএ একত্রিত করে,MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ডনেটওয়ার্ককে স্কেলিং বোতল ঘা থেকে কর্মক্ষমতা গুণকতে রূপান্তরিত করে। ফলাফল ∙ ৮.৪ গুণ দ্রুত, ৯৪% জিপিইউ ব্যবহার,এবং ৫৫% দ্রুততর প্রশিক্ষণ চক্র ∙ সবচেয়ে চাহিদাপূর্ণ কম্পিউটার পরিবেশে বাস্তব ব্যবসায়িক ফলাফল প্রদানের জন্য অ্যাডাপ্টারের সক্ষমতার কথা বলে.

ভবিষ্যতের দিকে তাকিয়ে, যেহেতু মডেলের আকার প্রতি কয়েক মাসে দ্বিগুণ হতে থাকে এবং বিতরণকৃত প্রশিক্ষণ ক্লাস্টারগুলি হাজার হাজার জিপিইউতে প্রসারিত হয়,MCX623106AN-CDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ডএটি ক্ষয়ক্ষতিহীন, অতি-নিম্ন বিলম্বিত ফ্যাব্রিকের জন্য একটি শক্ত ভিত্তি প্রদান করে।কিন্তু প্রতিযোগিতামূলক পার্থক্যের জন্য একটি কৌশলগত সক্ষম. বিস্তারিত টিউনিং পরামিতি, মোতায়েনের স্ক্রিপ্ট এবং পারফরম্যান্স বেঞ্চমার্ক রিপোর্ট অফিসিয়াল ওয়েবসাইটে পাওয়া যায়MCX623106AN-CDAT ডেটা শীটএআই-র বড় আকারের ব্যবহারের জন্য এটি একটি গুরুত্বপূর্ণ রেফারেন্স।