NVIDIA Mellanox MQM8790-HS2F InfiniBand স্যুইচ ইন প্র্যাকটিস

NVIDIA Mellanox MQM8790-HS2F InfiniBand স্যুইচ ইন প্র্যাকটিস | RDMA/HPC/AI ক্লাস্টারগুলির জন্য লো-লেটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশান৷

পটভূমি এবং চ্যালেঞ্জ: বড়-স্কেল এআই এবং এইচপিসি ক্লাস্টারে লেটেন্সি বটলনেক

যেহেতু AI ট্রেনিং ক্লাস্টার স্কেল হাজার হাজার GPUs এবং HPC সিস্টেমগুলিকে এক্সাস্কেল পারফরম্যান্সের দিকে ঠেলে দেয়, নেটওয়ার্ক ফ্যাব্রিক সংযোগকারী কম্পিউট নোডগুলি একটি গুরুত্বপূর্ণ কর্মক্ষমতা নির্ধারক হয়ে উঠেছে। এই পরিবেশে, লেটেন্সি নিছক একটি মেট্রিক নয় - এটি সরাসরি অ্যাপ্লিকেশন কর্মক্ষমতা, সময়-থেকে-সমাধান, এবং সামগ্রিক ক্লাস্টার দক্ষতাকে প্রভাবিত করে। কাজের চাপের জন্য যা MPI (মেসেজ পাসিং ইন্টারফেস) যৌথ ক্রিয়াকলাপ এবং সর্বজনীন যোগাযোগের ধরণগুলির উপর খুব বেশি নির্ভর করে, যেমন বড় ভাষা মডেল প্রশিক্ষণ এবং গণনামূলক তরল গতিবিদ্যা, এমনকি মাইক্রোসেকেন্ড-স্তরের লেটেন্সি বৃদ্ধি অতিরিক্ত রানটাইমের ঘন্টাগুলিতে অনুবাদ করতে পারে। প্রথাগত ইথারনেট নেটওয়ার্ক, এমনকি RDMA ওভার কনভার্জড ইথারনেট (RoCE) সহ, প্রায়শই এই চাহিদাপূর্ণ অ্যাপ্লিকেশনগুলির জন্য প্রয়োজনীয় নির্ধারক কম লেটেন্সি সরবরাহ করতে লড়াই করে।

জলবায়ু মডেলিং এবং এআই গবেষণার জন্য একটি 2,000-নোড এইচপিসি ক্লাস্টার মোতায়েন একটি জাতীয় গবেষণা পরীক্ষাগার দ্বারা সম্প্রতি এই চ্যালেঞ্জের মুখোমুখি হয়েছিল। এমপিআই-ভিত্তিক এইচপিসি ওয়ার্কলোড এবং বিতরণ করা AI প্রশিক্ষণ উভয়কেই সমর্থন করার জন্য ক্লাস্টারটির সাব-100 ন্যানোসেকেন্ড লেটেন্সি সহ 200Gb/s সংযোগ প্রয়োজন। ইঞ্জিনিয়ারিং টিমের এমন একটি সুইচের প্রয়োজন ছিল যা স্কেলে সামঞ্জস্যপূর্ণ, কম লেটেন্সি পারফরম্যান্স সরবরাহ করতে পারে, যখন বিভিন্ন লোড পরিস্থিতিতে ফ্যাব্রিকের দক্ষতা বজায় রাখতে অ্যাডাপটিভ রাউটিং এবং কনজেশন নিয়ন্ত্রণের মতো উন্নত বৈশিষ্ট্যগুলিকে সমর্থন করে। দNVIDIA Mellanox MQM8790-HS2Fসাব-100 ন্যানোসেকেন্ড লেটেন্সি এবং উন্নত ইন-নেটওয়ার্ক কম্পিউটিং ক্ষমতা সহ 200Gb/s HDR InfiniBand-এর 40টি পোর্ট অফার করে আদর্শ সমাধান হিসাবে আবির্ভূত হয়েছে।

সমাধান এবং স্থাপনা: একটি লো-লেটেন্সি ইনফিনিব্যান্ড ফ্যাব্রিক তৈরি করা

লেটেন্সি এবং স্কেলেবিলিটি চ্যালেঞ্জ মোকাবেলা করার জন্য, ল্যাবরেটরি মোতায়েন করেছেNVIDIA Mellanox MQM8790-HS2Fএকটি মেরুদণ্ড-পাতার ফ্যাব্রিক আর্কিটেকচারে মূল সুইচ হিসাবে। এইMQM8790-HS2F InfiniBand সুইচ40টি QSFP56 পোর্ট প্রদান করে, প্রতিটি 200Gb/s HDR-এ কাজ করে, সাব-100 ন্যানোসেকেন্ড পোর্ট-টু-পোর্ট লেটেন্সি সহ মোট 8Tb/s সুইচিং ক্ষমতা প্রদান করে। ফ্যাব্রিকটি একটি 4-স্পাইন, 16-লিফ টপোলজি দিয়ে ডিজাইন করা হয়েছিল, যা 2,000 কম্পিউট নোডকে সংযুক্ত করে প্রতিটি ConnectX-6 HDR অ্যাডাপ্টার দিয়ে সজ্জিত। দMQM8790-HS2F 200Gb/s HDR 40-পোর্ট QSFP56কনফিগারেশন টিমকে সম্পূর্ণ দ্বিখণ্ডিত ব্যান্ডউইথ সহ একটি নন-ব্লকিং ফ্যাব্রিক তৈরি করতে সক্ষম করেছে, যাতে প্রতিটি নোড তারের গতিতে প্রতিটি নোডের সাথে যোগাযোগ করতে পারে।

স্থাপনাটি তিনটি মূল পর্যায়ে সম্পাদিত হয়েছিল:

• ফ্যাব্রিক ডিজাইন:ব্যবহার করেMQM8790-HS2F InfiniBand সুইচ সমাধান, দলটি একটি মেরুদণ্ড-পাতার টপোলজি ডিজাইন করেছে যেখানে 16টি পাতার প্রতিটি সুইচ 50টি কম্পিউট নোডের সাথে সংযুক্ত (200Gb/s সরাসরি সংযোগ এবং 100Gb/s HDR100 ব্রেকআউট সংযোগের সংমিশ্রণ ব্যবহার করে), যেখানে 4টি মেরুদণ্ডের সুইচ আন্তঃ-পাতার সংযোগ প্রদান করে। দMQM8790-HS2Fসুইচগুলিকে অভিযোজিত রাউটিং সক্ষম করে কনফিগার করা হয়েছিল, ফ্যাব্রিককে গতিশীলভাবে উপলব্ধ পাথ জুড়ে ট্র্যাফিক বিতরণ করতে এবং কনজেশন পয়েন্ট এড়াতে অনুমতি দেয়।
• উন্নত বৈশিষ্ট্য কনফিগারেশন:দলটি MQM8790-HS2F সুইচগুলিতে SHARP (স্কেলেবল হায়ারর্কিক্যাল অ্যাগ্রিগেশন অ্যান্ড রিডাকশন প্রোটোকল) সক্ষম করেছে যাতে কম্পিউট নোডগুলি থেকে MPI যৌথ ক্রিয়াকলাপগুলি অফলোড করা যায়৷ এই ইন-নেটওয়ার্ক কম্পিউট ক্ষমতা সুইচগুলিকে সরাসরি সমস্ত-হ্রাস এবং সম্প্রচার ক্রিয়াকলাপ সম্পাদন করার অনুমতি দেয়, নেটওয়ার্ক ট্রাভার্সালের সংখ্যা হ্রাস করে এবং যৌথ যোগাযোগের জন্য সামগ্রিক লেটেন্সি হ্রাস করে।
• পারফরম্যান্স টিউনিং:NVIDIA ইউনিফাইড ফ্যাব্রিক ম্যানেজার (UFM) প্ল্যাটফর্ম ব্যবহার করে সাবনেট ম্যানেজমেন্ট কনফিগার করা হয়েছিল, যা ফ্যাব্রিক স্বাস্থ্য, লেটেন্সি মেট্রিক্স এবং কনজেশন প্যাটার্নগুলিতে রিয়েল-টাইম দৃশ্যমানতা প্রদান করে। মিশ্র এইচপিসি এবং এআই ওয়ার্কলোড প্রোফাইলের জন্য পারফরম্যান্স অপ্টিমাইজ করার জন্য দলটি কনজেশন কন্ট্রোল প্যারামিটারগুলি তৈরি করেছে।

কারণNVIDIA Mellanox MQM8790-HS2Fহয়MQM8790-HS2F সামঞ্জস্যপূর্ণConnectX-6 এবং BlueField-2 অ্যাডাপ্টার সহ বৃহত্তর NVIDIA InfiniBand ইকোসিস্টেমের সাথে, স্থাপনাটি ছিল নিরবচ্ছিন্ন, কোন কাস্টম ড্রাইভার বা ফার্মওয়্যার প্যাচের প্রয়োজন নেই। UFM প্ল্যাটফর্মের সাথে সুইচের একীকরণ টিমকে স্কেলে ফ্যাব্রিক পারফরম্যান্স নিরীক্ষণ করতে, অ্যাপ্লিকেশন রানটাইমকে প্রভাবিত করার আগে সম্ভাব্য বাধাগুলি চিহ্নিত করতে এবং সমাধান করতে সক্ষম করে।

ফলাফল এবং সুবিধা: লেটেন্সি এবং অ্যাপ্লিকেশন পারফরম্যান্সে পরিমাপযোগ্য উন্নতি

2,000-নোড ক্লাস্টার জুড়ে পোস্ট-ডিপ্লয়মেন্ট বেঞ্চমার্কিং উল্লেখযোগ্য কর্মক্ষমতা উন্নতি প্রকাশ করেছে। প্রথমত, ফ্যাব্রিক জুড়ে গড় পোর্ট-টু-পোর্ট লেটেন্সি 85 ন্যানোসেকেন্ডে পরিমাপ করা হয়েছিল — যা নথিভুক্ত সাব-100 ন্যানোসেকেন্ড স্পেসিফিকেশনের সাথে সামঞ্জস্যপূর্ণMQM8790-HS2F ডেটাশিট. এই কম লেটেন্সি সরাসরি অ্যাপ্লিকেশান পারফরম্যান্স লাভে রূপান্তরিত হয়েছে: ল্যাবের পূর্ববর্তী 100Gb/s InfiniBand ফ্যাব্রিকের তুলনায় MPI সমস্ত-কমানোর ক্রিয়াকলাপ 35% পর্যন্ত দ্রুত সম্পন্ন হয়েছে, যখন বিতরণ করা AI প্রশিক্ষণের কাজগুলি (NCCL-ভিত্তিক যোগাযোগ ব্যবহার করে) শেষ থেকে শেষ যুগের সময় 2% কম হয়েছে৷

দ্বিতীয়ত, SHARP ইন-নেটওয়ার্ক কম্পিউট ক্ষমতা যথেষ্ট কর্মক্ষমতা সুবিধা প্রদান করেছে। MQM8790-HS2F সুইচগুলিতে সম্মিলিত ক্রিয়াকলাপগুলি অফলোড করার মাধ্যমে, ক্লাস্টারটি যোগাযোগের কাজে CPU এবং GPU ব্যবহার 20% পর্যন্ত কমিয়েছে, প্রকৃত গণনার জন্য কম্পিউট সংস্থানগুলিকে মুক্ত করে। এটি বৃহৎ-স্কেল AI প্রশিক্ষণের জন্য বিশেষভাবে উপকারী ছিল, যেখানে সম্মিলিত যোগাযোগ মোট রানটাইমের 30-40% হতে পারে।

তৃতীয়, অভিযোজিত রাউটিং বৈশিষ্ট্য বিভিন্ন লোড অবস্থার অধীনে সামঞ্জস্যপূর্ণ কর্মক্ষমতা বজায় রাখার জন্য গুরুত্বপূর্ণ প্রমাণিত হয়েছে। সর্বোচ্চ ব্যবহারের সময়কালে, যখন ফ্যাব্রিক MPI এবং AI ট্র্যাফিকের মিশ্রণ পরিচালনা করে, অভিযোজিত রাউটিং গতিশীলভাবে উপলব্ধ পথ জুড়ে ট্র্যাফিক বিতরণ করে, বেসলাইনের 10% এর মধ্যে গড় বিলম্ব বজায় রাখে এবং যানজট-প্ররোচিত কর্মক্ষমতা হ্রাস রোধ করে। দলটি UFM প্ল্যাটফর্ম ব্যবহার করে ফ্যাব্রিক স্বাস্থ্যের উপর নজরদারি করেছে, যা 20টি সুইচ জুড়ে রিয়েল-টাইম ড্যাশবোর্ড ট্র্যাকিং লেটেন্সি, থ্রুপুট এবং লিঙ্ক ইউটিলাইজেশন প্রদান করে।

চতুর্থত, এর ঘনত্বMQM8790-HS2F 200Gb/s HDR 40-পোর্ট QSFP56সুইচ একটি কমপ্যাক্ট ফ্যাব্রিক পদচিহ্ন সক্রিয়. ল্যাবটি পূর্ববর্তী 100Gb/s InfiniBand পরিকাঠামোর তুলনায় প্রয়োজনীয় সুইচের সংখ্যা 50% কমিয়েছে, র্যাক স্পেস খরচ এবং বিদ্যুতের প্রয়োজনীয়তা হ্রাস করেছে। প্রতিটি MQM8790-HS2F 230W সাধারণ শক্তির চেয়ে কম ব্যবহার করেছে, যা নেটওয়ার্কিং পরিকাঠামোর জন্য শীতল খরচে 20% হ্রাসে অবদান রাখে।

একটি অপারেশনাল দৃষ্টিকোণ থেকে, সুইচের ব্যবস্থাপনা ক্ষমতা চলমান রক্ষণাবেক্ষণকে সরলীকৃত করেছে। ল্যাবের নেটওয়ার্ক টিম CLI এবং ওয়েব UI ইন্টারফেসগুলি ব্যবহার করে ফার্মওয়্যার আপগ্রেড এবং কনফিগারেশন পরিবর্তনগুলি সঞ্চালন করতে ফ্যাব্রিক অপারেশনগুলিকে ব্যাহত না করে, হিটলেস আপগ্রেডের জন্য সুইচের সমর্থন লাভ করে। দMQM8790-HS2F স্পেসিফিকেশনSNMP মনিটরিং এবং syslog ইন্টিগ্রেশন সহ বিস্তৃত ব্যবস্থাপনা বৈশিষ্ট্যগুলি অন্তর্ভুক্ত করে, দলটিকে তাদের বিদ্যমান নেটওয়ার্ক অপারেশন সেন্টার (NOC) পর্যবেক্ষণ কাঠামোতে ফ্যাব্রিককে একীভূত করতে সক্ষম করে।

সারাংশ এবং আউটলুক: লো-লেটেন্সি ইনফিনিব্যান্ড ফেব্রিক্সের জন্য একটি ব্লুপ্রিন্ট

সঙ্গে স্থাপনার অভিজ্ঞতাNVIDIA Mellanox MQM8790-HS2Fএকটি 2,000-নোড জুড়ে HPC এবং AI ক্লাস্টার স্পষ্টভাবে দেখায় যে একটি 40‑পোর্ট 200Gb/s HDR InfiniBand সুইচ গবেষণা এবং এন্টারপ্রাইজ কাজের চাপের জন্য প্রয়োজনীয় কম লেটেন্সি, স্কেলেবিলিটি এবং উন্নত বৈশিষ্ট্য সরবরাহ করতে পারে। সুইচের সাব-100 ন্যানোসেকেন্ড লেটেন্সি, অ্যাডাপ্টিভ রাউটিং এবং SHARP ইন-নেটওয়ার্ক কম্পিউট ক্ষমতা ব্যবহার করে, সংস্থাগুলি এমন কাপড় তৈরি করতে পারে যা MPI এবং AI যোগাযোগকে ত্বরান্বিত করে, সময়-টু-সমাধান কমায় এবং সামগ্রিক ক্লাস্টার দক্ষতা উন্নত করে।

সামনের দিকে তাকিয়ে, যেহেতু AI প্রশিক্ষণ ক্লাস্টারগুলি 10,000+ GPUs এবং HPC সিস্টেম স্কেলের দিকে বাড়তে থাকে, উচ্চ-ঘনত্ব, কম-বিলম্বিত InfiniBand সুইচগুলির চাহিদা কেবল বাড়বে৷ MQM8790-HS2F এই ট্র্যাজেক্টোরির জন্য ভাল অবস্থানে রয়েছে, কারণ এর 40‑পোর্টের ঘনত্ব, 8Tb/s স্যুইচিং ক্ষমতা এবং HDR200 এবং HDR100 গতির জন্য সমর্থন বর্তমান এবং পরবর্তী প্রজন্মের উভয় কম্পিউট নোডের সাথে সামঞ্জস্যতা নিশ্চিত করে। অনুরূপ HPC বা AI ক্লাস্টার স্থাপনার পরিকল্পনা করছে এমন সংস্থাগুলির জন্য, এই স্থাপনায় যাচাইকৃত টায়ার্ড মেরুদণ্ড-পাতার পদ্ধতি একটি ব্যবহারিক রোডম্যাপ অফার করে: অ্যাক্সেস সংযোগের জন্য MQM8790-HS2F পাতার সুইচগুলি স্থাপন করুন, Q700M সিরিজের 90M স্যুইচগুলির জন্য উচ্চতর-বন্দর-ঘনত্বের মেরুদণ্ড ব্যবহার করুন। বৃহত্তর ফ্যাব্রিক, এবং সক্রিয় ফ্যাব্রিক অপ্টিমাইজেশনের জন্য ইউএফএম ব্যবহার করে একটি ইউনিফাইড ম্যানেজমেন্ট ফ্রেমওয়ার্ক বজায় রাখুন।

বিস্তারিত ফ্যাব্রিক ডিজাইন টেমপ্লেট, কর্মক্ষমতা টিউনিং গাইড এবং স্থাপনার চেকলিস্টের জন্য, দেখুনMQM8790-HS2F ডেটাশিটএবং NVIDIA Mellanox InfiniBand আর্কিটেকচার ডকুমেন্টেশন।