মেলানক্স (এনভিআইডিআইএ মেলানক্স) এমকিউএম 8790-এইচএস 2 এফ ইনফিনিব্যান্ড সুইচ প্রযুক্তিগত সমাধান

Mellanox (NVIDIA Mellanox) MQM8790-HS2F ইনফিনিব্যান্ড সুইচ টেকনিক্যাল সলিউশন | RDMA/HPC/AI ক্লাস্টারের জন্য লো-ল্যাটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশন

প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

AI বৃহৎ-মডেল প্রশিক্ষণ এবং HPC বৈজ্ঞানিক কম্পিউটিং বৃহত্তর পদক্ষেপে স্কেল করার সাথে সাথে, কম্পিউট ক্লাস্টারের মূল চ্যালেঞ্জ একক-নোড কম্পিউট পাওয়ার থেকে ইন্টার-নোড যোগাযোগ দক্ষতার দিকে সরে গেছে। RDMA নেটওয়ার্কগুলি কালেক্টিভ অপারেশন, স্টোরেজ অ্যাক্সেস এবং চেকপয়েন্ট ট্র্যাফিকের জন্য পরিবহন ব্যাকবোন হিসাবে কাজ করে এবং তাদের আচরণ সরাসরি সামগ্রিক ক্লাস্টার ব্যবহার নির্ধারণ করে।

এই প্রকল্পগুলিতে সাধারণ প্রয়োজনীয়তাগুলির মধ্যে রয়েছে:

• প্রতি নোডে উচ্চ ব্যান্ডউইথ: GPU সার্ভারগুলি মাল্টি-GPU প্রশিক্ষণ ওয়ার্কলোডগুলির সাথে তাল মিলিয়ে চলতে 200Gb/s বা তার বেশি প্রয়োজন।
• পূর্বাভাসযোগ্য কম ল্যাটেন্সি: AllReduce এবং প্যারামিটার সিঙ্ক্রোনাইজেশন গড় ল্যাটেন্সি নয়, টেইল ল্যাটেন্সির প্রতি সংবেদনশীল।
• স্কেলেবিলিটি: ফ্যাব্রিককে টপোলজি পুনরায় ডিজাইন না করে কয়েক ডজন নোড থেকে শত শত বা হাজারে বৃদ্ধি পেতে হবে।
• ব্যবস্থাপনাযোগ্যতা: অপারেশন দলগুলির ধীর নোড এবং ভুল কনফিগার করা লিঙ্কগুলি বিচ্ছিন্ন করার জন্য টেলিমেট্রি এবং কনজেশন দৃশ্যমানতা প্রয়োজন।

MQM8790-HS2F একটি 200Gb/s HDR ইনফিনিব্যান্ড সুইচ প্ল্যাটফর্ম হিসাবে এই প্রয়োজনীয়তাগুলি পূরণ করার জন্য অবস্থান করছে।

সামগ্রিক নেটওয়ার্ক এবং সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচার হল একটি নন-ব্লকিং টু-টিয়ার ফ্যাট-ট্রি, যেখানে MQM8790-HS2F সুইচগুলি দ্বারা নির্মিত একটি স্পাইন লেয়ার এবং কম্পিউট ও স্টোরেজ নোডগুলিকে সংযুক্তকারী একটি লিফ লেয়ার রয়েছে। এই ডিজাইনটি অভিন্ন ইস্ট-ওয়েস্ট ব্যান্ডউইথ এবং পূর্বাভাসযোগ্য পাথ ডাইভারসিটি সরবরাহ করে, যা RDMA ট্র্যাফিক প্যাটার্নের জন্য অপরিহার্য।

মূল স্থাপত্য সিদ্ধান্তগুলির মধ্যে রয়েছে:

• এন্ড-টু-এন্ড HDR: ConnectX-6 বা ConnectX-7 অ্যাডাপ্টার সহ কম্পিউট নোডগুলি 200Gb/s এ লিফ সুইচগুলির সাথে সংযোগ স্থাপন করে, একটি MQM8790-HS2F সামঞ্জস্যপূর্ণ এন্ড-টু-এন্ড পাথ তৈরি করে।
• স্পাইন ক্ষমতা: প্রতিটি MQM8790-HS2F 200Gb/s HDR 40-পোর্ট QSFP56 সুইচ 200Gb/s এ 40 পোর্ট সরবরাহ করে, যা ওভারসাবস্ক্রিপশন লক্ষ্যগুলির উপর ভিত্তি করে নমনীয় আপলিঙ্ক এবং ডাউনলিঙ্ক বরাদ্দ করার অনুমতি দেয়।
• স্টোরেজ ফ্যাব্রিক: প্যারালাল স্টোরেজ এবং NVMe-ওভার-ফ্যাবরিক্স লক্ষ্যগুলি স্টোরেজ ট্র্যাফিককে প্রশিক্ষণ ট্র্যাফিক থেকে আলাদা করার জন্য ডেডিকেটেড লিফ গ্রুপগুলিতে স্থাপন করা যেতে পারে।
• ব্যবস্থাপনা প্লেন: আউট-অফ-ব্যান্ড ম্যানেজমেন্ট এবং টেলিমেট্রি সংগ্রহ ডেটা প্লেন থেকে আলাদা করা হয় যাতে হস্তক্ষেপ এড়ানো যায়।

Mellanox (NVIDIA Mellanox) MQM8790-HS2F এর ভূমিকা এবং মূল বৈশিষ্ট্য

এই সমাধানে, Mellanox (NVIDIA Mellanox) MQM8790-HS2F স্পাইন সুইচিং উপাদান হিসাবে কাজ করে, লিফ ট্র্যাফিক একত্রিত করে এবং ইন-নেটওয়ার্ক কম্পিউটিং সক্ষম করে। এর ভূমিকা কেবল ফরওয়ার্ডিংয়ের মধ্যে সীমাবদ্ধ নয়: এটি কালেক্টিভ কমিউনিকেশন ওভারহেড হ্রাস করে এবং ফ্যাব্রিক দক্ষতা উন্নত করে।

মূল প্রযুক্তিগত বৈশিষ্ট্যগুলির মধ্যে রয়েছে:

• 40 × 200Gb/s HDR পোর্ট: 1U ফর্ম ফ্যাক্টরে 16Tb/s পর্যন্ত অ্যাগ্রিগেট থ্রুপুট, HDR, EDR এবং FDR গতির জন্য অ্যাডাপ্টিভ সমর্থন সহ।
• SHARP ইন-নেটওয়ার্ক কম্পিউটিং: সুইচটিতে AllReduce এবং সম্পর্কিত কালেক্টিভ অপারেশনগুলি অফলোড করে, GPU এবং CPU অংশগ্রহণ হ্রাস করে।
• অ্যাডাপ্টিভ রাউটিং: হট স্পটগুলি প্রশমিত করে এবং একাধিক পাথের উপর লোড ব্যালেন্সিং উন্নত করে।
• কনজেশন কন্ট্রোল: লোডের অধীনে ল্যাটেন্সি স্থিতিশীল রাখতে DCQCN এবং সম্পর্কিত প্রক্রিয়াগুলিকে সমর্থন করে।
• সফ্টওয়্যার ইকোসিস্টেম: MLNX-OS দ্বারা পরিচালিত এবং UFM এবং NetQ এর মাধ্যমে পর্যবেক্ষণ করা হয়।

আর্কিটেক্টদের র্যাক লেআউট চূড়ান্ত করার আগে পাওয়ার, কুলিং এবং পোর্ট-স্প্লিট বিশদগুলির জন্য MQM8790-HS2F ডেটাশিট এবং MQM8790-HS2F স্পেসিফিকেশনগুলি পর্যালোচনা করা উচিত। বাজেটের জন্য, MQM8790-HS2F মূল্য এবং MQM8790-HS2F বিক্রয়ের জন্য বিকল্পগুলি সংগ্রহ চ্যানেলের সাথে যাচাই করা উচিত, কারণ মূল্য স্কেল এবং কনফিগারেশন অনুসারে পরিবর্তিত হয়।

স্থাপনা এবং সম্প্রসারণের সুপারিশ

প্রাথমিক স্থাপনার জন্য, একটি একক MQM8790-HS2F ইনফিনিব্যান্ড সুইচ একটি ছোট ক্লাস্টারে স্পাইন এবং কোর উভয় হিসাবে কাজ করতে পারে, 200Gb/s এ 40 টি নোড পর্যন্ত সংযোগ স্থাপন করে। ক্লাস্টার বাড়ার সাথে সাথে, অতিরিক্ত স্পাইন সুইচ যুক্ত করা হয় এবং ফ্যাব্রিক লিফ-স্পাইন পৃথকীকরণ সহ একটি পূর্ণ টু-টিয়ার ডিজাইনে স্থানান্তরিত হয়।

সম্প্রসারণ নির্দেশিকা:

• কেবলিং শৃঙ্খলা: স্পেয়ারিং এবং সামঞ্জস্যতার ঝুঁকি কমাতে QSFP56 অপটিক্স এবং DAC/AOC প্রকারগুলিতে মানসম্মত করুন।
• পোর্ট স্প্লিটিং: যেখানে প্রতি নোডে 200Gb/s প্রয়োজন হয় না সেখানে 2 × 100Gb/s ব্রেকআউট ব্যবহার করুন, পোর্ট দক্ষতা উন্নত করুন।
• ওভারসাবস্ক্রিপশন লক্ষ্য: শুধুমাত্র পিক থিওরিটিক্যাল ব্যান্ডউইথের পরিবর্তে ওয়ার্কলোড বার্স্ট প্যাটার্নের উপর ভিত্তি করে স্পাইন-টু-লিফ অনুপাত পরিকল্পনা করুন।
• পাওয়ার এবং কুলিং: স্কেল আউট করার আগে সুইচের রেট করা ড্রয়ের বিপরীতে প্রতি-র্যাক পাওয়ার হেডরুম যাচাই করুন।

অপারেশন মনিটরিং, ট্রাবলশুটিং এবং অপ্টিমাইজেশন

স্কেলে কম ল্যাটেন্সি বজায় রাখার জন্য অপারেশনাল দৃশ্যমানতা অত্যন্ত গুরুত্বপূর্ণ। MQM8790-HS2F ইনফিনিব্যান্ড সুইচ সমাধানটি ফ্যাব্রিক-ওয়াইড মনিটরিংয়ের জন্য UFM এবং টেলিমেট্রি এবং বৈধতার জন্য NetQ এর সাথে একীভূত করা উচিত।

প্রস্তাবিত অনুশীলনগুলির মধ্যে রয়েছে:

• ত্রুটি, ডিসকার্ড এবং কনজেশন ইভেন্টগুলির জন্য প্রতি-পোর্ট কাউন্টারগুলি পর্যবেক্ষণ করুন।
• শুধুমাত্র জব-লেভেল ব্যর্থতার উপর নির্ভর না করে টেলিমেট্রি ব্যবহার করে ধীর-নোড প্রার্থীদের ট্র্যাক করুন।
• সামঞ্জস্যতার সমস্যা এড়াতে সমস্ত সুইচ এবং অ্যাডাপ্টার জুড়ে ফার্মওয়্যার সামঞ্জস্যতা যাচাই করুন।
• SHARP কনফিগারেশন পর্যায়ক্রমে পর্যালোচনা করুন, কারণ ভুল কনফিগার করা অ্যাগ্রিগেশন ট্রিগুলি কর্মক্ষমতা উন্নত করার পরিবর্তে হ্রাস করতে পারে।

সারসংক্ষেপ এবং মূল্য মূল্যায়ন

MQM8790-HS2F RDMA, HPC এবং AI ক্লাস্টারগুলির জন্য একটি ব্যবহারিক ভিত্তি সরবরাহ করে যার জন্য পূর্বাভাসযোগ্য কম ল্যাটেন্সি এবং উচ্চ ব্যান্ডউইথ প্রয়োজন। 40 × 200Gb/s HDR পোর্ট, SHARP ইন-নেটওয়ার্ক কম্পিউটিং এবং একটি পরিপক্ক ব্যবস্থাপনা ইকোসিস্টেমের সমন্বয়ে, NVIDIA Mellanox MQM8790-HS2F আর্কিটেক্টদের এমন ফ্যাব্রিক ডিজাইন করতে সহায়তা করে যা দক্ষতা ত্যাগ না করে স্কেল করে।

মূল্যের দৃষ্টিকোণ থেকে, সুইচের অবদান ক্লাস্টার ব্যবহার, জব সমাপ্তির সময় এবং অপারেশনাল ওভারহেডের বিপরীতে মূল্যায়ন করা উচিত, কেবল পোর্ট সংখ্যার চেয়ে।