মেলানক্স (এনভিআইডিআইএ মেলানক্স) এমকিউএম 9790-এনএস 2 এফ ইনফিনিব্যান্ড সুইচ প্রযুক্তিগত সমাধান

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand স্যুইচ প্রযুক্তিগত সমাধান – RDMA/HPC/AI ক্লাস্টারগুলির জন্য কম-লেটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশান

এই প্রযুক্তিগত সাদা কাগজ একটি বিস্তৃত সমাধান আর্কিটেকচারের উপর কেন্দ্রীভূত উপস্থাপন করেMellanox (NVIDIA Mellanox) MQM9790-NS2Fইনফিনিব্যান্ড সুইচ। নেটওয়ার্ক আর্কিটেক্ট, প্রাক-বিক্রয় প্রকৌশলী এবং অপারেশন লিডের লক্ষ্যে, নথির বিবরণ কীভাবেMQM9790-NS2Fপরবর্তী প্রজন্মের HPC এবং AI পরিকাঠামোর জন্য নির্ধারক অতি-লো লেটেন্সি, ক্ষতিহীন RDMA এবং মাপযোগ্য ব্যান্ডউইথ প্রদান করে। আমরা নকশা নীতি, স্থাপনার টপোলজি, কর্মক্ষম সর্বোত্তম অনুশীলন, এবং কর্মক্ষমতা বৈধতা কভার করি।

1. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

আধুনিক AI প্রশিক্ষণ এবং বৈজ্ঞানিক সিমুলেশন ওয়ার্কলোডগুলি এমন নেটওয়ার্ক কাপড়ের চাহিদা রাখে যা সাব-মাইক্রোসেকেন্ড জিটারের সাথে ব্যাপক সব-কমানো, সব-সংগ্রহ, এবং পয়েন্ট-টু-পয়েন্ট যোগাযোগের ধরণগুলি বজায় রাখতে পারে। প্রথাগত ইথারনেট-ভিত্তিক সমাধান, এমনকি RoCEv2-এর সাথে, কনজেশন ম্যানেজমেন্ট, পিএফসি টিউনিং এবং টেইল-লেটেন্সি নিয়ন্ত্রণে জটিলতার পরিচয় দেয়, যা প্রায়শই অদক্ষ GPU ব্যবহার এবং অপ্রত্যাশিত কাজ সমাপ্তির সময়ের দিকে পরিচালিত করে।

সাধারণ এইচপিসি/এআই প্রকল্পগুলির মধ্যে চিহ্নিত মূল প্রয়োজনীয়তাগুলির মধ্যে রয়েছে:

• সম্পূর্ণ লোডের অধীনে এন্ড-টু-এন্ড লেটেন্সি < 1 μs (পোর্ট থেকে পোর্ট স্যুইচ করুন)
• শূন্য প্যাকেট সহ লসলেস ফ্যাব্রিক যানজটের কারণে ড্রপ
• স্থাপত্যগত পরিবর্তন ছাড়াই 64 থেকে 2,000 GPU নোডের মাপযোগ্যতা
• সমৃদ্ধ টেলিমেট্রি এবং স্বয়ংক্রিয় ত্রুটি পুনরুদ্ধার সহ সরলীকৃত অপারেশন

দNVIDIA Mellanox MQM9790-NS2F1U, 64-পোর্ট OSFP প্ল্যাটফর্মে NDR 400 Gb/s প্রযুক্তি, অভিযোজিত রাউটিং এবং ইন-নেটওয়ার্ক কম্পিউটিংকে একীভূত করে এই চাহিদাগুলিকে সরাসরি সম্বোধন করে।

2. সামগ্রিক নেটওয়ার্ক / সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত স্থাপত্য সম্পূর্ণ দ্বিখণ্ডিত ব্যান্ডউইথ এবং উচ্চ স্থিতিস্থাপকতা প্রদানের জন্য একটি দ্বি-স্তরের পাতা-মেরুদন্ড (বা চর্বি-গাছ) টপোলজি গ্রহণ করে। প্রতিটি পাতার ব্লকে একাধিক র‍্যাক রয়েছে, প্রতিটি র‍্যাকে দুটি হাউজিং রয়েছে৷MQM9790-NS2F InfiniBand সুইচঅপ্রয়োজনীয়তার জন্য। মেরুদণ্ডের স্তরটি সমস্ত পাতার সুইচ থেকে ট্র্যাফিককে একত্রিত করে, যেকোন দুটি প্রান্তের মধ্যে অবরুদ্ধ নয় এমন যোগাযোগ নিশ্চিত করে।

দMQM9790-NS2F 400Gb/s NDR 64-পোর্ট OSFPসুইচ পাতা এবং মেরুদণ্ড উভয় হিসাবে কাজ করে, ফ্যাব্রিক জুড়ে অভিন্ন হার্ডওয়্যার অফার করে - স্পেয়ারিং এবং রক্ষণাবেক্ষণকে সহজ করে। একটি 1,024‑GPU ক্লাস্টারের জন্য, একটি সাধারণ নকশা 16টি পাতার সুইচ ব্যবহার করে (প্রতিটি 64টি GPU গুলিকে সংযুক্ত করে) এবং 8টি মেরুদণ্ডের সুইচ, সবগুলি 400G অপটিক্যাল বা DAC কেবলের মাধ্যমে আন্তঃসংযুক্ত। ফ্যাব্রিকটি ফ্যাট-ট্রি এবং ড্রাগনফ্লাই+ টপোলজি উভয়কেই সমর্থন করে, অভিযোজিত রাউটিং গতিশীলভাবে একাধিক পাথ জুড়ে ট্র্যাফিকের ভারসাম্য বজায় রাখে।

3. ভূমিকা এবং মূল বৈশিষ্ট্যMellanox (NVIDIA Mellanox) MQM9790-NS2Fসমাধানে

দNVIDIA Mellanox MQM9790-NS2Fএই সমাধানের ভিত্তিপ্রস্তর, প্রদান করে:

• 64 OSFP পোর্টপ্রতিটি 400 Gb/s (NDR) এ অপারেটিং - 25.6 Tb/s এর সামগ্রিক সুইচিং ক্ষমতা, 600 ns এর নিচে কাট-থ্রু লেটেন্সি সহ।
• অভিযোজিত রাউটিং- গতিশীলভাবে প্রতি প্যাকেটের জন্য সর্বনিম্ন-জড়িত পথ নির্বাচন করে, হটস্পট লিঙ্কগুলি এড়িয়ে যায় এবং এমনকি অসমমিত ট্র্যাফিক প্যাটার্নের অধীনেও সামঞ্জস্যপূর্ণ লেটেন্সি বজায় রাখে।
• SHARPv3 (স্কেলযোগ্য হায়ারার্কিক্যাল অ্যাগ্রিগেশন এবং রিডাকশন প্রোটোকল)- হোস্ট সিপিইউ থেকে সম্মিলিত যোগাযোগ (সব-কমানো, সম্প্রচার) অফলোড করে, নেটওয়ার্ক চ্যাটার হ্রাস করে এবং 20-30% পর্যন্ত এআই প্রশিক্ষণকে ত্বরান্বিত করে।
• ইন-নেটওয়ার্ক কম্পিউটিং- ডেটা হ্রাস, বিভাজন এবং এমনকি ছোট আকারের MPI ক্রিয়াকলাপগুলিকে সরাসরি সুইচে সমর্থন করে, গণনার জন্য মূল্যবান GPU সংস্থানগুলিকে মুক্ত করে৷
• টেলিমেট্রি ও কনজেশন ম্যানেজমেন্ট- পার-ফ্লো কাউন্টার, বাফার অকুপেন্সি হিস্টোগ্রাম, এবং পাথ-লেভেল লেটেন্সি মেট্রিক্স সহ অন্তর্নির্মিত উন্নত পর্যবেক্ষণ, সমস্ত UFM বা REST API-এর মাধ্যমে রপ্তানিযোগ্য।

এই ক্ষমতা সক্রিয়MQM9790-NS2F InfiniBand সুইচ সমাধানঅভ্যন্তরীণ বেঞ্চমার্ক এবং গ্রাহক স্থাপনার দ্বারা যাচাইকৃত স্কেলে নির্ধারক কর্মক্ষমতা প্রদান করতে। দMQM9790-NS2F স্পেসিফিকেশনএছাড়াও প্যাসিভ কপার DAC এবং সক্রিয় অপটিক্যাল মডিউল উভয়ের জন্য সমর্থন অন্তর্ভুক্ত করে, যা 100 মিটার পর্যন্ত (400G SR4 অপটিক্স সহ) এবং তার পরেও দূরত্বের জন্য নমনীয়তা প্রদান করে।

4. স্থাপনা এবং স্কেলিং সুপারিশ (সাধারণ টপোলজি)

একটি গ্রিনফিল্ড স্থাপনার জন্য, আমরা নিম্নলিখিত পর্যায়ক্রমে পদ্ধতির সুপারিশ করি:

• পর্যায় 1 - পাইলট:2টি পাতার সুইচ স্থাপন করুন (প্রতিটিMQM9790-NS2F) এবং 2টি মেরুদণ্ডের সুইচ, 128টি জিপিইউ সংযুক্ত করে। বিরুদ্ধে কর্মক্ষমতা যাচাইMQM9790-NS2F ডেটাশিটপরামিতি
• পর্যায় 2 - স্কেল-আউট:ওভারসাবস্ক্রিপশন ≤ 1:1 বজায় রাখার জন্য প্রতি র্যাকে 2 বৃদ্ধিতে পাতার সুইচ এবং মেরুদণ্ডের সুইচগুলি যোগ করুন। 64-পোর্টের ঘনত্ব একটি একক সুইচকে 64টি GPU নোডের একটি সম্পূর্ণ র্যাক হোস্ট করার অনুমতি দেয় (যদি প্রতিটি নোডে একটি একক 400G আপলিঙ্ক থাকে)।
• পর্যায় 3 - মাল্টি-প্লেন:2,000 নোডের বেশি ক্লাস্টারগুলির জন্য, রুট-ভিত্তিক লোড ব্যালেন্সিং সহ একাধিক স্বাধীন কাপড় (যেমন, 2× বা 4× প্লেন) প্রয়োগ করুন, ভার্চুয়াল লেন এবং পার্টিশন কীগুলির জন্য সুইচের সমর্থনকে কাজে লাগান৷

সাধারণ ক্যাবলিং ইন্ট্রা-র্যাক সংযোগের জন্য OSFP‑to‑OSFP DACs এবং 100 মিটার পর্যন্ত মেরুদণ্ড-পাতার দূরত্বের জন্য OSFP‑to‑400G SR4 অপটিক্যাল মডিউল ব্যবহার করে। দMQM9790-NS2F সামঞ্জস্যপূর্ণট্রান্সসিভারগুলি NVIDIA-এর অপটিক্যাল ভেন্ডর ইকোসিস্টেমের সাথে যাচাই করা হয়, যা নিরবিচ্ছিন্ন আন্তঃকার্যযোগ্যতা নিশ্চিত করে।

5. অপারেশন, পর্যবেক্ষণ, ত্রুটি নির্ণয় এবং অপ্টিমাইজেশান

উৎপাদনে কম বিলম্ব বজায় রাখার জন্য কার্যকরী ক্রিয়াকলাপ গুরুত্বপূর্ণ। সমাধান সঙ্গে একীভূতNVIDIA UFM (ইউনিফাইড ফ্যাব্রিক ম্যানেজার), যা প্রদান করে:

• রিয়েল-টাইম ড্যাশবোর্ড- প্রতি পোর্ট ব্যান্ডউইথ, ত্রুটি কাউন্টার, এবং কনজেশন হিটম্যাপ।
• স্বয়ংক্রিয় পথ পুনরায় অপ্টিমাইজেশান- যখন একটি লিঙ্ক হ্রাস পায় বা ব্যর্থ হয়, তখন UFM রুটগুলি পুনঃগণনা করে এবং অপারেটরের হস্তক্ষেপ ছাড়াই অভিযোজিত রাউটিং টেবিলগুলি পুনরায় কনফিগার করে।
• ঐতিহাসিক টেলিমেট্রি- পোস্ট-মর্টেম বিশ্লেষণ এবং ক্ষমতা পরিকল্পনার জন্য লেটেন্সি এবং ফ্লো ডেটা সঞ্চয় করে।

প্রস্তাবিত সমস্যা সমাধানের কর্মপ্রবাহ:

1. প্রতি পোর্ট পজ ফ্রেম এবং বাতিল করা মনিটর - শূন্য বাতিল প্রত্যাশিত; কোনো বাতিল ভুল কনফিগারেশন বা ত্রুটিপূর্ণ অপটিক্স নির্দেশ করে।
2. UFM এর সমষ্টিগত পরিসংখ্যানের মাধ্যমে SHARPv3 অপারেশন যাচাই করুন - হ্রাস অপারেশনগুলি অফলোড করা হয়েছে তা নিশ্চিত করুন।
3. অন্তর্নির্মিত ডায়াগনস্টিক টুল ব্যবহার করুন (যেমন,ibdiagnet,ibstatus) লিঙ্ক অখণ্ডতা এবং সংকেত অখণ্ডতা পরীক্ষা করতে.

অপ্টিমাইজেশনের জন্য, কাজের চাপের ধরণগুলির উপর ভিত্তি করে অভিযোজিত রাউটিং অ্যালগরিদম থ্রেশহোল্ড (যেমন, লোড-সেন্সিং ব্যবধান) সামঞ্জস্য করুন -MQM9790-NS2F InfiniBand সুইচম্যানেজমেন্ট ইন্টারফেসের মাধ্যমে ফাইন-টিউনিংয়ের অনুমতি দেয়। নিয়মিত ফার্মওয়্যার আপডেট (NVIDIA-এর সমর্থন পোর্টালের মাধ্যমে উপলব্ধ) কর্মক্ষমতা বৃদ্ধি এবং নিরাপত্তা প্যাচ অন্তর্ভুক্ত করে।

6. সারাংশ এবং মূল্য মূল্যায়ন

দMellanox (NVIDIA Mellanox) MQM9790-NS2FRDMA/HPC/AI ক্লাস্টারগুলির জন্য একটি ভবিষ্যত-প্রমাণ, উচ্চ-কার্যক্ষমতার ভিত্তি অফার করে৷ 400 Gb/s NDR গতি, 64‑পোর্ট ঘনত্ব এবং বুদ্ধিমান ইন-নেটওয়ার্ক কম্পিউটিং একত্রিত করে, এটি প্রথাগত বাধা দূর করে এবং এক্সাসকেল ক্লাস পর্যন্ত রৈখিক মাপযোগ্যতা প্রদান করে। সমাধানটি পোর্ট প্রতি নিম্ন শক্তি (≈1.5 W), সরলীকৃত ক্যাবলিং এবং SHARP অফলোড থেকে CPU ওভারহেড হ্রাসের মাধ্যমে মালিকানার মোট খরচ হ্রাস করে।

প্রতিষ্ঠানের জন্য মূল্যায়নMQM9790-NS2F মূল্য, বিনিয়োগটি GPU ব্যবহারে পরিমাপযোগ্য লাভ (প্রায়শই উত্পাদনে 90% এর বেশি) এবং RoCEv2 কাপড়ের তুলনায় কাজ শেষ হওয়ার সময় 40% পর্যন্ত হ্রাসের দ্বারা ন্যায়সঙ্গত। দMQM9790-NS2F ডেটাশিটএবংMQM9790-NS2F স্পেসিফিকেশনব্যাপক বিবরণ প্রদান করুন, এবং ইউনিটগুলি সহজেই উপলব্ধ (MQM9790-NS2F বিক্রয়ের জন্যঅনুমোদিত চ্যানেলের মাধ্যমে)। অধিকন্তু, বিদ্যমান NVIDIA অ্যাডাপ্টারের সাথে সুইচের সামঞ্জস্যতা Mellanox ইকোসিস্টেমে ইতিমধ্যেই বিনিয়োগ করা ব্যবহারকারীদের জন্য একটি মসৃণ স্থানান্তর পথ নিশ্চিত করে।

সংক্ষেপে, এই প্রযুক্তিগত সমাধান উপর ভিত্তি করেMQM9790-NS2F InfiniBand সুইচএকটি মজবুত, কার্যকরীভাবে দক্ষ ফ্যাব্রিক সরবরাহ করে যা সবচেয়ে বেশি চাহিদা সম্পন্ন কম-বিলম্বিত আন্তঃসংযোগের প্রয়োজনীয়তা পূরণ করে – AI সুপারকম্পিউটিংয়ের পরবর্তী প্রজন্মের জন্য একটি ভিত্তি।