NVIDIA Mellanox MQM8790-HS2F ইনফিনিব্যান্ড সুইচ প্রযুক্তিগত রেফারেন্স

এই প্রযুক্তিগত হোয়াইট পেপারটি নেটওয়ার্ক আর্কিটেক্ট, প্রাক-সেল ইঞ্জিনিয়ার এবং অপারেশন লিডদের জন্য।এনভিআইডিআইএ মেলানোক্স এমকিউএম৮৭৯০-এইচএস২এফইনফিনিব্যান্ড সুইচ, এটি ডিজাইন, স্থাপনার জন্য একটি বিস্তারিত রেফারেন্স প্রদান করে,আরডিএমএ ত্বরণ এবং নির্ধারক স্বল্প-ল্যাটেনসি যোগাযোগের উপর দৃষ্টি নিবদ্ধ করে বড় আকারের এআই প্রশিক্ষণ এবং এইচপিসি সিমুলেশনগুলির জন্য উচ্চ-পারফরম্যান্সের ফ্যাব্রিকগুলি পরিচালনা করা.

আধুনিক এআই এবং এইচপিসি ওয়ার্কলোডগুলি জিপিইউ ক্লাস্টারগুলিকে কয়েক হাজার নোডের দিকে নিয়ে যাচ্ছে।ইনকাস্ট প্যাটার্নের অধীনে পারফরম্যান্স অসঙ্গতি প্রদর্শন করে এবং উচ্চতর সিপিইউ ওভারহেড ভোগ করেপরবর্তী প্রজন্মের ক্লাস্টার ইন্টারকানেকশনের মূল প্রয়োজনীয়তা হল:

• সিঙ্ক্রোনাইজড সমষ্টিগত ক্রিয়াকলাপের জন্য পয়েন্ট-টু-পয়েন্ট ল্যাটেনসি
• হ্রাসহীন, জমে থাকা-মুক্ত পরিবহন, যা দেরী-সময়-আউট-ট্রান্সপোর্টকারীদের প্রতিরোধ করে
• সিপিইউ/জিপিইউ কোর থেকে যোগাযোগ প্রক্রিয়াকরণের সম্পূর্ণ আনলোড
• নন-ব্লকিং ব্যান্ডউইথ সহ স্কেলযোগ্য ফ্যাট-ট্রি বা ড্রাগনফ্লাই + টপোলজি
• বিদ্যমান 100G/200G অপটিক্স থেকে ব্যয়-কার্যকর মাইগ্রেশন পথ

এই চাহিদা পূরণে,MQM8790-HS2F ইনফিনিব্যান্ড সুইচপ্রতি পোর্টে 200Gb/s HDR, প্রতি ইউনিটে 40 QSFP56 পোর্ট এবং RDMA এবং ইন-নেটওয়ার্ক কম্পিউটিংয়ের জন্য নেটিভ সাপোর্ট প্রদান করে।এই সমাধানটি এমন পরিবেশের জন্য বিশেষভাবে নির্মিত যেখানে ইন্টারকানেকশন দক্ষতা সরাসরি কাজের সমাপ্তির সময় এবং TCO তে অনুবাদ করে.

এআই/এইচপিসি ক্লাস্টারগুলির জন্য প্রস্তাবিত শারীরিক টপোলজিএনভিআইডিআইএ মেলানোক্স এমকিউএম৮৭৯০-এইচএস২এফএকটি দ্বি-স্তর বা তিন-স্তরযুক্ত ফ্যাট-ট্রি (পাঠের মেরুদণ্ড নামেও পরিচিত) । প্রতিটি পাতা সুইচ এইচডিআর বা এইচডিআর 100 লিঙ্কগুলির মাধ্যমে জিপিইউ সার্ভারের সাথে সংযোগ স্থাপন করে, যখন মেরুদণ্ড সুইচগুলি পাতাগুলির মধ্যে সম্পূর্ণ জাল সংযোগ সরবরাহ করে।একটি সাধারণ 800-জিপিইউ কনফিগারেশন ব্যবহার করে:

• ২০টি পাতার সুইচঃ প্রতিটিMQM8790-HS2F 200Gb/s HDR 40-পোর্ট QSFP56২০ টি পর্যন্ত সার্ভার পরিবেশন করা (ডুয়াল-রেল সংযোগ)
• ৪টি স্পিন সুইচঃ ২০০ গিগাবাইট/সেকেন্ড আপলিংক ব্যবহার করে পাতার সাথে সম্পূর্ণরূপে সংযুক্ত
• প্রতিটি স্তরে ১ঃ১ এর অ-ব্লকিং অনুপাত

বৃহত্তর ক্লাস্টারগুলির জন্য (2,000+ জিপিইউ), একটি তিন-স্তরের আর্কিটেকচার একটি সুপার-স্পাইন স্তর যুক্ত করে।সব ফ্যাব্রিক ম্যানেজমেন্ট সাবনেট ম্যানেজার (এসএম) দ্বারা পরিচালিত হয় either হয় একটি ডেডিকেটেড কন্ট্রোলারে চলমান বা ছোট ফ্যাব্রিকগুলির জন্য সুইচ ফার্মওয়্যারে এমবেডেড.

এই স্থাপত্যের মধ্যে,MQM8790-HS2Fএটি পাতার উপাদান এবং মেরুদণ্ডের উপাদান হিসাবে কাজ করে। এর মূল পার্থক্যগুলির মধ্যে রয়েছেঃ

• প্রতি পোর্টে 200 গিগাবাইট/সেকেন্ড HDR:16Tb/s সমষ্টিগত অ-ব্লকিং সুইচিং ক্ষমতা সহ পূর্ণ দ্বি-পন্থী স্রোত
• অ্যাডাপ্টিভ রুটিং (এআর):হটস্পট এড়ানোর জন্য একাধিক পথ জুড়ে গতিশীলভাবে ট্র্যাফিক বিতরণ করে, ফ্যাট-ট্রি দক্ষতার জন্য গুরুত্বপূর্ণ
• SHARPv2 (স্কেলেবল হেরার্কিকেল অ্যাগ্রিগেশন অ্যান্ড রিডাকশন প্রোটোকল):সরাসরি সুইচ নেটওয়ার্কে সমষ্টিগত ক্রিয়াকলাপগুলি (সমস্ত হ্রাস, হ্রাস-বিচ্ছিন্নতা) অফলোড করে, জিপিইউ অল্টার টাইম হ্রাস করে
• যানজট নিয়ন্ত্রণঃFECN/BECN প্রক্রিয়াগুলির সাথে সূক্ষ্ম-দাগযুক্ত প্রবাহ নিয়ন্ত্রণ ক্ষতিহীন ফ্যাব্রিক নিশ্চিত করে
• উচ্চ বন্দর ঘনত্বঃ40 QSFP56 পোর্ট প্রতি 1U চ্যাসি, র্যাক বিন্যাস সহজতর এবং inter-rack তারের জটিলতা কমাতে

প্রকৌশলীরা উল্লেখ করতে পারেনMQM8790-HS2F তথ্য পত্রএবংMQM8790-HS2F স্পেসিফিকেশনবিস্তারিত শক্তি, তাপ, এবং বিলম্ব সংখ্যা জন্য প্ল্যাটফর্ম এছাড়াওMQM8790-HS2F সামঞ্জস্যপূর্ণএইচডিআর, এইচডিআর১০০ এবং এমনকি ইডিআর অপটিক্সের বিস্তৃত পরিসরের সাথে, ধীরে ধীরে আপগ্রেড করার অনুমতি দেয়।

ভারসাম্যপূর্ণ ১,০০০-জিপিইউ এআই ক্লাস্টারের জন্য নিম্নলিখিত স্থাপনার ক্রমটি সুপারিশ করা হয়ঃ

• ধাপ ১ ️ পাতার স্তরঃইনস্টল করুন 25xMQM8790-HS2Fপ্রতিটি জিপিইউ সার্ভারকে (প্রতি সার্ভারে ৮ টি জিপিইউ) দুটি এইচডিআর পোর্টের মাধ্যমে রিডান্ডান্সি এবং ব্যান্ডউইথের জন্য দুটি পৃথক পাতায় সংযুক্ত করুন।
• ধাপ ২ ∙ মেরুদণ্ডের স্তর:8x প্রয়োগ করুনএনভিআইডিআইএ মেলানোক্স এমকিউএম৮৭৯০-এইচএস২এফপ্রতিটি পাতাকে 200Gb/s লিঙ্ক (40 আপলিংক প্রতি পাতা, কিন্তু সাধারণত একটি উপসেট ব্লকিং অনুপাত ≤1: 1 বজায় রাখার জন্য যথেষ্ট) ব্যবহার করে প্রতিটি স্পাইনে সংযুক্ত করুন।
• ধাপ ৩ ০ সাবনেট ম্যানেজারের স্থানান্তরঃদুটি হালকা সার্ভারে অতিরিক্ত এসএম ইনস্ট্যান্স চালান অথবা ২,০০০ পোর্টের নিচে ক্লাস্টারগুলির জন্য এমবেডেড এসএম ব্যবহার করুন।
• ধাপ ৪ ০ পার্টিশনঃএকই শারীরিক ফ্যাব্রিকের উপর উত্পাদন, উন্নয়ন এবং স্টোরেজ ট্র্যাফিক প্রবাহকে বিচ্ছিন্ন করতে ইনফিনিব্যান্ড পার্টিশন ব্যবহার করুন।

2,500+ জিপিইউতে সম্প্রসারণের জন্য, অতিরিক্ত এমকিউএম 8790-এইচএস 2 এফ ইউনিট ব্যবহার করে একটি সুপার স্পাইন স্তর যুক্ত করুন এবং পাতার থেকে স্পাইনের আপলিংক ঘনত্ব বৃদ্ধি করুন।MQM8790-HS2F ইনফিনিব্যান্ড সুইচ সমাধানকোরকে পুনর্নির্মাণ না করেই রৈখিকভাবে স্কেল করে।

উপর নির্মিত একটি কাপড়ের দৈনিক অপারেশনMQM8790-HS2Fসুইচগুলি এনভিআইডিআইএর ফ্যাব্রিক ম্যানেজার এবং এমএলএনএক্স-ওএস এর মাধ্যমে পরিচালিত হয়। মূল অনুশীলনগুলির মধ্যে রয়েছেঃ

• পর্যবেক্ষণঃটপোলজি ভ্যালিডেশনের জন্য `ibdiagnet`, বন্দর কাউন্টারগুলির জন্য `perfquery` এবং রিয়েল-টাইম টেলিমেট্রি (লিঙ্ক ব্যবহার, প্রতীক ত্রুটি, ঘন ঘন চিহ্নিতকারী) এর জন্য প্রমিথিউস রপ্তানিকারকদের সাথে গ্রাফানা ড্যাশবোর্ডগুলি ব্যবহার করুন।
• ফার্মওয়্যার ও সফটওয়্যার:সব সুইচ জুড়ে সামঞ্জস্যপূর্ণ ফার্মওয়্যার বজায় রাখুন।MQM8790-HS2F তথ্য পত্রসংস্করণ সামঞ্জস্যের জন্য।
• সমস্যা সমাধানঃসাধারণ সমস্যাগুলি `ibstatus`, `smpquery`, এবং স্যুইচ syslog ব্যবহার করে দ্রুত বিচ্ছিন্ন করা হয়। অভিযোজিত রাউটিং লগগুলি ঘনত্বের উত্সগুলি সনাক্ত করতে পারে।
• অপ্টিমাইজেশনঃকাজের চাপের প্রোফাইলিংয়ের উপর ভিত্তি করে অভিযোজিত রাউটিং থ্রেশহোল্ড এবং ঘনত্ব নিয়ন্ত্রণ প্যারামিটারগুলি সুর করুন। বড় আকারের এআই প্রশিক্ষণের জন্য, প্রযোজ্য এমপিআই লাইব্রেরিতে SHARP সক্ষম করুন (উদাহরণস্বরূপ, SHARP প্লাগইন সহ এনসিসিএল) ।

বাজেট বা সম্প্রসারণ পরিকল্পনা করার সময়, অনুরোধMQM8790-HS2F দামঅনুমোদিত অংশীদারদের কাছ থেকে উদ্ধৃতি এবং যাচাইবিক্রির জন্য MQM8790-HS2Fপ্রাপ্যতা। বিদ্যমান QSFP56 ক্যাবলিংয়ের সাথে প্ল্যাটফর্মের সামঞ্জস্যতা সংগ্রহের ঝুঁকি হ্রাস করে।

দ্যMQM8790-HS2Fএটি কেবল একটি সুইচ নয় ∙ এটি নির্ধারক, নিম্ন-ল্যাটেনসি এইচপিসি এবং এআই ফ্যাব্রিকগুলির জন্য একটি প্রাথমিক বিল্ডিং ব্লক। এর সংমিশ্রণ 200 গিগাবাইট / সেকেন্ড এইচডিআর, 40 পোর্টের ঘনত্ব, অভিযোজিত রাউটিং,এবং SHARP ইন-নেটওয়ার্ক কম্পিউটিং সরাসরি আধুনিক ক্লাস্টার ইন্টারকানেকশনগুলির মূল ব্যথা পয়েন্টগুলিকে সম্বোধন করেবিকল্প 200G ইথারনেট সমাধানগুলির তুলনায়, ইনফিনিব্যান্ড বাস্তুতন্ত্র নিম্নলিখিতগুলি সরবরাহ করেঃ

• কম সিপিইউ ওভারহেড (হার্ডওয়্যার ট্রান্সপোর্ট অফলোড সহ সত্যিকারের আরডিএমএ)
• বাস্তব লোডের অধীনে ডিটারমিনিস্টিক মাইক্রো-সেকেন্ড স্কেল লেটেন্সি
• কেন্দ্রীভূত সাবনেট ম্যানেজারের সাথে সরলীকৃত ফ্যাব্রিক পরিচালনা
• দশ হাজার এন্ডপয়েন্টে প্রমাণিত স্কেলযোগ্যতা

জিপিইউ ক্লাস্টার নির্মাণ বা সম্প্রসারণের জন্য সংস্থাগুলির জন্য,এনভিআইডিআইএ মেলানোক্স এমকিউএম৮৭৯০-এইচএস২এফএইচডিআর২০০ (৪০০ গিগাবাইট/সেকেন্ড) আপগ্রেডের জন্য ইন্টারকানেকশনকে ভবিষ্যতের জন্য নিরাপদ করে তোলার মাধ্যমে প্রতি ডলারে উচ্চতর কার্যকর ফ্লপস অর্জন করা, কাজের সমাপ্তির সময় হ্রাস করা। বিস্তারিত রেফারেন্স ডিজাইন,সম্পূর্ণ সহMQM8790-HS2F স্পেসিফিকেশনএবং ক্যাবলিং ম্যাট্রিক্স, এনভিআইডিআইএ অংশীদার পোর্টালের মাধ্যমে উপলব্ধ।