NVIDIA Mellanox MQM8790-HS2F ইনফিনিব্যান্ড সুইচ টেকনিক্যাল হোয়াইট পেপার

এনভিডিয়া মেলানক্স এমকিউএম৮৭৯০-এইচএস২এফ ইনফিনিব্যান্ড সুইচ টেকনিক্যাল হোয়াইট পেপার: আরডিএমএ/এইচপিসি/এআই ক্লাস্টারের জন্য লো-ল্যাটেন্সি ইন্টারকানেক্ট অপ্টিমাইজ করা

এই টেকনিক্যাল হোয়াইট পেপারটি নেটওয়ার্ক আর্কিটেক্ট, প্রি-সেলস ইঞ্জিনিয়ার এবং অপারেশন ম্যানেজারদের জন্য তৈরি করা হয়েছে। এটি এনভিডিয়া মেলানক্স এমকিউএম৮৭৯০-এইচএস২এফ ২০0Gb/s HDR ইনফিনিব্যান্ড সুইচের উপর কেন্দ্র করে, যা আরডিএমএ-ত্বরান্বিত, উচ্চ-পারফরম্যান্স কম্পিউটিং (HPC), এবং কৃত্রিম বুদ্ধিমত্তা (AI) ক্লাস্টারে লো-ল্যাটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশনের জন্য একটি ব্যাপক সমাধান ডিজাইন সরবরাহ করে। এই নথিতে আর্কিটেকচার ডিজাইন, মূল প্রযুক্তি, ডিপ্লয়মেন্ট এবং স্কেলিং কৌশল, অপারেশন মনিটরিং এবং ভ্যালু অ্যাসেসমেন্ট অন্তর্ভুক্ত রয়েছে—যা পরবর্তী প্রজন্মের ডেটা-ইনটেনসিভ কম্পিউট অবকাঠামোর জন্য একটি পুনরুৎপাদনযোগ্য ব্লুপ্রিন্ট সরবরাহ করে।

১. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

এআই মডেল প্যারামিটারগুলি ট্রিলিয়ন-স্কেল মানে পৌঁছানোর সাথে সাথে এবং এইচপিসি সিমুলেশনগুলি আরও সূক্ষ্ম রেজোলিউশন দাবি করার সাথে সাথে, অন্তর্নিহিত নেটওয়ার্ক ফ্যাব্রিক একটি সহায়ক উপাদান থেকে একটি প্রাথমিক পারফরম্যান্স নির্ধারকে বিকশিত হয়েছে। উদাহরণস্বরূপ, ডিস্ট্রিবিউটেড ট্রেনিং জবগুলি তাদের রানটাইমের ৪০-৬০% কালেক্টিভ কমিউনিকেশন অপারেশনে ব্যয় করতে পারে যদি ইন্টারকানেক্টে পর্যাপ্ত ব্যান্ডউইথ এবং ল্যাটেন্সি বৈশিষ্ট্য না থাকে। এন্টারপ্রাইজ আইটি দলগুলির জন্য, এটি এআই উদ্যোগগুলির জন্য মার্কেট-টু-টাইম বৃদ্ধি এবং জিপিইউ বিনিয়োগের অবমূল্যায়নের দিকে সরাসরি অনুবাদ করে।

বিস্তৃত গ্রাহক সম্পৃক্ততার মাধ্যমে চিহ্নিত মূল প্রয়োজনীয়তাগুলির মধ্যে রয়েছে:

• আল্ট্রা-লো এবং অনুমানযোগ্য ল্যাটেন্সি: এম্পিআই এবং আরডিএমএ ট্র্যাফিকের জন্য সাব-২০০ns কাট-থ্রু সুইচিং, কন্টেনশনের অধীনে ন্যূনতম জিটার সহ।
• নন-ব্লকিং থ্রুপুট: সমস্ত পোর্টে একই সাথে লাইন-রেট পারফরম্যান্স বজায় রাখা, হটস্পট গঠন এবং টেইল ল্যাটেন্সি অবনতি দূর করা।
• ইন-নেটওয়ার্ক কম্পিউটেশন: হোস্ট সিপিইউ অফলোড করতে এবং ডেটা মুভমেন্ট কমাতে কালেক্টিভ অপারেশনগুলির (অল-রিডিউস, ব্রডকাস্ট, ব্যারিয়ার) জন্য হার্ডওয়্যার অ্যাক্সিলারেশন।
• স্কেলেবল টপোলজি সাপোর্ট: অতিরিক্ত সুইচ লেয়ার ছাড়াই শত শত থেকে হাজার হাজার নোড পর্যন্ত ফ্যাট-ট্রি, টোরাস বা ড্রাগনফ্লাই+ টপোলজি তৈরি করার ক্ষমতা।
• সরলীকৃত ব্যবস্থাপনা: অপারেশনাল ওভারহেড কমাতে ইউনিফাইড ফ্যাব্রিক মনিটরিং, স্বয়ংক্রিয় টপোলজি ডিসকভারি এবং প্রোঅ্যাক্টিভ ফল্ট ডিটেকশন।

এমকিউএম৮৭৯০-এইচএস২এফ কে অপ্টিমাল বিল্ডিং ব্লক হিসাবে নির্বাচন করা হয়েছিল, এর প্রাথমিক এমকিউএম৮৭৯০-এইচএস২এফ ডেটাশিট ২০0Gb/s HDR এর ৪০টি পোর্ট, সাব-১৩০ns কাট-থ্রু ল্যাটেন্সি এবং এসএইচএআরপি ভি৩.০ ইন-নেটওয়ার্ক কম্পিউটিং-এর সমর্থন নিশ্চিত করে—এই ক্ষমতাগুলি সরাসরি উপরের প্রয়োজনীয়তাগুলির সাথে ম্যাপ করে।

২. সামগ্রিক নেটওয়ার্ক / সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচারটি ১,২০০ নোড পর্যন্ত ক্লাস্টারের জন্য একটি দুই-স্তর বিশিষ্ট লিফ-স্পাইন ফ্যাট-ট্রি টপোলজি ব্যবহার করে, যা বৃহত্তর ডিপ্লয়মেন্টের জন্য তিন-স্তরে প্রসারিত করার বিকল্প সহ। এই টপোলজি পারফরম্যান্স, খরচ এবং পরিচালনাযোগ্যতা ভারসাম্য বজায় রাখে, ফ্যাব্রিক জুড়ে সম্পূর্ণ বাইসেকশন ব্যান্ডউইথ এবং ডিটারমিনিস্টিক ল্যাটেন্সি সরবরাহ করে।

প্রতিটি লিফ সুইচ এনভিডিয়া কানেক্টএক্স-৬ বা কানেক্টএক্স-৭ এইচডিআর হোস্ট চ্যানেল অ্যাডাপ্টারগুলির মাধ্যমে ১৬টি পর্যন্ত কম্পিউট নোডকে সংযুক্ত করে, এমকিউএম৮৭৯০-এইচএস২এফ সামঞ্জস্যপূর্ণ অপটিক্স ইকোসিস্টেম ব্যবহার করে—লিঙ্ক দূরত্বের উপর নির্ভর করে অ্যাক্টিভ অপটিক্যাল কেবল (AOC) এবং প্যাসিভ কপার ডিএসি উভয়ই অন্তর্ভুক্ত। এমকিউএম৮৭৯০-এইচএস২এফ ২০০Gb/s HDR ৪০-পোর্ট কিউএসএফপি৫৬ ডিজাইনটি ১ইউ ফর্ম ফ্যাক্টর বজায় রেখে র্যাক-লেভেল অ্যাগ্রিগেশনের জন্য পর্যাপ্ত ঘনত্ব সরবরাহ করে, যা দক্ষ র্যাক স্পেস ব্যবহারের জন্য।

১,২০০ নোডের বেশি ক্লাস্টারের জন্য, একটি অতিরিক্ত সুপার-স্পাইন স্তর সহ একটি তিন-স্তর বিশিষ্ট টপোলজি সুপারিশ করা হয়। এই কনফিগারেশনে, এমকিউএম৮৭৯০-এইচএস২এফ ইনফিনিব্যান্ড সুইচ সমাধান সমস্ত স্তরে তার ভূমিকা বজায় রাখে, স্পেয়ারিং এবং কনফিগারেশন ব্যবস্থাপনা সহজ করে—একটি একক সুইচ টাইপ এজ থেকে কোর পর্যন্ত পুরো ফ্যাব্রিক সমর্থন করে।

৩. এনভিডিয়া মেলানক্স এমকিউএম৮৭৯০-এইচএস২এফ এর ভূমিকা এবং মূল বৈশিষ্ট্য

এনভিডিয়া মেলানক্স এমকিউএম৮৭৯০-এইচএস২এফ মৌলিক সুইচিং উপাদান হিসাবে কাজ করে, নিম্নলিখিত পার্থক্যকারী ক্ষমতাগুলি সরবরাহ করে যা সরাসরি লো-ল্যাটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশন চালিত করে:

• এইচডিআর ২০০Gb/s পোর্ট গতি: পূর্ববর্তী প্রজন্মের ইডিআর (১০০Gb/s) এর ব্যান্ডউইথ দ্বিগুণ করে, মিশ্র-গতির পরিবেশের জন্য এইচডিআর১০০ (১০০Gb/s) এর সাথে পশ্চাৎ সামঞ্জস্য বজায় রাখে, পূর্ববর্তী বিনিয়োগগুলি রক্ষা করে।
• সাব-১৩০ns ল্যাটেন্সি সহ কাট-থ্রু সুইচিং: সুইচিংয়ের মধ্যে প্যাকেটগুলির সময়কাল হ্রাস করে, যা ল্যাটেন্সি-সংবেদনশীল আরডিএমএ অপারেশন এবং কালেক্টিভ কমিউনিকেশন প্যাটার্নের জন্য গুরুত্বপূর্ণ।
• এসএইচএআরপি ভি৩.০ ইন-নেটওয়ার্ক কম্পিউটিং: হোস্ট সিপিইউ থেকে সুইচ ফ্যাব্রিক পর্যন্ত রিডাকশন অপারেশনগুলি অফলোড করে, ডেটা ট্র্যাফিক ৩০% পর্যন্ত হ্রাস করে এবং এআই প্রশিক্ষণের জন্য অল-রিডিউস পারফরম্যান্স ২x পর্যন্ত ত্বরান্বিত করে।
• অ্যাডাপ্টিভ রাউটিং এবং কনজেশন কন্ট্রোল: হটস্পট এড়াতে একাধিক পাথের উপর ট্র্যাফিক গতিশীলভাবে বিতরণ করে, কনজেশন ফ্ল্যাগ এবং ক্রেডিট-ভিত্তিক ফ্লো কন্ট্রোল লসলেস অপারেশন নিশ্চিত করে—আরডিএমএ পারফরম্যান্সের জন্য একটি পূর্বশর্ত।
• ইন্টিগ্রেটেড টেলিমেট্রি এবং ডায়াগনস্টিকস: প্রতি-পোর্ট বাফার অকুপেন্সি, লিঙ্ক ত্রুটির হার এবং ট্র্যাফিক প্যাটার্নগুলিতে গ্রানুলার ভিজিবিলিটি সরবরাহ করে, যা প্রোঅ্যাক্টিভ অপ্টিমাইজেশন এবং দ্রুত ফল্ট আইসোলেশন সক্ষম করে।

বিস্তারিত এমকিউএম৮৭৯০-এইচএস২এফ স্পেসিফিকেশন অনুসারে, সুইচটি ফরোয়ার্ড এবং রিভার্স এয়ারফ্লো উভয় ভ্যারিয়েন্ট সমর্থন করে, যা বিভিন্ন ডেটা সেন্টার কুলিং ডিজাইনকে সমর্থন করে। এর ডুয়াল রিডান্ড্যান্ট পাওয়ার সাপ্লাই এবং হট-সোয়াপযোগ্য ফ্যান মডিউলগুলি নির্ভরযোগ্যতা এবং পরিষেবাযোগ্যতা আরও বাড়ায়।

৪. ডিপ্লয়মেন্ট এবং সম্প্রসারণের সুপারিশ (সাধারণ টপোলজি সহ)

একটি সুষম এবং সাশ্রয়ী প্রাথমিক ডিপ্লয়মেন্টের জন্য, নিম্নলিখিত সেরা অনুশীলনগুলি সুপারিশ করা হয়:

• নোড-টু-লিফ কানেক্টিভিটি: এমকিউএম৮৭৯০-এইচএস২এফ সামঞ্জস্যপূর্ণ কিউএসএফপি৫৬ কানেক্টর সহ ২০০Gb/s এইচডিআর কেবল (≤৩মি এর জন্য কপার ডিএসি, ≤৩০মি এর জন্য এওসি) ব্যবহার করুন। নিশ্চিত করুন যে হোস্ট চ্যানেল অ্যাডাপ্টারগুলি একই লিঙ্ক গতি এবং সুইচ পোর্টগুলির মতো এফইসি সেটিংসের জন্য কনফিগার করা হয়েছে।
• লিফ-টু-স্পাইন কানেক্টিভিটি: ১০০ মিটার পর্যন্ত দূরত্বের জন্য ২০০Gb/s এওসি বা মাল্টিমোড ফাইবার অপটিক ট্রান্সসিভার স্থাপন করুন। এমকিউএম৮৭৯০-এইচএস২এফ লিঙ্ক প্যারামিটারগুলি স্বয়ংক্রিয়ভাবে আলোচনা করে, ডিপ্লয়মেন্ট সহজ করে।
• ওভারসাবস্ক্রিপশন পরিকল্পনা: সাধারণ-উদ্দেশ্য এআই/এইচপিসি ওয়ার্কলোডগুলির জন্য, একটি ২:১ ওভারসাবস্ক্রিপশন অনুপাত (২০০Gb/s আপলিঙ্কের প্রতি দুটি কম্পিউট নোড) একটি খরচ-পারফরম্যান্স সুইট স্পট সরবরাহ করে। ল্যাটেন্সি-অপ্টিমাইজড বা স্টোরেজ-ইনটেনসিভ ওয়ার্কলোডগুলির জন্য, ১:১ (ফুল) ওভারসাবস্ক্রিপশন বিবেচনা করুন।
• সম্প্রসারণ পথ: নতুন র্যাক যুক্ত করার সময়, কেবল অতিরিক্ত লিফ সুইচ স্থাপন করুন এবং বিদ্যমান স্পাইন সুইচগুলির সাথে সংযুক্ত করুন। উল্লেখযোগ্য ক্ষমতা বৃদ্ধির জন্য (নোড সংখ্যা দ্বিগুণ করা), স্পাইন স্তরটিকে উচ্চতর র‍্যাডিক্সে আপগ্রেড করুন বা একটি সুপার-স্পাইন স্তর যুক্ত করুন।

যখন এমকিউএম৮৭৯০-এইচএস২এফ মূল্য এবং মোট মালিকানা খরচ মূল্যায়ন করা হয়, তখন বিবেচনা করুন যে ইউনিফাইড আর্কিটেকচার—সমস্ত ফ্যাব্রিক স্তরে একই সুইচ টাইপ ব্যবহার করে—মাল্টি-এসকিউ পদ্ধতির তুলনায় প্রায় ৭০% দ্বারা স্পেয়ার পার্ট ইনভেন্টরি প্রয়োজনীয়তা হ্রাস করে। এই সরলীকরণ ঘটনা প্রতিক্রিয়া ত্বরান্বিত করে এবং হার্ডওয়্যার ব্যর্থতার সময় ডাউনটাইম হ্রাস করে।

৫. অপারেশন মনিটরিং, ট্রাবলশুটিং এবং অপ্টিমাইজেশন

একটি এমকিউএম৮৭৯০-এইচএস২এফ ইনফিনিব্যান্ড সুইচ পরিবেশের কার্যকর ব্যবস্থাপনা মনিটরিং, ডায়াগনস্টিকস এবং পারফরম্যান্স টিউনিংয়ের জন্য একটি পদ্ধতিগত পদ্ধতির প্রয়োজন।

মনিটরিং সেরা অনুশীলন:

• টপোলজি ম্যাপ, প্রতি-লিঙ্ক ইউটিলাইজেশন হিটম্যাপ এবং রিয়েল-টাইম ল্যাটেন্সি হিস্টোগ্রাম সহ কেন্দ্রীয় ফ্যাব্রিক ভিজিবিলিটির জন্য এনভিডিয়ার ইউনিফাইড ফ্যাব্রিক ম্যানেজার (ইউএফএম) স্থাপন করুন।
• প্রতি-পোর্ট ত্রুটির কাউন্টারগুলি নিরীক্ষণ করুন—বিশেষ করে সিআরসি ত্রুটি, প্রতীক ত্রুটি এবং লিঙ্ক-ডাউন ইভেন্টগুলি—অপটিক্স বা কেবলগুলির অবনতি দ্রুত সনাক্ত করতে। প্রোঅ্যাক্টিভ রক্ষণাবেক্ষণের জন্য পূর্ব-নির্ধারিত থ্রেশহোল্ডগুলির জন্য এসএনএমপি ট্র্যাপ সেট করুন।
• সুইচের ইন্টিগ্রেটেড পারফরম্যান্স কাউন্টারগুলির মাধ্যমে এসএইচএআরপি কালেক্টিভ অপারেশন দক্ষতা ট্র্যাক করুন, অ্যাপ্লিকেশন স্তরে কালেক্টিভ কমিউনিকেশন প্যাটার্নগুলি অপ্টিমাইজ করার সুযোগগুলি সনাক্ত করুন।

সাধারণ সমস্যাগুলির ট্রাবলশুটিং:

• নির্দিষ্ট পোর্টগুলিতে লিঙ্ক সিআরসি ত্রুটি: কেবল সিটিং এবং অপটিক্যাল কানেক্টরের পরিচ্ছন্নতা যাচাই করুন। ত্রুটি অব্যাহত থাকলে, কেবল বা ট্রান্সসিভার প্রতিস্থাপন করুন। এমকিউএম৮৭৯০-এইচএস২এফ ডেটাশিট বিস্তারিত প্রতি-পোর্ট ডায়াগনস্টিক থ্রেশহোল্ড সরবরাহ করে।
• অনাকাঙ্ক্ষিত ল্যাটেন্সি স্পাইক: ইউএফএম এর ট্র্যাফিক ফ্লো বিশ্লেষণ ব্যবহার করে কনজেশন হটস্পটগুলি পরীক্ষা করুন। অ্যাডাপ্টিভ রাউটিংয়ের জন্য নির্দিষ্ট ট্র্যাফিক প্যাটার্নের জন্য পুনরায় কনফিগারেশন প্রয়োজন হতে পারে—বিভিন্ন রাউটিং অ্যালগরিদম (ন্যূনতম বনাম নন-ন্যূনতম) নিয়ে পরীক্ষা করুন।
• ফ্যাব্রিক পার্টিশন সমস্যা: সঠিক পার্টিশন কী (পি-কী) এবং আইপিওআইবি সাবনেট ম্যানেজার কনফিগারেশন নিশ্চিত করুন। সুইচের বিল্ট-ইন সাবনেট ম্যানেজার স্বয়ংক্রিয় ফ্যাব্রিক ডিসকভারি সরবরাহ করে, তবে মাল্টি-টেন্যান্ট পরিবেশের জন্য ম্যানুয়াল সমন্বয় প্রয়োজন হতে পারে।

পারফরম্যান্স অপ্টিমাইজেশন টিপস:

• এআই ট্রেনিং ওয়ার্কলোডগুলির জন্য, এসএইচএআরপি ভি৩.০ সক্ষম করুন এবং সুইচটির অফলোড ক্ষমতাগুলি ব্যবহার করার জন্য কালেক্টিভ কমিউনিকেশন লাইব্রেরিগুলি (এনসিসিএল, ওপেনএমপিআই) কনফিগার করুন। এটি বড় বার্তা আকারের জন্য অল-রিডিউস ল্যাটেন্সি ২x পর্যন্ত কমাতে পারে।
• ল্যাটেন্সি-সংবেদনশীল এইচপিসি অ্যাপ্লিকেশনগুলির জন্য, কিছু পাথ ডাইভারসিটি ট্রেড করে অনুমানযোগ্য ল্যাটেন্সির জন্য অ্যাডাপ্টিভ রাউটিং নিষ্ক্রিয় করার কথা বিবেচনা করুন।
• নিয়মিতভাবে সুইচ ফার্মওয়্যার পর্যালোচনা এবং আপডেট করুন, কারণ এনভিডিয়া নিয়মিতভাবে পারফরম্যান্স উন্নতি এবং সুরক্ষা প্যাচ প্রকাশ করে। সংস্করণ সামঞ্জস্যতা ম্যাট্রিক্সের জন্য এমকিউএম৮৭৯০-এইচএস২এফ ডেটাশিট দেখুন।

৬. সারসংক্ষেপ এবং মূল্য মূল্যায়ন

এনভিডিয়া মেলানক্স এমকিউএম৮৭৯০-এইচএস২এফ আরডিএমএ/এইচপিসি/এআই ক্লাস্টার তৈরি বা আপগ্রেড করা সংস্থাগুলির জন্য একটি আকর্ষণীয় মূল্য প্রস্তাব সরবরাহ করে। প্রতি পোর্টে ২০০Gb/s, সাব-১৩০ns ল্যাটেন্সি এবং ১ইউ, ৪০-পোর্ট চ্যাসিসের মধ্যে ইন-নেটওয়ার্ক কম্পিউটিং অ্যাক্সিলারেশন সরবরাহ করে, সুইচটি আধুনিক ডেটা-ইনটেনসিভ ওয়ার্কলোডগুলির সবচেয়ে কঠোর ইন্টারকানেক্ট প্রয়োজনীয়তাগুলি পূরণ করে।

মূল মূল্য চালকগুলির মধ্যে রয়েছে:

• পারফরম্যান্স স্কেলেবিলিটি: এমকিউএম৮৭৯০-এইচএস২এফ ২০০Gb/s HDR ৪০-পোর্ট কিউএসএফপি৫৬ নোডগুলির উপর নির্মিত নন-ব্লকিং ফ্যাট-ট্রি আর্কিটেকচার মৌলিক টপোলজি পরিবর্তন ছাড়াই ২০০ থেকে ১০,০০০+ নোড পর্যন্ত স্কেল করে।
• অপারেশনাল দক্ষতা: সমস্ত ফ্যাব্রিক স্তরে একটি একক সুইচ টাইপ স্পেয়ার ইনভেন্টরি হ্রাস করে, প্রশিক্ষণ সহজ করে এবং ট্রাবলশুটিং দ্রুত করে।
• বিনিয়োগ সুরক্ষা: এইচডিআর১০০ এবং ইডিআর এর সাথে পশ্চাৎ সামঞ্জস্য পর্যায়ক্রমে আপগ্রেডের অনুমতি দেয়, যখন সুইচের ফর্ম ফ্যাক্টর এবং পোর্ট ঘনত্ব ভবিষ্যতের ৪০০জি (এনডিআর) রোডম্যাপগুলির সাথে সামঞ্জস্যপূর্ণ।
• প্রমাণিত ইকোসিস্টেম: এনভিডিয়ার কানেক্টএক্স অ্যাডাপ্টার, ব্লুফিল ডিপিইউ এবং ইউএফএম ম্যানেজমেন্ট প্ল্যাটফর্মের সাথে গভীর ইন্টিগ্রেশন এন্ড-টু-এন্ড পারফরম্যান্সের পূর্বাভাসযোগ্যতা নিশ্চিত করে।

স্থাপনের জন্য প্রস্তুত সংস্থাগুলির জন্য, বিক্রয়ের জন্য এমকিউএম৮৭৯০-এইচএস২এফ এনভিডিয়ার অনুমোদিত পরিবেশকদের বিশ্বব্যাপী নেটওয়ার্কের মাধ্যমে উপলব্ধ, যার মধ্যে অন-সাইট স্পেয়ার, অ্যাডভান্সড রিপ্লেসমেন্ট এবং ফার্মওয়্যার আপডেট সাবস্ক্রিপশন সহ ব্যাপক সহায়তা বিকল্প অন্তর্ভুক্ত রয়েছে। বিস্তারিত এমকিউএম৮৭৯০-এইচএস২এফ স্পেসিফিকেশন এবং রেফারেন্স ডিজাইনগুলি এনভিডিয়ার টেকনিক্যাল ডকুমেন্টেশন পোর্টালে উপলব্ধ, এবং বড় আকারের ব্রাউনফিল্ড বা গ্রিনফিল্ড ডিপ্লয়মেন্টের জন্য কাস্টমাইজড টপোলজি কনসাল্টিং সরবরাহ করা হয়।