NVIDIA Mellanox MCX556A-ECAT সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার।

NVIDIA Mellanox MCX556A-ECAT সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার∙ RDMA/RoCE Low-Latency Transport & Server Throughput Optimization

1. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

আধুনিক ডেটা সেন্টারগুলি কৃত্রিম বুদ্ধিমত্তা, উচ্চ-পারফরম্যান্স কম্পিউটিং (এইচপিসি) এবং রিয়েল-টাইম বিশ্লেষণ দ্বারা চালিত একটি মৌলিক রূপান্তরের মধ্য দিয়ে যাচ্ছে।এই ওয়ার্কলোডগুলি কেবলমাত্র কাঁচা ব্যান্ডউইথের চেয়ে অভূতপূর্ব নেটওয়ার্ক পারফরম্যান্সের প্রয়োজন, কিন্তু নির্ধারক নিম্ন বিলম্ব, CPU- দক্ষ তথ্য চলাচল, এবং বিরামবিহীন স্কেলযোগ্যতা। সফটওয়্যার ভিত্তিক TCP/IP স্ট্যাকের উপর নির্ভরশীল ঐতিহ্যবাহী ইথারনেট অ্যাডাপ্টার একটি উল্লেখযোগ্য বোতলঘাট হয়ে উঠেছে,20~30% সিপিইউ কোর ব্যবহার করে এবং অপ্রত্যাশিত বিলম্বের পরিবর্তনগুলি প্রবর্তন করে যা অ্যাপ্লিকেশন কর্মক্ষমতা হ্রাস করেস্কেল-এ কাজ করা সংস্থাগুলির জন্য, এই অকার্যকারিতা সরাসরি উচ্চতর অবকাঠামো ব্যয় এবং ধীরতর অন্তর্দৃষ্টি সময়কে অনুবাদ করে।

এই হোয়াইট পেপারে একটি বিস্তৃত প্রযুক্তিগত সমাধান উপস্থাপন করা হয়েছেএনভিডিয়া মেলানক্স এমসিএক্স৫৫৬এ-ইসিএটিসার্ভার অ্যাডাপ্টারের জন্য ডিজাইন করা হয়েছে যা তাদের 100GbE বিনিয়োগের উপর সর্বোচ্চ রিটার্ন অর্জন করতে চায়।MCX556A-ECAT ইথারনেট অ্যাডাপ্টার কার্ডকনভার্জেড ইথারনেটের (RoCE) মাধ্যমে হার্ডওয়্যার-এক্সিলারেটেড RDMA সরবরাহ করে, যা ক্ষতিহীন, কম লেটেন্সি পরিবহনকে সক্ষম করে যা নেটওয়ার্ক I/O কে একটি দায় থেকে কৌশলগত সম্পদতে রূপান্তর করে।সমাধানটি তিনটি মূল লক্ষ্য পূরণের জন্য বিশেষভাবে ডিজাইন করা হয়েছে: (1) sub-10μs এন্ড-টু-এন্ড অ্যাপ্লিকেশন লেটেন্সি অর্জন, (2) CPU নেটওয়ার্ক প্রসেসিং ওভারহেডকে 5% এর নিচে হ্রাস করা এবং (3) 100GbE এবং তার পরেও একটি স্কেলযোগ্য, ভবিষ্যতের প্রমাণ ভিত্তি সরবরাহ করা।

2. সামগ্রিক নেটওয়ার্ক ও সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচারটি একটি উচ্চ-পারফরম্যান্স লিফ-স্পাইন টপোলজি গ্রহণ করে যার মধ্যে 100GbE সার্ভার অ্যাক্সেস স্তর এবং 400GbE স্পাইনে আপলিংক। এই নকশার কেন্দ্রবিন্দুতে রয়েছেMCX556A-ECAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড, ফ্যাব্রিক জুড়ে প্রতিটি কম্পিউটিং এবং স্টোরেজ নোডে স্থাপন করা হয়।

• লসলেস ইথারনেট ফ্যাব্রিক:সমস্ত সুইচ জুড়ে পিএফসি (প্রাধান্য প্রবাহ নিয়ন্ত্রণ) এবং ইসিএন (স্পষ্ট ঘনত্ব বিজ্ঞপ্তি) সহ RoCE v2 ব্যবহার করে প্যাকেট ড্রপগুলি নির্মূল করতে এবং RDMA ট্র্যাফিকের জন্য নির্ধারক বিলম্ব নিশ্চিত করতে।
• সব জায়গায় হার্ডওয়্যার ডাউনলোডঃট্রান্সপোর্ট-লেয়ার প্রসেসিং অফলোড করা হচ্ছে, যার মধ্যে চেকসাম অফলোড, সেগমেন্টেশন (এলএসও/এলআরও), ভিএলএএন ট্যাগিং, এবং আরডিএমএ অ্যাডাপ্টারে, অ্যাপ্লিকেশন লজিকের জন্য সিপিইউ চক্র মুক্ত করা হচ্ছে।
• অ্যাক্টিভ-অ্যাক্টিভ রিডন্ডান্সিঃ200Gb/s সমষ্টিগত ব্যান্ডউইথ এবং সাব-সেকেন্ড পুনরুদ্ধারের সাথে স্বয়ংক্রিয় ব্যর্থতার জন্য লিংক সমষ্টি (LACP) মোডে উভয় QSFP28 পোর্ট ব্যবহার করে।
• ট্রাফিক বিভাগঃস্টোরেজ (NVMe-oF), কম্পিউটিং (MPI/RDMA) এবং ম্যানেজমেন্ট ট্রাফিকের জন্য ডেডিকেটেড ট্রাফিক ক্লাস, যা সমস্ত ওয়ার্কলোড জুড়ে পূর্বাভাসযোগ্য QoS নিশ্চিত করে।
• স্কেলেবল কন্ট্রোল প্লেনঃএনভিআইডিআইএ স্পেকট্রাম সুইচগুলির মাধ্যমে কেন্দ্রীভূত পরিচালনা অন্তর্নির্মিত টেলিমেট্রি এবং REST এপিআই এবং Ansible প্লেবুকগুলির মাধ্যমে অটোমেশন।

সমাধান সম্পূর্ণরূপেMCX556A-ECAT সামঞ্জস্যপূর্ণশীর্ষস্থানীয় সার্ভার প্ল্যাটফর্মগুলির সাথে (ডেল পাওয়ারএজ, এইচপিই প্রোলিয়ান্ট, সুপারমাইক্রো, লেনোভো) এবং প্রধান অপারেটিং সিস্টেমগুলির সাথে (লিনাক্স, উইন্ডোজ সার্ভার, ভিএমওয়্যার ইএসএক্সআই) নির্বিঘ্নে সংহত করে।আর্কিটেকচারটি RoCE এর উপর NVMe-oF সমর্থন করে, স্থানীয় NVMe ড্রাইভের কাছাকাছি বিলম্বের সাথে ভাগ করা বিভাজিত স্টোরেজ সক্ষম করে।

3. NVIDIA Mellanox MCX556A-ECAT এর ভূমিকা ও মূল বৈশিষ্ট্য

এই সমাধানের মৌলিক উপাদান হিসাবে,এনভিডিয়া মেলানক্স এমসিএক্স৫৫৬এ-ইসিএটিস্থাপত্যের মধ্যে তিনটি গুরুত্বপূর্ণ ভূমিকা পালন করেঃ

প্রধান প্রযুক্তিগত বিশেষ উল্লেখMCX556A-ECAT ডেটা শীটএর মধ্যে রয়েছে PCIe 3.0/4.0 x16 হোস্ট ইন্টারফেস, বিস্তৃত অফলোড ক্ষমতা (চেকসাম, এলএসও/এলআরও, ভিএলএএন স্ট্রিপিং/ইনসেপশন, আরএসএস) এবং প্রতি পোর্টে উন্নত টেলিমেট্রি।অ্যাডাপ্টারের শক্তি দক্ষতা (সাধারণত 15W এর নিচে) এবং বিস্তৃত অপারেটিং সিস্টেম সমর্থন এটিকে বিচিত্র পরিবেশের জন্য একটি বহুমুখী বিল্ডিং ব্লক করে তোলে.MCX556A-ECAT স্পেসিফিকেশনএছাড়াও 25GbE এবং 40GbE সামঞ্জস্যের জন্য সমর্থনকে তুলে ধরতে হবে, যা মিশ্র গতির পরিবেশের জন্য স্থাপনার নমনীয়তা প্রদান করে।

4. মোতায়েন ও স্কেলিং সুপারিশ

গ্রিনফিল্ড স্থাপনার জন্য, আমরা 100GbE অ্যাক্সেস এবং 400GbE স্পাইন আপলিঙ্ক সহ একটি দ্বি-স্তরীয় পাতার-পিঁড়ির টপোলজি প্রস্তাব করি। প্রতিটি সার্ভার একটি হোস্ট করেMCX556A-ECAT ইথারনেট অ্যাডাপ্টার কার্ডউভয় QSFP28 পোর্ট পৃথক পাতার সুইচগুলিতে সংযুক্ত থাকে। RoCE ফ্যাব্রিকের জন্য সমস্ত সুইচ জুড়ে ধারাবাহিক QoS কনফিগারেশন প্রয়োজন বিশেষত,পিএফসি অগ্রাধিকার 3 (আরডিএমএ ট্র্যাফিকের জন্য) এবং অগ্রাধিকার 4 (সংরক্ষণের জন্য), একই ট্র্যাফিক ক্লাসগুলিতে ইসিএন চিহ্নিতকরণের সাথে। আমরা পর্যবেক্ষণ এবং ত্রুটি সমাধান সহজ করার জন্য RoCE, পরিচালনা এবং স্টোরেজ ট্র্যাফিকের জন্য ডেডিকেটেড ভিএলএএন বরাদ্দ করার পরামর্শ দিই।

বিদ্যমান 40GbE অবকাঠামো সহ ব্রাউনফিল্ড পরিবেশের জন্য,MCX556A-ECAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানকারণ অ্যাডাপ্টারটি 40GbE QSFP + অপটিক্সের সাথে পিছনে সামঞ্জস্যপূর্ণ, বিদ্যমান ক্যাবলিংটি 100GbE এ পর্যায়ক্রমে আপগ্রেড করার সময় পুনরায় ব্যবহার করা যেতে পারে।অ্যাডাপ্টারটি বাধ্যতামূলক RoCE সক্ষম না করে স্ট্যান্ডার্ড ইথারনেট সুইচিং সমর্থন করে, যাতে দলগুলি প্রথমে হার্ডওয়্যারটি স্থাপন করতে পারে এবং ফ্যাব্রিকটি পরিপক্ক হওয়ার সাথে সাথে ধাপে ধাপে আরডিএমএ ক্ষমতা সক্রিয় করতে পারে এবং ওয়ার্কলোডগুলি রূপান্তরকে ন্যায়সঙ্গত করে।

সমাধানটি ৫০ টি নোডের বাইরে স্কেল করা অতিরিক্ত বিবেচনার পরিচয় দেয়।আমরা অন্তর্নির্মিত টেলিমেট্রি এবং গতিশীল ইসিএন থ্রেশহোল্ড সামঞ্জস্যের সাথে এনভিআইডিআইএ স্পেকট্রাম সুইচ ব্যবহার করে একটি ডেডিকেটেড রস কংক্রিশন ম্যানেজমেন্ট কৌশল বাস্তবায়ন করার পরামর্শ দিই. 200 নোড অতিক্রমকারী ক্লাস্টারগুলির জন্য, এন্ড-টু-এন্ড দৃশ্যমানতা এবং স্বয়ংক্রিয় কনফিগারেশন ধারাবাহিকতা বজায় রাখার জন্য একটি কেন্দ্রীভূত ফ্যাব্রিক ম্যানেজমেন্ট কন্ট্রোলার (যেমন, এনভিআইডিআইএ Cumulus NetQ) স্থাপন বিবেচনা করুন.দ্যবিক্রির জন্য MCX556A-ECATএনভিআইডিআইএর গ্লোবাল চ্যানেল পার্টনারদের মাধ্যমে বিস্তৃত ওয়ারেন্টি এবং ফার্মওয়্যার আপডেট সমর্থন অন্তর্ভুক্ত, স্কেলে দীর্ঘমেয়াদী নির্ভরযোগ্যতা নিশ্চিত।

5অপারেশন, মনিটরিং, সমস্যা সমাধান ও অপ্টিমাইজেশান

RoCE ফ্যাব্রিকের কার্যকর অপারেশনের জন্য একাধিক স্তরের মনিটরিং এবং ত্রুটি সমাধানের কৌশল প্রয়োজনঃ

• অ্যাডাপ্টার-লেভেল টেলিমেট্রিঃদ্যMCX556A-ECAT স্পেসিফিকেশনPFC ফ্রেম, ECN- চিহ্নিত প্যাকেট, বাদ দেওয়া ফ্রেম এবং লিংক ত্রুটির জন্য প্রতি পোর্ট কাউন্টার অন্তর্ভুক্ত।এমএলএক্স৫সিএমডি,ইথুল, অথবা এনভিআইডিআইএ ফার্মওয়্যার সরঞ্জামগুলি এই মেট্রিকগুলিকে প্রমিথিউস / গ্রাফানা ড্যাশবোর্ডে রপ্তানি করতে পারে।
• সুইচ-লেভেল মনিটরিংঃবুফারের দখল, বিরতি ফ্রেম গণনা, সারি গভীরতা এবং ECN চিহ্নিতকরণের হারগুলি মেরুদণ্ড এবং পাতা সুইচগুলিতে পর্যবেক্ষণ করুন।বিরতি ফ্রেমের আকস্মিক বৃদ্ধি মাইক্রো-কংগজেশন নির্দেশ করে যা ইসিএন থ্রেশহোল্ড টিউনিং প্রয়োজন হতে পারে.
• অ্যাপ্লিকেশন-স্তরের মেট্রিক্সঃআরডিএমএ অ্যাপ্লিকেশনগুলির জন্য, এনভিআইডিআইএ লাইবিভার্বস এবং আরডিএমএ-কোর লাইব্রেরি ব্যবহার করে ডাব্লুআর (ওয়ার্ক অনুরোধ) সমাপ্তির বিলম্ব, সিকিউ (সম্পূর্ণতা সারি) ওভারফ্লো ইভেন্ট এবং কিউপি (ক্যু জোড়া) ত্রুটি গণনা।

সাধারণ সমস্যা সমাধানের দৃশ্যকল্প এবং তাদের প্রস্তাবিত কর্মঃ

• RoCE পারফরম্যান্সের অবনতিঃPFC সব সুইচ পোর্ট এ সক্ষম করা হয় এবং DSCP চিহ্নিত সুইচ কনফিগারেশন মেলে যাচাই করুন.MCX556A-ECAT ডেটা শীটআপনার ওয়ার্কলোড প্রোফাইলের জন্য প্রস্তাবিত মানগুলির সাথে বাফার বরাদ্দ সেটিংস যাচাই করতে।
• লিংক ফ্ল্যাপিং বা সিআরসি ত্রুটিঃQSFP28 ক্যাবলের গুণমান পরীক্ষা করুন এবং নিশ্চিত করুন যে অ্যাডাপ্টারের ফার্মওয়্যারটি সর্বশেষ সংস্করণে আপডেট করা হয়েছে। নিশ্চিত করুন যে ক্যাবলগুলি 100GBASE-SR4 বা LR4 এর জন্য IEEE 802.3bj স্পেসিফিকেশনগুলি পূরণ করে।
• সিপিইউ এখনও উচ্চ সত্ত্বেও আউটলোডঃড্রাইভার কাউন্টার, অ্যাপ্লিকেশন লগ এবং সংযোগের অবস্থা পরীক্ষা করে নিশ্চিত করুন যে RDMA প্রকৃতপক্ষে ব্যবহার করা হচ্ছে (TCP-এ ফিরে না) ।
• পিএফসি ব্লকডাউন বা বিরতি ঝড়ঃভুলভাবে কনফিগার করা অগ্রাধিকারগুলির জন্য পরীক্ষা করুন এবং নিশ্চিত করুন যে পিএফসি কেবলমাত্র RoCE ট্র্যাফিক ক্লাসগুলিতে সক্ষম করা হয়েছে (পরিচালনা বা স্টোরেজ ট্র্যাফিকের ক্ষেত্রে নয়) ।

অপ্টিমাইজেশনের জন্য, আমরা ব্যাপক ল্যাব ভ্যালিডেশনের উপর ভিত্তি করে নিম্নলিখিত টিউনিং পরামিতিগুলি সুপারিশ করিঃ

• বিচ্ছিন্ন সমন্বয় (মোডারেশন):লেটেন্সি এবং সিপিইউ দক্ষতার ভারসাম্য বজায় রাখার জন্য মিশ্র ওয়ার্কলোড (ট্রেডিং + স্টোরেজ) এর জন্য 4 ¢ 8 μs এ সেট করুন।
• আরডিএমএ এমটিইউ:প্রোটোকল ওভারহেড কমাতে এবং থ্রুপুট উন্নত করতে স্টোরেজ ওয়ার্কলোডের জন্য 4096 বাইটে বৃদ্ধি করুন।
• আরএসএস (রিসিভ সাইড স্কেলিং):প্রসেসিং বিতরণ এবং একক-কোর স্যাচুরেশন এড়ানোর জন্য নন-আরডিএমএ ট্র্যাফিকের জন্য একাধিক সিপিইউ কোর জুড়ে কনফিগার করুন।
• ইসিএন থ্রেশহোল্ডঃঅগ্রাধিকার 3 ট্রাফিকের জন্য মিনি-থ্রেশহোল্ডটি বাফারের 50% এবং সর্বাধিক-থ্রেশহোল্ডটি 80% এ সেট করুন, পর্যবেক্ষণ করা জমে থাকা প্যাটার্নগুলির ভিত্তিতে সামঞ্জস্য করুন।

6. সংক্ষিপ্ত বিবরণ এবং মূল্য মূল্যায়ন

দ্যএনভিডিয়া মেলানক্স এমসিএক্স৫৫৬এ-ইসিএটিসমাধানটি আধুনিক ডেটা সেন্টারগুলির জন্য রূপান্তরিত মান সরবরাহ করে। সফটওয়্যার-ভিত্তিক টিসিপি/আইপিকে হার্ডওয়্যার-গতিসম্পন্ন আরডিএমএ/আরওসিই দিয়ে প্রতিস্থাপন করে,সংস্থাগুলি অ্যাপ্লিকেশন-স্তরের বিলম্ব হ্রাস 5X10x অর্জন করতে পারে, সিপিইউ নেটওয়ার্ক ওভারহেড 80% এরও বেশি হ্রাস এবং সার্ভার কনটেইনার ঘনত্ব 30% 50% বৃদ্ধি।MCX556A-ECAT ইথারনেট অ্যাডাপ্টার কার্ডএটি বিনিয়োগ সুরক্ষার সাথে 100GbE গ্রহণের জন্য একটি ব্যয়বহুল পথ সরবরাহ করে যা 40GbE-এর জন্য ব্যাকওয়ার্ড সামঞ্জস্য এবং ভবিষ্যতের জন্য প্রস্তুত অফলোড সক্ষমতার মাধ্যমে উদ্ভূত ওয়ার্কলোডগুলির জন্য।

মোট মালিকানার খরচ মূল্যায়ন করার সময়,MCX556A-ECAT মূল্যউল্লেখযোগ্য অপারেশনাল সঞ্চয় দ্বারা প্রতিস্থাপিত হয়ঃ কম সার্ভার সংখ্যা (উচ্চ ব্যবহারের কারণে), কম শীতল খরচ (<15W শক্তি খরচ ধন্যবাদ),এবং পৃথক ইনফিনিব্যান্ড বা মালিকানাধীন আরডিএমএ কাপড়ের নির্মূল. সমাধান সম্পূর্ণভাবেMCX556A-ECAT সামঞ্জস্যপূর্ণকুবারনেটস, অ্যাপাচি স্পার্ক, টেনসরফ্লো এবং ভিএমওয়্যার ভিএসফায়ার সহ প্রধান ওপেন সোর্স এবং এন্টারপ্রাইজ ইকোসিস্টেমগুলির সাথে, এন্টারপ্রাইজ, এইচপিসি এবং ক্লাউড-নেটিভ স্থাপনার মধ্যে বিস্তৃত প্রয়োগযোগ্যতা নিশ্চিত করে.

বিস্তারিত স্থাপনার স্ক্রিপ্ট, কনফিগারেশন টেমপ্লেট এবং পারফরম্যান্স বেঞ্চমার্ক রিপোর্টগুলির জন্য, দয়া করে অফিসিয়ালMCX556A-ECAT ডেটা শীটএবং এনভিআইডিআইএর ব্যাপক নেটওয়ার্কিং ডকুমেন্টেশন পোর্টাল। এই হোয়াইট পেপারটি একটি ভিত্তি হিসেবে কাজ করেএবং এর উপকারিতা পরিমাপযোগ্য.MCX556A-ECAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ডএটি কেবল একটি অ্যাডাপ্টার নয়; এটি ভবিষ্যতের RDMA-প্রস্তুত, থ্রুপুট-অপ্টিমাইজড ডেটা সেন্টারের জন্য একটি কৌশলগত সক্ষমক।