NVIDIA Mellanox MCX623106AN-CDAT সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার

NVIDIA Mellanox MCX623106AN-CDAT সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার।

1. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

কৃত্রিম বুদ্ধিমত্তা, বড় আকারের মেশিন লার্নিং এবং রিয়েল-টাইম বিশ্লেষণের বিস্ফোরক বৃদ্ধির কারণে আধুনিক ডেটা সেন্টারগুলি একটি দৃষ্টান্ত পরিবর্তনের মধ্য দিয়ে যাচ্ছে।এই ওয়ার্কলোডগুলি কেবলমাত্র কাঁচা ব্যান্ডউইথের চেয়ে অভূতপূর্ব নেটওয়ার্ক পারফরম্যান্সের প্রয়োজন, কিন্তু নির্ধারক sub-5μs বিলম্ব, সিপিইউ-কার্যকর ডেটা চলাচল, এবং হাজার হাজার নোড পর্যন্ত নির্বিঘ্নে স্কেলযোগ্যতা।একটি সমালোচনামূলক বোতলঘাট হয়ে উঠেছে, 200GbE গতিতে 40% পর্যন্ত সিপিইউ কোর ব্যবহার করে এবং অ্যাপ্লিকেশন কর্মক্ষমতা হ্রাস করে এমন অনির্দেশ্য বিলম্বের পরিবর্তনগুলি প্রবর্তন করে।বড় আকারের এআই ক্লাস্টার (৫০০+ জিপিইউ) বা হাইপারস্কেল ক্লাউড অবকাঠামো নির্মাণকারী সংস্থাগুলির জন্য, এই অকার্যকারিতা সরাসরি প্রশিক্ষণের দীর্ঘ সময়, উচ্চতর অবকাঠামোগত ব্যয় এবং বাজারে যাওয়ার সময় কমিয়ে দেয়।

এই হোয়াইট পেপারে একটি বিস্তৃত প্রযুক্তিগত সমাধান উপস্থাপন করা হয়েছেএনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটিসার্ভার অ্যাডাপ্টার। তাদের 200GbE বিনিয়োগ সর্বাধিকীকরণ করতে চায় এমন উদ্যোগের জন্য ডিজাইন করা হয়েছে,MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ডকনভার্জেড ইথারনেটের (RoCE) মাধ্যমে হার্ডওয়্যার-এক্সিলারেটেড RDMA সরবরাহ করে, যা ক্ষতিহীন, অতি-নিম্ন-ল্যাটেনসি পরিবহনকে সক্ষম করে যা নেটওয়ার্ক I / O কে স্কেলিং বোতল ঘা থেকে প্রতিযোগিতামূলক সুবিধায় রূপান্তরিত করে।সমাধানটি তিনটি মূল লক্ষ্য পূরণের জন্য বিশেষভাবে ডিজাইন করা হয়েছে: (1) এআই সমষ্টিগত যোগাযোগের জন্য sub-5μs এন্ড-টু-এন্ড অ্যাপ্লিকেশন ল্যাটেনসি অর্জন, (2) CPU নেটওয়ার্ক প্রসেসিং ওভারহেডকে 5% এর নিচে হ্রাস করা এবং (3) একটি স্কেলযোগ্য সরবরাহ করা,200GbE এবং তার পরে ভবিষ্যতের প্রমাণ ভিত্তি.

2. সামগ্রিক নেটওয়ার্ক ও সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচারটি একটি উচ্চ-কার্যকারিতা পাতা-পিঁড়ির টপোলজি গ্রহণ করে যার মধ্যে 200GbE সার্ভার অ্যাক্সেস স্তর এবং 400GbE/800GbE আপলিংকগুলি স্পাইনে রয়েছে। এই নকশার কেন্দ্রবিন্দুতে রয়েছেMCX623106AN-CDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড, ফ্যাব্রিক জুড়ে প্রতিটি কম্পিউটিং এবং স্টোরেজ নোডে স্থাপন করা হয়।

• লসলেস ইথারনেট ফ্যাব্রিক:সমস্ত সুইচ জুড়ে পিএফসি (প্রাধান্য প্রবাহ নিয়ন্ত্রণ) এবং ইসিএন (স্পষ্ট ঘনত্ব বিজ্ঞপ্তি) সহ RoCE v2 ব্যবহার করে প্যাকেট ড্রপগুলি নির্মূল করতে এবং RDMA ট্র্যাফিকের জন্য নির্ধারক বিলম্ব নিশ্চিত করতে।
• GPUDirect RDMA:সিপিইউর অংশগ্রহণ ছাড়াই নেটওয়ার্ক জুড়ে সরাসরি জিপিইউ-টু-জিপিইউ যোগাযোগ সক্ষম করা, বিলম্বকে হ্রাস করা এবং কম্পিউটিং কাজের জন্য সিপিইউ সংস্থানগুলি মুক্ত করা।
• সব জায়গায় হার্ডওয়্যার ডাউনলোডঃট্রান্সপোর্ট, সিকিউরিটি (আইপিএসইসি/এমএসিএসইসি) এবং স্টোরেজ প্রোটোকলগুলিকে অ্যাডাপ্টারে অফলোড করা, অ্যাপ্লিকেশন লজিকের জন্য সিপিইউ চক্র মুক্ত করা।
• অ্যাক্টিভ-অ্যাক্টিভ রিডন্ডান্সিঃ৪০০ গিগাবাইট/সেকেন্ডের সমষ্টিগত ব্যান্ডউইথ এবং সাব-সেকেন্ড পুনরুদ্ধারের সাথে স্বয়ংক্রিয় ব্যর্থতার জন্য লিংক সমষ্টি (এলএসিপি) মোডে উভয় QSFP112 পোর্ট ব্যবহার করে।
• ইন্টেলিজেন্ট ট্রাফিক ইঞ্জিনিয়ারিং:অ্যাডাপ্টিভ রাউটিং এবং আউট-অফ-অর্ডার প্যাকেট ডেলিভারি জনাকীর্ণতা হটস্পট এড়াতে এবং ফ্যাব্রিক ব্যবহার সর্বাধিক করতে।
• ব্যাপক টেলিমেট্রিঃইন-ব্যান্ড নেটওয়ার্ক টেলিমেট্রি (আইএনটি) এবং প্রতি প্রবাহ পর্যবেক্ষণের জন্য সক্রিয় ঘনত্ব সনাক্তকরণ এবং ক্ষমতা পরিকল্পনা।

সমাধান সম্পূর্ণরূপেMCX623106AN-CDAT সামঞ্জস্যপূর্ণএনভিআইডিআইএ জিপিইউ প্ল্যাটফর্ম (এইচজিএক্স, ডিজিএক্স) এবং ডেল, এইচপিই, সুপারমাইক্রো এবং লেনোভোর শীর্ষস্থানীয় সিপিইউ সার্ভারগুলির সাথে। স্টোরেজের জন্য, আর্কিটেকচারটি 15μs এর নিচে লেটেন্সি সহ রোসি-তে এনভিএম-ওএফ সমর্থন করে,বড় আকারের প্রশিক্ষণ ক্লাস্টারগুলির জন্য ভাগ করা বিশিষ্ট স্টোরেজ সক্ষম করা.

3এনভিআইডিআইএ মেলানোক্স এমসিএক্স 623106 এএন-সিডিএটির ভূমিকা ও মূল বৈশিষ্ট্য

এই সমাধানের মৌলিক উপাদান হিসাবে,এনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটিআর্কিটেকচারের চারটি গুরুত্বপূর্ণ ভূমিকা পালন করে:

প্রধান প্রযুক্তিগত বিশেষ উল্লেখMCX623106AN-CDAT ডেটা শীটএর মধ্যে রয়েছে বিস্তৃত অফলোড ক্ষমতা (চেকসাম, এলএসও/এলআরও, ভিএলএএন স্ট্রিপিং/ইনসেপশন, সর্বোচ্চ ১২৮ টি ক্যোয়ার সহ আরএসএস), উন্নত জ্যাম নিয়ন্ত্রণ অ্যালগরিদম,এবং এনভিআইডিআইএর সমষ্টিগত যোগাযোগ লাইব্রেরি (এনসিসিএল) এর জন্য সম্পূর্ণ সমর্থন.MCX623106AN-CDAT স্পেসিফিকেশনএছাড়াও 100GbE এবং 50GbE সামঞ্জস্যের জন্য সমর্থনকে তুলে ধরতে হবে, যা মিশ্র গতির পরিবেশে স্থাপনের নমনীয়তা প্রদান করে।

4. মোতায়েন ও স্কেলিং সুপারিশ

গ্রিনফিল্ড এআই ক্লাস্টারগুলির জন্য, আমরা 200GbE অ্যাক্সেস এবং 800GbE স্পাইন আপলিঙ্ক সহ একটি দ্বি-স্তরীয় পাতার-পিঠের টপোলজি প্রস্তাব করি। প্রতিটি সার্ভার একটি হোস্ট করেMCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ডউভয় QSFP112 পোর্ট পৃথক পাতার সুইচ সংযুক্ত redundancy জন্য। RoCE ফ্যাব্রিক সব সুইচ জুড়ে সামঞ্জস্যপূর্ণ QoS কনফিগারেশন প্রয়োজন বিশেষ করে,PFC অগ্রাধিকার 3 (RDMA সমষ্টিগত ট্রাফিকের জন্য) এবং অগ্রাধিকার 4 (সংরক্ষণের জন্য), একই ট্র্যাফিক ক্লাসগুলিতে ইসিএন চিহ্নিতকরণের সাথে। আমরা পর্যবেক্ষণ এবং ত্রুটি সমাধান সহজ করার জন্য RDMA, পরিচালনা, সঞ্চয়স্থান এবং ভাড়াটে ট্র্যাফিকের জন্য পৃথক ভিএলএএনগুলি উত্সর্গ করার পরামর্শ দিই।

বিদ্যমান 100GbE অবকাঠামো সহ ব্রাউনফিল্ড পরিবেশের জন্য,MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানকারণ অ্যাডাপ্টারটি 100GbE QSFP56 অপটিক্সের সাথে পিছনে সামঞ্জস্যপূর্ণ, বিদ্যমান ক্যাবলিং 200GbE-এ পর্যায়ক্রমে আপগ্রেড করার সময় পুনরায় ব্যবহার করা যেতে পারে।অ্যাডাপ্টারটি বাধ্যতামূলক RoCE সক্ষম না করে স্ট্যান্ডার্ড ইথারনেট সুইচিং সমর্থন করে, যাতে দলগুলি প্রথমে হার্ডওয়্যারটি স্থাপন করতে পারে এবং ফ্যাব্রিকটি পরিপক্ক হওয়ার সাথে সাথে ধাপে ধাপে আরডিএমএ ক্ষমতা সক্রিয় করতে পারে এবং ওয়ার্কলোডগুলি রূপান্তরকে ন্যায়সঙ্গত করে।

৫০০ নডের বাইরে সমাধানটি স্কেল করার জন্য অতিরিক্ত বিবেচনা প্রয়োজন।আমরা অন্তর্নির্মিত টেলিমেট্রি এবং গতিশীল ইসিএন থ্রেশহোল্ড সামঞ্জস্যের সাথে এনভিআইডিআইএ স্পেকট্রাম -4 সুইচ ব্যবহার করে একটি ডেডিকেটেড রস কনজেসন ম্যানেজমেন্ট কৌশল বাস্তবায়ন করার পরামর্শ দিই. 1,000 নোড অতিক্রমকারী ক্লাস্টারগুলির জন্য, শেষ থেকে শেষ দৃশ্যমানতা এবং স্বয়ংক্রিয় কনফিগারেশন ধারাবাহিকতা বজায় রাখার জন্য একটি কেন্দ্রীভূত ফ্যাব্রিক ম্যানেজমেন্ট কন্ট্রোলার (যেমন, এনভিআইডিআইএ নেটকিউ) স্থাপন করার কথা বিবেচনা করুন।বিক্রির জন্য MCX623106AN-CDATএনভিআইডিআইএর গ্লোবাল চ্যানেল পার্টনারদের মাধ্যমে বিস্তৃত ওয়ারেন্টি এবং ফার্মওয়্যার আপডেট সমর্থন অন্তর্ভুক্ত, স্কেলে দীর্ঘমেয়াদী নির্ভরযোগ্যতা নিশ্চিত।

5অপারেশন, মনিটরিং, সমস্যা সমাধান ও অপ্টিমাইজেশান

RoCE ফ্যাব্রিকের কার্যকর অপারেশনের জন্য একাধিক স্তরের মনিটরিং এবং ত্রুটি সমাধানের কৌশল প্রয়োজনঃ

• অ্যাডাপ্টার-লেভেল টেলিমেট্রিঃদ্যMCX623106AN-CDAT স্পেসিফিকেশনPFC ফ্রেম, ECN- চিহ্নিত প্যাকেট, বাদ দেওয়া ফ্রেম, লিংক ত্রুটি এবং ঘনত্বের সময়গুলির জন্য প্রতি পোর্ট কাউন্টার অন্তর্ভুক্ত।এমএলএক্স৫সিএমডি,ইথুল, অথবা এনভিআইডিআইএ ফার্মওয়্যার সরঞ্জামগুলি এই মেট্রিকগুলি প্রমেথিয়াস / গ্রাফানা ড্যাশবোর্ডে যথাযথ সতর্কতার সাথে রপ্তানি করতে পারে।
• ইন-ব্যান্ড নেটওয়ার্ক টেলিমেট্রি (আইএনটি):এডাপ্টারের আইএনটি সাপোর্ট ব্যবহার করে ফ্লেক লেটেন্সি এবং ফ্যাব্রিক জুড়ে সারি গভীরতা ট্র্যাক করুন, যা মাইক্রো-কংগজেশন উত্সগুলির সুনির্দিষ্ট সনাক্তকরণকে সক্ষম করে।
• সুইচ-লেভেল মনিটরিংঃবুফারের দখল, বিরতি ফ্রেম গণনা, সারি গভীরতা এবং ECN চিহ্নিতকরণের হারগুলি মেরুদণ্ড এবং পাতা সুইচগুলিতে পর্যবেক্ষণ করুন।বিরতি ফ্রেমের আকস্মিক বৃদ্ধি মাইক্রো-কংগজেশন নির্দেশ করে যা ইসিএন থ্রেশহোল্ড টিউনিং প্রয়োজন হতে পারে.
• অ্যাপ্লিকেশন-স্তরের মেট্রিক্সঃআরডিএমএ অ্যাপ্লিকেশনগুলির জন্য, এনভিআইডিআইএ লাইবিভার্বস এবং আরডিএমএ-কোর লাইব্রেরি ব্যবহার করে ডাব্লুআর (ওয়ার্ক অনুরোধ) সমাপ্তির বিলম্ব, সিকিউ (সম্পূর্ণতা সারি) ওভারফ্লো ইভেন্ট এবং কিউপি (ক্যু জোড়া) ত্রুটি গণনা।

সাধারণ সমস্যা সমাধানের দৃশ্যকল্প এবং প্রস্তাবিত পদক্ষেপঃ

• RoCE পারফরম্যান্সের অবনতিঃPFC সব সুইচ পোর্ট এ সক্ষম করা হয় এবং DSCP চিহ্নিত সুইচ কনফিগারেশন মেলে যাচাই করুন.MCX623106AN-CDAT ডেটা শীটআপনার ওয়ার্কলোড প্রোফাইলের জন্য প্রস্তাবিত মানগুলির সাথে বাফার বরাদ্দ সেটিংস যাচাই করতে।
• লিংক ফ্ল্যাপিং বা সিআরসি ত্রুটিঃQSFP112 ক্যাবলের গুণমান পরীক্ষা করুন (২০০G AOC বা DAC স্পেসিফিকেশনের সাথে সম্মতি নিশ্চিত করুন) এবং নিশ্চিত করুন যে অ্যাডাপ্টারের ফার্মওয়্যারটি সর্বশেষ সংস্করণে আপডেট করা হয়েছে।
• জিপিইউ ডাইরেক্ট পারফরম্যান্স সমস্যাঃনিশ্চিত করুন যে GPUDirect সঠিকভাবে শুরু করা হয়েছে এবং পিসিআইই টোপোলজি মধ্যবর্তী সুইচিং ছাড়াই পিয়ার-টু-পিয়ার ডিএমএ সমর্থন করে।
• পিএফসি ব্লকডাউন বা বিরতি ঝড়ঃভুলভাবে কনফিগার করা অগ্রাধিকারগুলির জন্য পরীক্ষা করুন এবং নিশ্চিত করুন যে পিএফসি কেবলমাত্র RoCE ট্র্যাফিক ক্লাসগুলিতে সক্ষম করা হয়েছে (পরিচালনা বা স্টোরেজ ট্র্যাফিকের ক্ষেত্রে নয়) ।

অপ্টিমাইজেশনের জন্য, আমরা ব্যাপক ল্যাব ভ্যালিডেশনের উপর ভিত্তি করে নিম্নলিখিত টিউনিং পরামিতিগুলি সুপারিশ করিঃ

• বিচ্ছিন্ন সমন্বয় (মোডারেশন):সিপিইউ দক্ষতা বজায় রেখে লেটেন্সি কমিয়ে আনার জন্য এআই প্রশিক্ষণ ওয়ার্কলোডের জন্য 2 ¢ 4 μs এ সেট করুন।
• আরডিএমএ এমটিইউ:প্রোটোকল ওভারহেড কমাতে এবং থ্রুপুট উন্নত করার জন্য সমস্ত কম যোগাযোগের জন্য 4096 বাইটে বৃদ্ধি করুন।
• আরএসএস (রিসিভ সাইড স্কেলিং):প্রসেসিং বিতরণ এবং একক-কোর স্যাচুরেশন এড়ানোর জন্য নন-আরডিএমএ ট্র্যাফিকের জন্য একাধিক সিপিইউ কোর জুড়ে কনফিগার করুন।
• ইসিএন থ্রেশহোল্ডঃঅগ্রাধিকার 3 ট্র্যাফিকের জন্য মিনি-থ্রেশহোল্ডটি বাফারের 40% এবং সর্বাধিক-থ্রেশহোল্ডটি 75% এ সেট করুন, পর্যবেক্ষণ করা ঘনত্বের নিদর্শন এবং কাজের চাপের বৈশিষ্ট্যগুলির ভিত্তিতে সামঞ্জস্য করুন।

6. সংক্ষিপ্ত বিবরণ এবং মূল্য মূল্যায়ন

দ্যএনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটিসমাধানটি আধুনিক এআই-স্কেল ডেটা সেন্টারগুলির জন্য রূপান্তরিত মান সরবরাহ করে। সফটওয়্যার ভিত্তিক টিসিপি/আইপিকে হার্ডওয়্যার-গতিসম্পন্ন আরডিএমএ/আরওসিই এবং জিপিইউডিরেক্টের সাথে প্রতিস্থাপন করে,সংস্থাগুলি অ্যাপ্লিকেশন-স্তরের লেটেন্সি হ্রাস 8 ¢ 10x অর্জন করতে পারে, সিপিইউ নেটওয়ার্ক ওভারহেড 85% এরও বেশি হ্রাস এবং জিপিইউ ব্যবহার 70% এর নিচে থেকে 95% এরও বেশি বৃদ্ধি।MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ডএটি ২০০ গিগাবাইট ইন্টারনেট ব্যবহারের জন্য একটি ব্যয়বহুল পথ প্রদান করে এবং বিনিয়োগ সুরক্ষার মাধ্যমে ১০০ গিগাবাইট ইন্টারনেট ব্যবহারের জন্য ব্যাক-কম্প্যাটিবিলিটি এবং ভবিষ্যতের জন্য প্রস্তুত অপসারণ ক্ষমতা প্রদান করে।

মোট মালিকানার খরচ মূল্যায়ন করার সময়,MCX623106AN-CDAT দামউল্লেখযোগ্য অপারেশনাল সঞ্চয় দ্বারা প্রতিস্থাপিত হয়ঃ প্রশিক্ষণের সময় হ্রাস (বাজার-সময় ত্বরান্বিত), কম সার্ভার সংখ্যা (উচ্চ জিপিইউ ব্যবহারের কারণে),কম শীতল খরচ (<20W শক্তি খরচ ধন্যবাদ), এবং পৃথক ইনফিনিব্যান্ড ফ্যাব্রিকের নির্মূল।MCX623106AN-CDAT সামঞ্জস্যপূর্ণএনভিআইডিআইএ এনসিসিএল, পাইটর্চ, টেনসরফ্লো এবং এমপিআই লাইব্রেরি সহ প্রধান এআই এবং এইচপিসি সফ্টওয়্যার স্ট্যাকগুলির সাথে, এন্টারপ্রাইজ, ক্লাউড এবং গবেষণা স্থাপনার মধ্যে বিস্তৃত প্রয়োগযোগ্যতা নিশ্চিত করে।

বিস্তারিত স্থাপনার স্ক্রিপ্ট, কনফিগারেশন টেমপ্লেট এবং পারফরম্যান্স বেঞ্চমার্ক রিপোর্টগুলির জন্য, দয়া করে অফিসিয়ালMCX623106AN-CDAT ডেটা শীটএবং এনভিআইডিআইএর ব্যাপক নেটওয়ার্কিং ডকুমেন্টেশন পোর্টাল। এই হোয়াইট পেপারটি একটি ভিত্তি হিসেবে কাজ করেএবং এর উপকারিতা পরিমাপযোগ্য.MCX623106AN-CDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ডএটি কেবল একটি অ্যাডাপ্টার নয়, এটি ভবিষ্যতের এআই-প্রস্তুত, অতি-নিম্ন বিলম্বিত ডেটা সেন্টারের জন্য একটি কৌশলগত সক্ষমক।