RDMA/RoCE কম-ল্যাটেনসি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট বৃদ্ধি

এই প্রযুক্তিগত হোয়াইট পেপারটি স্থপতি, প্রাক-বিক্রয় প্রকৌশলী এবং অপারেশন লিডকে একটি বিস্তৃত রেফারেন্স ডিজাইন প্রদান করে যাএনভিডিয়া মেলানোক্স এমসিএক্স৬৩১৪৩২এএন-এডএবি. এই সমাধানটি আধুনিক ডেটা সেন্টারের চ্যালেঞ্জগুলিকে মোকাবেলা করে, যথা, পুরানো নেটওয়ার্ক স্ট্যাক থেকে সিপিইউ ওভারহেড, অসামঞ্জস্যপূর্ণ স্টোরেজ লেটেন্সি এবং অল্প ব্যবহৃত 25GbE ব্যান্ডউইথMCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ডএকটি উচ্চ-কার্যকারিতা, সংযুক্ত RDMA / RoCE ফ্যাব্রিকের ভিত্তি হিসাবে।

1. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

প্রচলিত ডেটা সেন্টার নেটওয়ার্কগুলি কম্পিউটিং এবং স্টোরেজ ট্র্যাফিক উভয়ের জন্য টিসিপি / আইপি-র উপর নির্ভর করে, সিপিইউকে প্রতিটি প্যাকেট প্রক্রিয়া করতে বাধ্য করে। বিতরণকৃত ডাটাবেস চালানো পরিবেশে,এনভিএম-ওভার-ফ্যাব্রিকস (এনভিএম-ওএফ)এই সফটওয়্যার ভিত্তিক পদ্ধতি তিনটি মৌলিক সমস্যা সৃষ্টি করেঃ উচ্চ এবং পরিবর্তনশীল বিলম্ব (প্রায়শই স্টোরেজ অপারেশনের জন্য 50μs অতিক্রম করে),উল্লেখযোগ্য সিপিইউ কর (নেটওয়ার্ক প্রসেসিংয়ের জন্য ৩০% থেকে ৬০%), এবং প্রোটোকল ওভারহেডের কারণে শারীরিক ব্যান্ডউইথের অকার্যকর ব্যবহার। যেহেতু 25GbE স্ট্যান্ডার্ড অ্যাক্সেস স্তরের গতিতে পরিণত হয়, এই অকার্যকারিতা আর গ্রহণযোগ্য নয়।এই সমাধানের লক্ষ্যমাত্রা হল: sub-5μs শেষ থেকে শেষ স্টোরেজ বিলম্ব, নেটওয়ার্ক I/O এর জন্য 10% এরও কম CPU ব্যবহার, এবং প্রতি সার্ভারে দ্বৈত 25GbE পোর্টের সম্পূর্ণ লাইন-রেট ব্যবহার।

2. নেটওয়ার্ক/সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচারটি স্তর 2 এ ক্ষতিহীন ইথারনেট সহ একটি দ্বি-স্তরীয় স্পাইন-লেফ টোপোলজি গ্রহণ করে। কম্পিউটিং এবং স্টোরেজ নোডগুলি লেফ সুইচগুলিতে সমানভাবে বিতরণ করা হয়,RoCEv2 সক্ষম করার জন্য প্রতিটি PFC (Priority Flow Control) এবং ECN (Explicit Congestion Notification) দিয়ে কনফিগার করা হয়েছে. মূল স্থাপত্যগত সিদ্ধান্ত হচ্ছেMCX631432AN-ADAB ConnectX-6 Lx ডুয়াল পোর্ট 25GbE SFP28প্রতিটি সার্ভারে একটি অ্যাডাপ্টার রয়েছে, যা RDMA এর জন্য নেটওয়ার্ক সংযোগ এবং হার্ডওয়্যার অফলোড উভয়ই সরবরাহ করে। RoCE ট্র্যাফিকের জন্য একটি ডেডিকেটেড ডিএসসিপি ভিত্তিক অগ্রাধিকার সারি বরাদ্দ করা হয়, যা সেরা প্রচেষ্টা আইপি ট্র্যাফিক থেকে পৃথক।কেন্দ্রীয় ব্যবস্থাপনা সুইচ কনফিগারেশনের জন্য এনভিআইডিআইএর Cumulus Linux বা SONiC ব্যবহার করে, যখন হোস্ট-সাইড অর্কেস্ট্রেশন NVIDIA OFED স্ট্যাক ব্যবহার করে।

3. এনভিআইডিআইএ Mellanox MCX631432AN-ADAB এর ভূমিকা ও মূল বৈশিষ্ট্য

এই সমাধানের মধ্যে,MCX631432AN-ADABকমোডিটি সার্ভারগুলিকে নিম্ন-ল্যাটেনসি, উচ্চ-থ্রুপুট নোডে রূপান্তর করার জন্য সমালোচনামূলক সক্ষমকারী হিসাবে কাজ করে।MCX631432AN-ADAB ডেটা শীট, অ্যাডাপ্টারে বেশ কয়েকটি উন্নত ক্ষমতা রয়েছে:

• হার্ডওয়্যার RDMA ডাউনলোডঃসিলিকনে সম্পূর্ণ RoCEv2 স্টেট মেশিন, সফটওয়্যার ভিত্তিক পরিবহন প্রক্রিয়াকরণ দূর করে।
• ডুয়াল পোর্ট 25GbE SFP28:পোর্ট প্রতি স্বাধীন পিপিএস প্রসেসিং সহ উভয় সক্রিয় অপটিক্যাল এবং ডিএসি ক্যাবলিং সমর্থন করে।
• PCIe 4.0 x16 হোস্ট ইন্টারফেসঃঅ্যাডাপ্টার এবং হোস্ট মেমরির মধ্যে কোনও বোতলঘাট ছাড়াই 200Gbps পর্যন্ত দ্বি-পন্থী ব্যান্ডউইথ সরবরাহ করে।
• ইনলাইন এনক্রিপশন অফলোডঃআইপিএসইসি এবং টিএলএস প্রসেসিং লাইন রেটে, শূন্য-বিশ্বাস স্টোরেজ নেটওয়ার্কের জন্য গুরুত্বপূর্ণ।
• NVMe-oF ত্বরণঃহার্ডওয়্যার ভিত্তিক কমান্ড ক্যু এবং ডেটা স্থান বিশেষভাবে NVMe/TCP এবং NVMe/RoCE এর জন্য অপ্টিমাইজড।

কর্মকর্তার মতেMCX631432AN-ADAB স্পেসিফিকেশন, অ্যাডাপ্টারটি ৮০০ এনএস এর কম হার্ডওয়্যার লেটেন্সি প্রদান করে এবং প্রতি সেকেন্ডে ২০০ মিলিয়ন বার্তা পর্যন্ত সমর্থন করে।অ্যাপ্লিকেশনগুলি ন্যূনতম কোড পরিবর্তন সহ টিসিপি সকেট থেকে আরডিএমএ ক্রিয়াগুলিতে স্থানান্তর করতে পারেএই সমাধানটি মূল্যায়ন করা সংস্থাগুলির জন্য, এটি লক্ষ করা গুরুত্বপূর্ণ যেMCX631432AN-ADAB সামঞ্জস্যপূর্ণসার্ভার তালিকায় RHEL, উবুন্টু, রকি লিনাক্স এবং উইন্ডোজ সার্ভারের জন্য সার্টিফাইড ড্রাইভার সহ সমস্ত প্রধান OEM প্ল্যাটফর্ম (ডেল পাওয়ারএজ, এইচপিই প্রোলিয়ান্ট, লেনোভো থিংকসিস্টেম এবং সুপারমাইক্রো) অন্তর্ভুক্ত রয়েছে।

4. মোতায়েন ও স্কেলিং সুপারিশ

একটি সাধারণ র্যাক-স্তরের স্থাপনার এই প্যাটার্ন অনুসরণ করেঃ প্রতিটি কম্পিউট বা স্টোরেজ নোড একটিMCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড সমাধান, এর ডুয়াল পোর্টগুলি রিডান্ডান্সির জন্য সক্রিয়-সক্রিয় এলএসিপি বন্ডিং বা পৃথক ফ্যাব্রিক পাথ হিসাবে কনফিগার করা হয় (একটি পাতায়-এ, একটি পাতায়-বি) । শারীরিক টপোলজি সহজঃ

• প্রতিটি সার্ভার → দুটি 25GbE লিঙ্ক → দুটি পৃথক পাতার সুইচ (হিটলেস ব্যর্থতা সমর্থন করে) ।
• পাতা সুইচ → 100GbE আপলিংক → দুটি স্পিন সুইচ পূর্ণ-মেশি অ-ব্লকিংয়ের জন্য।
• ডিএসসিপি মার্কিং (যেমন, ৪৬) এই শ্রেণীতে PFC সক্ষম সমস্ত সুইচ জুড়ে RoCE ট্র্যাফিকের জন্য।

200 সার্ভারের বাইরে স্কেল করার জন্য, আমরা যথাক্রমে স্টোরেজ এবং কম্পিউটারের জন্য একটি পৃথক RoCE ক্লাস্টার স্থাপন করার পরামর্শ দিই, অথবা স্টোরেজ RoCE ট্র্যাফিকের অগ্রাধিকার নিশ্চিত করার জন্য QoS নীতি ব্যবহার করে।পাতার সুইচ এ বাফার টিউনিং এছাড়াও সমালোচনামূলক: প্রতি পোর্টে শেয়ার্ড বাফারের আকার 25GbE পোর্টগুলির জন্য 12MB পর্যন্ত বৃদ্ধি করা উচিত যাতে প্যাকেট ক্ষতি ছাড়াই মাইক্রো-বার্স্টগুলি শোষণ করা যায়। সংস্থাগুলি প্যাকেটের ক্ষতি ছাড়াইবিক্রির জন্য MCX631432AN-ADABভলিউম মূল্য নির্ধারণের জন্য বিক্রেতা ক্যাটালগ, এবংMCX631432AN-ADAB দামপ্রতি নোড সাধারণত CPU সঞ্চয় এবং স্টোরেজ দক্ষতা লাভের কারণে ছয় মাসের মধ্যে amortizes।

5অপারেশন, মনিটরিং ও পারফরম্যান্স টিউনিং

নিচের সরঞ্জাম ও পদ্ধতিগুলি প্রয়োগের পরে স্থায়ীভাবে কম লেটেন্সি নিশ্চিত করেঃ

• হোস্ট-সাইড মনিটরিংঃব্যবহারmlx_perfএবংইথুল -Sপ্রতি সারিতে আরডিএমএ কাউন্টার, পিসিআইই পুনরায় সম্প্রচার এবং রোসিই ঘনত্বের চিহ্নগুলি ট্র্যাক করতে।
• সুইচ টেলিমেট্রিঃPFC ওয়াচডগ এবং ECN মার্কিং হিস্টোগ্রামগুলিকে উৎপাদনকে প্রভাবিত করার আগে হেড-অফ-লাইন ব্লকিং সনাক্ত করতে সক্ষম করুন।
• টিউনিং সুপারিশঃসেটirqসমীকরণআরডিএমএ সমাপ্তি সারিগুলির জন্য সিপিইউ কোরগুলি বিচ্ছিন্ন করতে; পিসিআইই সর্বোচ্চ পাঠ অনুরোধের আকার 4096 বাইটে বৃদ্ধি করতে; মিথ্যা ঘনত্ব সংকেত এড়ানোর জন্য সেরা প্রচেষ্টা সারিতে ইসিএন অক্ষম করুন।
• ফার্মওয়্যার এবং ড্রাইভারের জীবনচক্রঃNVIDIA OFED রিলিজ নোট সাবস্ক্রাইব করুন;MCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ডডুয়াল ইমেজ ব্যাংকের কারণে হোস্ট পুনরায় বুট না করে ইন-সাইট ফার্মওয়্যার আপগ্রেড সমর্থন করে।

ত্রুটি সমাধানের জন্য, অ্যাডাপ্টারের অন্তর্নির্মিত ত্রুটি গণক (যেমন, প্রতীক ত্রুটি, স্থানীয় লিঙ্ক অখণ্ডতা ব্যর্থতা) দ্রুত নির্ণয়ের ব্যবস্থা করে। নতুন সুইচ মডেলগুলির সাথে সংহত করার সময়,MCX631432AN-ADAB সামঞ্জস্যপূর্ণএনভিআইডিআইএ দ্বারা রক্ষণাবেক্ষণ করা ইন্টারঅপারিবিলিটি ম্যাট্রিক্স।

6. সংক্ষিপ্ত বিবরণ এবং মূল্য মূল্যায়ন

দ্যএনভিডিয়া মেলানোক্স এমসিএক্স৬৩১৪৩২এএন-এডএবি-ভিত্তিক সমাধান তিনটি মাত্রা জুড়ে পরিমাপযোগ্য মান প্রদান করেঃ কর্মক্ষমতা, টিসিও এবং অপারেশনাল সরলতা।CPU থেকে অ্যাডাপ্টারে স্টোরেজ প্রোটোকল প্রসেসিং, সংস্থাগুলি অ্যাপ্লিকেশন লজিকের জন্য 40% এরও বেশি সিপিইউ চক্র মুক্ত করার সময় 5μs এর নীচে এনভিএম-ওএফ লেটেন্সি অর্জন করে।এবং পরিপক্ক NVIDIA OFED সফটওয়্যার স্ট্যাক ইন্টিগ্রেশন ঝুঁকি হ্রাস. গ্রিনফিল্ড 25GbE স্থাপনার পরিকল্পনা বা বিদ্যমান TCP-bound অবকাঠামো আধুনিকীকরণের জন্য, এই প্রযুক্তিগত সমাধানটিMCX631432AN-ADAB ConnectX-6 Lx ডুয়াল পোর্ট 25GbE SFP28এটি RDMA/RoCE সাফল্যের একটি প্রমাণিত, স্কেলযোগ্য এবং বিনিয়োগ সুরক্ষিত পথ।