NVIDIA Mellanox MCX4121A-ACAT সার্ভার অ্যাডাপ্টার প্রযুক্তিগত সমাধান: RDMA/RoCE লো-ল্যাটেন্সি তৈরি করা

NVIDIA Mellanox MCX4121A-ACAT সার্ভার অ্যাডাপ্টার প্রযুক্তিগত সমাধানঃ একটি RDMA / RoCE নিম্ন-ল্যাটেনসি, উচ্চ-থ্রুপুট ডেটা সেন্টার অ্যাক্সেস স্তর তৈরি করা

সলিউশন কোর:MCX4121A-ACAT♫ ব্র্যান্ডঃ এনভিডিয়া মেলানোক্স ♫ প্রযুক্তি ফোকাসঃ RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট & সার্ভার থ্রুপুট অপ্টিমাইজেশান

1. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

এন্টারপ্রাইজ ডেটা সেন্টারগুলি হাইব্রিড ক্লাউড আর্কিটেকচার, বড় আকারের এআই মডেল প্রশিক্ষণ এবং বিতরণকৃত স্টোরেজ সিস্টেমের দিকে তাদের বিবর্তন অব্যাহত রেখেছে,সার্ভার অ্যাক্সেস স্তর একটি সমালোচনামূলক বোতল ঘাঁটি হয়ে উঠেছে যা সামগ্রিক অ্যাপ্লিকেশন কর্মক্ষমতা প্রভাবিত করে. ঐতিহ্যগত 10GbE অ্যাডাপ্টার এবং TCP/IP প্রোটোকল স্ট্যাক আধুনিক ওয়ার্কলোড দ্বারা প্রয়োজনীয় নির্ধারক নিম্ন বিলম্ব এবং উচ্চ থ্রুপুট প্রদানের জন্য সংগ্রাম করে।তিনটি বেদনাদায়ক পয়েন্ট দেখা দিয়েছে: নেটওয়ার্ক প্রোটোকল প্রক্রিয়াকরণ থেকে অত্যধিক সিপিইউ ওভারহেড, বিতরণকৃত স্টোরেজ অ্যাক্সেসে অনির্দেশ্য লেটেনসি এবং ভার্চুয়ালাইজেশন এবং কনটেইনার পরিবেশের জন্য সীমিত স্কেলযোগ্যতা।

দ্যএনভিডিয়া মেলানোক্স এমসিএক্স ৪১২১এ-এসিএটিএটি একটি পরিপক্ক, উচ্চ-পারফরম্যান্স 25GbE অ্যাক্সেস সমাধান সরবরাহ করে এই চ্যালেঞ্জগুলি মোকাবেলা করার জন্য ডিজাইন করা হয়েছে। এই প্রযুক্তিগত সমাধানে মূল প্রয়োজনীয়তাগুলির মধ্যে রয়েছেঃস্টোরেজ এবং এআই ওয়ার্কলোডের জন্য sub-5μs RDMA লেটেন্সিটিসিপি/আরডিএমএ প্রোটোকলগুলির হার্ডওয়্যার অফলোড, সিপিইউ ব্যবহার 40% পর্যন্ত হ্রাস করতে, বিদ্যমান 10GbE/25GbE সুইচিং অবকাঠামোর সাথে নির্বিঘ্ন সামঞ্জস্য,এবং SR-IOV এবং VirtIO সহ আধুনিক ভার্চুয়ালাইজেশন প্রযুক্তির জন্য সমর্থন.

2. সামগ্রিক নেটওয়ার্ক ও সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচারটি একটি ডেডিকেটেড RoCEv2 ট্রান্সপোর্ট লেয়ারের সাথে একটি স্ট্যান্ডার্ড লিফ-স্পিন টোপোলজি ব্যবহার করে। অ্যাক্সেস লেয়ার, যেখানে সার্ভারগুলি ফ্যাব্রিকের সাথে সংযুক্ত হয়, এই সমাধানের ফোকাস,সঙ্গেMCX4121A-ACAT ইথারনেট অ্যাডাপ্টার কার্ডসমস্ত কম্পিউটার এবং স্টোরেজ নোডের জন্য ভিত্তিগত বিল্ডিং ব্লক হিসেবে কাজ করে।

আর্কিটেকচারটি নিম্নলিখিত প্রধান উপাদানগুলির সমন্বয়ে গঠিতঃ

• সার্ভার অ্যাক্সেস স্তরঃপ্রতিটি কম্পিউটিং এবং স্টোরেজ সার্ভার এক বা দুটি MCX4121A-ACAT অ্যাডাপ্টার দিয়ে সজ্জিত, যা পাতার সুইচগুলিতে দ্বৈত-পোর্ট 25GbE সংযোগ সরবরাহ করে।লিংক সমষ্টি (LACP) এবং সক্রিয় / স্ট্যান্ডবাই ব্যর্থতার জন্য কনফিগার করা হয়.
• পাতা-বাঁড়ির কাপড়:RoCEv2-সমর্থিত সুইচগুলির একটি সেট (উদাহরণস্বরূপ, এনভিআইডিআইএ স্পেকট্রাম) পাতার মেরুদণ্ডের ফ্যাব্রিক গঠন করে, PFC এবং ECN সমগ্র নেটওয়ার্কে ক্ষতিহীন RoCE পরিবহন নিশ্চিত করতে সক্ষম।
• স্টোরেজ ফ্যাব্রিকঃএনভিএম-ওএফ লক্ষ্যগুলি ডেডিকেটেড স্টোরেজ সার্ভারে স্থাপন করা হয়, সরাসরি মেমরি অ্যাক্সেসের জন্য আরডিএমএ ব্যবহার করে এবং কার্নেল টিসিপি / আইপি ওভারহেডকে বাইপাস করে।
• ম্যানেজমেন্ট ও অর্কেস্ট্রেশন:এনভিআইডিআইএ নেটকিউ বা তৃতীয় পক্ষের টেলিমেট্রি সরঞ্জামগুলির মাধ্যমে ইউনিফাইড ম্যানেজমেন্ট টিস্যু স্বাস্থ্য এবং আরডিএমএ পারফরম্যান্সের রিয়েল-টাইম দৃশ্যমানতা সরবরাহ করে।

দ্যMCX4121A-ACAT ConnectX-4 Lx ডুয়াল পোর্ট 25GbE SFP28নকশাটি নিশ্চিত করে যে সার্ভারগুলি দুটি স্বাধীন পাতার সুইচগুলিতে দ্বৈত-হোম করা যেতে পারে, RDMA এবং নিয়মিত ইথারনেট ট্র্যাফিক উভয়ের জন্য লোড ভারসাম্য সরবরাহ করার সময় ব্যর্থতার একক পয়েন্টগুলি দূর করে।

3. এনভিআইডিআইএ মেলানোক্স এমসিএক্স 4121 এ-এসিএটির ভূমিকা ও মূল বৈশিষ্ট্য

দ্যএনভিডিয়া মেলানোক্স এমসিএক্স ৪১২১এ-এসিএটিএই সমাধানের মূল ভিত্তি হ'ল হার্ডওয়্যার-এক্সিলারেটেড আরডিএমএ এবং উন্নত অফলোড ক্ষমতা সরবরাহ করা।MCX4121A-ACAT ডেটা শীটএবংMCX4121A-ACAT স্পেসিফিকেশন, অ্যাডাপ্টারে নিম্নলিখিত মূল প্রযুক্তিগুলি অন্তর্ভুক্ত রয়েছেঃ

দ্যMCX4121A-ACAT সামঞ্জস্যপূর্ণইকোসিস্টেমটি প্রধান সার্ভার প্ল্যাটফর্মগুলি (ডেল, এইচপিই, লেনোভো, সুপারমাইক্রো ইত্যাদি), অপারেটিং সিস্টেমগুলি (লিনাক্স, উইন্ডোজ, ভিএমওয়্যার ইএসএক্সআই) এবং স্যুইচ সরবরাহকারীদের জুড়ে বিস্তৃত, বিক্রেতার লক ইন ছাড়াই নির্বিঘ্ন সংহতকরণ নিশ্চিত করে.এই বিস্তৃত সামঞ্জস্যতাMCX4121A-ACAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানবিভিন্ন ব্যবসায়িক পরিবেশে গৃহীত হতে হবে।

4. ডিপ্লয়মেন্ট এবং স্কেলাবিলিটি সুপারিশ (সাধারণ টপোলজি সহ)

সংস্থাগুলির জন্য যাবিক্রির জন্য MCX4121A-ACATকর্মক্ষেত্রের উন্নয়ন ও কর্মক্ষমতা বৃদ্ধির জন্য একটি ধাপে ধাপে পদ্ধতির সুপারিশ করা হয়।

• প্রথম ধাপ (পাইলট ∙ এআই ইনফারেন্স ক্লাস্টার):প্রতিটি এআই ইনফারেন্স সার্ভারে দুটি MCX4121A-ACAT অ্যাডাপ্টার স্থাপন করুন (বিভিন্ন পাতার সুইচগুলিতে দ্বৈত-হোমড) ।PFC/ECN এর সাথে RoCEv2 কনফিগার করুন এবং NVIDIA এর MLNX_OFED বা ইন-বক্স ড্রাইভার স্ট্যাক ব্যবহার করে কর্মক্ষমতা যাচাই করুন.
• ধাপ ২ (পড এক্সপেনশন ∙ স্টোরেজ এবং কম্পিউটিং):48-96 কম্পিউট নোড এবং 8-16 স্টোরেজ সার্ভারে স্থাপনের প্রসারিত করুন। নির্ধারিত স্টোরেজ নোডগুলিতে NVMe-oF লক্ষ্য / সূচনা অফলোড সক্ষম করুন। ব্যান্ডউইথ স্কেলিংয়ের জন্য লিঙ্ক সমষ্টি (বন্ডিং) ব্যবহার করুন।
• ধাপ ৩ (মাল্টি-র্যাক / মাল্টি-ডেটা সেন্টার):একই RoCEv2 ফ্যাব্রিক ব্যবহার করে র্যাক জুড়ে RDMA সংযোগ প্রসারিত করুন। একই সময়ে RDMA পরিবহন সংরক্ষণ করে ইন্টার-সাইটের জন্য MACsec- এনক্রিপ্ট করা DCI লিঙ্কগুলি বিবেচনা করুন।

একটি মাঝারি আকারের এআই/এইচপিসি পডের জন্য একটি সাধারণ টপোলজিতে নিম্নলিখিতগুলি অন্তর্ভুক্ত থাকবেঃ 16 টি কম্পিউট সার্ভার (প্রতিটিতে 2 × 25GbE মোট ব্যান্ডউইথ = 50GbE কার্যকর জন্য দুটি MCX4121A-ACAT অ্যাডাপ্টার রয়েছে),৪টি স্টোরেজ সার্ভার (NVMe-oF লক্ষ্যমাত্রা), এবং ২-৪টি পাতার সুইচ (RoCEv2-সক্ষম) । মেরুদণ্ড স্তরটি ২-৪টি উচ্চ ক্ষমতা সম্পন্ন সুইচ নিয়ে গঠিত।কনটেইনারাইজড এআই ওয়ার্কলোডগুলিতে ডেডিকেটেড ভার্চুয়াল ফাংশন বরাদ্দ করতে অ্যাডাপ্টারগুলি এসআর-আইওভি দিয়ে কনফিগার করা হয়েছে, যা পূর্বাভাসযোগ্য কর্মক্ষমতা এবং বিচ্ছিন্নতা নিশ্চিত করে।

5অপারেশন মনিটরিং, সমস্যা সমাধান ও অপ্টিমাইজেশান

দ্যএনভিডিয়া মেলানোক্স এমসিএক্স ৪১২১এ-এসিএটিদৈনন্দিন ব্যবস্থাপনা সহজতর করার জন্য ব্যাপক অপারেশনাল টুলস অন্তর্ভুক্ত করে। মূল পর্যবেক্ষণ এবং ত্রুটি সমাধানের অনুশীলনগুলির মধ্যে রয়েছেঃ

• রিয়েল-টাইম টেলিমেট্রিঃপোর্ট ব্যবহার, সিআরসি ত্রুটি, পিএফসি বিরতি এবং ইসিএন মার্কিং ইভেন্টগুলি পর্যবেক্ষণ করতে এনভিআইডিএ নেটকিউ, পারফসোনার বা জিএনএমআই-ভিত্তিক স্ট্রিমিং টেলিমেট্রি ব্যবহার করুন।এই মেট্রিকগুলি RDMA কর্মক্ষমতা প্রভাবিত congestion হটস্পট সনাক্ত করার জন্য সমালোচনামূলক.
• ড্রাইভার এবং ফার্মওয়্যার ম্যানেজমেন্টঃনিয়মিত ড্রাইভার (MLNX_OFED বা ইন-বক্স লিনাক্স ড্রাইভার) আপডেট করুন এবং সর্বশেষ স্থিতিশীল সংস্করণে অ্যাডাপ্টার ফার্মওয়্যার আপডেট করুন।MCX4121A-ACAT ডেটা শীটপ্রস্তাবিত ফার্মওয়্যার সংস্করণ এবং পরিচিত সমস্যা সমাধানের জন্য।
• পারফরম্যান্স টিউনিংঃওয়ার্কলোড প্রোফাইলের উপর ভিত্তি করে পিএফসি থ্রেশহোল্ড এবং ইসিএন মার্কিং স্তরগুলি সামঞ্জস্য করুন। স্টোরেজ ওয়ার্কলোডগুলির জন্য, উচ্চতর অগ্রাধিকার শ্রেণীর সাথে আরডিএমএ ট্র্যাফিককে অগ্রাধিকার দিন (উদাহরণস্বরূপ, সিওএস 3) ।থ্রুপুট অপ্টিমাইজ করার জন্য বিরতি সমন্বয় এবং বাফারের আকারগুলি সামঞ্জস্য করুন.
• ত্রুটি বিচ্ছিন্নতাঃলিঙ্ক স্তরের সমস্যা সনাক্ত করতে অ্যাডাপ্টারের অন্তর্নির্মিত ডায়াগনস্টিক (যেমন, ethtool, mlxlink) ব্যবহার করুন।জমে থাকা সোর্সগুলি সনাক্ত করতে PFC বিরতি ফ্রেম এবং ECN কাউন্টারগুলি পরীক্ষা করুন.

প্রাথমিক স্থাপনার পরে perftest (ib_write_bw, ib_read_bw) এর মতো সরঞ্জাম ব্যবহার করে RDMA বিলম্ব এবং থ্রুপুটের একটি বেসলাইন স্থাপন করার পরামর্শ দেওয়া হয়।এই বেসিক লাইন ভবিষ্যতে পারফরম্যান্স তুলনা এবং ক্ষমতা পরিকল্পনা জন্য একটি বেঞ্চমার্ক হিসাবে কাজ করে.

6. সংক্ষিপ্ত বিবরণ এবং মূল্য মূল্যায়ন

দ্যএনভিডিয়া মেলানোক্স এমসিএক্স ৪১২১এ-এসিএটিকম বিলম্ব, উচ্চ-থ্রুপুট ডেটা সেন্টার অ্যাক্সেস নেটওয়ার্ক নির্মাণের জন্য একটি বিস্তৃত, ব্যয়-কার্যকর সমাধান সরবরাহ করে।MCX4121A-ACAT দামমোট মালিকানার খরচ তুলনায়, সুবিধাগুলি স্পষ্টঃ কম CPU ব্যবহার (অ্যাপ্লিকেশন ওয়ার্কলোডের জন্য সম্পদ মুক্ত করা),উন্নত অ্যাপ্লিকেশন কর্মক্ষমতা (স্টোরেজ এবং এআই ওয়ার্কলোডের জন্য 2x পর্যন্ত থ্রুপুট), এবং কম অপারেশনাল ওভারহেড (সাম্প্রতিক পর্যবেক্ষণ এবং সক্রিয় ত্রুটি সনাক্তকরণ) ।

এই প্রযুক্তিগত সমাধান থেকে মূল বিষয়গুলি হলঃ

• দ্যMCX4121A-ACAT ConnectX-4 Lx ডুয়াল পোর্ট 25GbE SFP28এটি একটি ভবিষ্যতে-প্রমাণিত 25GbE অ্যাক্সেস পাথ প্রদান করে যা 10GbE/1GbE এর সাথে সম্পূর্ণ নিচে সামঞ্জস্যপূর্ণ।
• RDMA/RoCEv2 অফলোড, PFC/ECN-সক্ষম নেটওয়ার্কিংয়ের সাথে মিলিত, স্টোরেজ এবং এআই ট্র্যাফিকের জন্য sub-5μs বিলম্ব এবং প্রায় শূন্য CPU হস্তক্ষেপ সরবরাহ করে।
• বিস্তৃতMCX4121A-ACAT সামঞ্জস্যপূর্ণইকোসিস্টেম বিভিন্ন সার্ভার, স্টোরেজ এবং সুইচ পরিবেশে নিরবচ্ছিন্ন একীকরণ নিশ্চিত করে।
• এই সমাধানটি ছোট পাইলট ক্লাস্টার থেকে শুরু করে বড় আকারের মাল্টি-রেক স্থাপনার জন্য স্কেল করা যায়, যা এটিকে এন্টারপ্রাইজ ডেটা সেন্টার এবং ক্লাউড সার্ভিস সরবরাহকারীদের উভয়ের জন্যই উপযুক্ত করে তোলে।

তাদের সার্ভার অ্যাক্সেস অবকাঠামো আধুনিকীকরণের জন্য প্রস্তুত সংস্থাগুলির জন্য,এনভিডিয়া মেলানোক্স এমসিএক্স ৪১২১এ-এসিএটিএটি কর্মক্ষমতা, দক্ষতা এবং অপারেশনাল সরলতা একটি কৌশলগত বিনিয়োগ প্রতিনিধিত্ব করে।MCX4121A-ACAT ডেটা শীট, ব্যাপকMCX4121A-ACAT স্পেসিফিকেশন, এবংবিক্রির জন্য MCX4121A-ACATঅনুমোদিত চ্যানেলগুলির মাধ্যমে উপলব্ধতা মূল্যায়ন এবং স্থাপনার প্রক্রিয়া শুরু করার জন্য প্রয়োজনীয় সম্পদ প্রদান করে।MCX4121A-ACAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানআধুনিক ডেটা সেন্টার নেটওয়ার্কের পূর্ণ সম্ভাবনাকে উন্মুক্ত করার জন্য একটি প্রমাণিত ব্লুপ্রিন্ট হিসেবে কাজ করে।