NVIDIA Mellanox MCX4121A-ACAT सर्वर एडॉप्टर तकनीकी व्हाइट पेपर | RDMA/RoCE लो-लेटेंसी ट्रांसपोर्ट और सर्वर

এনভিডিয়া মেলানক্স এমসিএক্স৪১২১এ-এসিএটি সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার | আরডিএমএ/রোসি লো-ল্যাটেন্সি ট্রান্সপোর্ট ও সার্ভার থ্রুপুট অপ্টিমাইজেশন

১. প্রকল্পের পটভূমি ও প্রয়োজনীয়তা বিশ্লেষণ

আধুনিক ডেটা সেন্টারগুলি ক্রমবর্ধমান চাহিদাযুক্ত ওয়ার্কলোডগুলিকে সমর্থন করার জন্য নিরন্তর চাপের মধ্যে রয়েছে — এআই/এমএল প্রশিক্ষণ এবং উচ্চ-ফ্রিকোয়েন্সি ট্রেডিং থেকে শুরু করে ডিস্ট্রিবিউটেড ডেটাবেস এবং এনভিএমই-ওভার-ফ্যাব্রিকেশন স্টোরেজ পর্যন্ত। যদিও ২৫জিবিই ইথারনেট অ্যাক্সেস-লেয়ার স্ট্যান্ডার্ডে পরিণত হয়েছে, অনেক সংস্থা দেখতে পায় যে কেবল ব্যান্ডউইথ অ্যাপ্লিকেশন পারফরম্যান্সে অনুবাদ হয় না। মৌলিক বাধা ঐতিহ্যবাহী টিসিপি/আইপি স্ট্যাকের মধ্যে নিহিত: উচ্চ সিপিইউ ইন্টারাপ্ট ওভারহেড, অপ্রত্যাশিত ল্যাটেন্সি এবং অদক্ষ প্যাকেট প্রক্রিয়াকরণ যা সার্ভার সিপিইউ কোরের ২০-৩০% পর্যন্ত ব্যবহার করতে পারে। ল্যাটেন্সি-সংবেদনশীল এবং থ্রুপুট-ক্ষুধার্ত অ্যাপ্লিকেশনগুলির জন্য, নেটওয়ার্কিং সাবসিস্টেম প্রায়শই দুর্বলতম লিঙ্ক হয়ে ওঠে।

এই হোয়াইট পেপারটি এনভিডিয়া মেলানক্স এমসিএক্স৪১২১এ-এসিএটি সার্ভার অ্যাডাপ্টারকে কেন্দ্র করে একটি ব্যাপক সমাধানের মাধ্যমে এই চ্যালেঞ্জগুলি মোকাবেলা করে। ২৫জিবিই অবকাঠামোর সম্পূর্ণ সম্ভাবনা উন্মোচন করতে ইচ্ছুক উদ্যোগগুলির জন্য ডিজাইন করা, এমসিএক্স৪১২১এ-এসিএটি ইথারনেট অ্যাডাপ্টার কার্ড ডুয়াল-পোর্ট ২৫জিবিই কানেক্টিভিটিকে হার্ডওয়্যার-অ্যাক্সিলারেটেড আরডিএমএ ওভার কনভার্জড ইথারনেট (রোসি) এর সাথে একত্রিত করে। সমাধানটি তিনটি প্রাথমিক উদ্দেশ্যকে লক্ষ্য করে: (১) অ্যাপ্লিকেশন-লেভেলের ল্যাটেন্সি সাব-১০µএস-এ হ্রাস করা, (২) সিপিইউ নেটওয়ার্ক প্রক্রিয়াকরণ ওভারহেড ৮০% এর বেশি কমানো, এবং (৩) আর্কিটেকচারাল রিওয়ার্ক ছাড়াই কয়েকটি নোড থেকে শত শত পর্যন্ত নির্বিঘ্ন স্কেলেবিলিটি সক্ষম করা।

২. সামগ্রিক নেটওয়ার্ক ও সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচারটি লিফ-স্পাইন টপোলজি গ্রহণ করে যেখানে ২৫জিবিই সার্ভার অ্যাক্সেস লেয়ার এবং স্পাইনের দিকে ১০০জিবিই আপলিঙ্ক রয়েছে। ডিজাইনের কেন্দ্রে রয়েছে কেবল একটি অ্যাডাপ্টার নয়; এটি ভবিষ্যতের আরডিএমএ-রেডি, থ্রুপুট-অপ্টিমাইজড ডেটা সেন্টারের জন্য একটি কৌশলগত সক্ষমকারী। অ্যাডাপ্টার, প্রতিটি কম্পিউট এবং স্টোরেজ নোডে স্থাপন করা হয়েছে। আর্কিটেকচারটি তিনটি মূল নীতির উপর নির্মিত:

• লসলেস ইথারনেট ফ্যাব্রিক: প্যাকেট ড্রপগুলি দূর করতে এবং ডিটারমিনিস্টিক ল্যাটেন্সি নিশ্চিত করতে পিএফসি (প্রায়োরিটি ফ্লো কন্ট্রোল) এবং ইসিএন (এক্সপ্লিসিট কনজেশন নোটিফিকেশন) সহ রোসি ভি২ ব্যবহার করা।
• সর্বত্র হার্ডওয়্যার অফলোড: ট্রান্সপোর্ট-লেয়ার প্রক্রিয়াকরণ — চেকসাম, সেগমেন্টেশন এবং আরডিএমএ সহ — অ্যাডাপ্টারে অফলোড করা, সিপিইউ সাইকেলগুলিকে ব্যবসায়িক অ্যাপ্লিকেশনগুলির জন্য মুক্ত করা।
• অ্যাক্টিভ-অ্যাক্টিভ রিডান্ডেন্সি: ৫০জিবি/এস অ্যাগ্রিগেট ব্যান্ডউইথ এবং স্বয়ংক্রিয় ফেইলওভারের জন্য লিঙ্ক অ্যাগ্রিগেশন (এলএসিপি) মোডে উভয় এসএফপি২৮ পোর্ট ব্যবহার করা।

সমাধানটি এমসিএক্স৪১২১এ-এসিএটি সামঞ্জস্যপূর্ণ প্রধান সার্ভার প্ল্যাটফর্ম (ডেল পাওয়ারএজ, এইচপিই প্রোলিয়েন্ট, সুপারমাইক্রো) এবং এনভিডিয়া স্পেকট্রাম এবং অ্যারিস্টা থেকে সুইচগুলির সাথে সম্পূর্ণ সামঞ্জস্যপূর্ণ। স্টোরেজের জন্য, আর্কিটেকচারটি রোসি-এর উপর এনভিএমই-ওএফ সমর্থন করে, যা স্থানীয় এনভিএমই ড্রাইভের কাছাকাছি ল্যাটেন্সি সহ শেয়ার্ড ডিসএগ্রিগেটেড স্টোরেজ সক্ষম করে।

৩. এনভিডিয়া মেলানক্স এমসিএক্স৪১২১এ-এসিএটি-এর ভূমিকা ও মূল বৈশিষ্ট্য

এই সমাধানের ভিত্তি উপাদান হিসাবে, এনভিডিয়া মেলানক্স এমসিএক্স৪১২১এ-এসিএটি তিনটি গুরুত্বপূর্ণ কার্য সম্পাদন করে:

এবং এনভিডিয়া নেটওয়ার্কিং ডকুমেন্টেশন পোর্টালে দেখুন। এই হোয়াইট পেপারটি একটি সূচনা বিন্দু হিসাবে কাজ করে — আর্কিটেকচারটি বৈধ, উপাদানগুলি প্রোডাকশন-রেডি, এবং সুবিধাগুলি পরিমাপযোগ্য। থেকে প্রাপ্ত মূল স্পেসিফিকেশনগুলির মধ্যে পিসিআইই ৩.০ x৮ হোস্ট ইন্টারফেস, ব্যাপক অফলোড (চেকসাম, এলএসও/এলআরও, ভিএলএএন স্ট্রিপিং/ইনসারশন), এবং প্রতি পোর্টে উন্নত টেলিমেট্রি অন্তর্ভুক্ত। অ্যাডাপ্টারের পাওয়ার দক্ষতা (< ১০W সাধারণ) এবং বিস্তৃত অপারেটিং সিস্টেম সমর্থন (লিনাক্স, উইন্ডোজ, ভিএমওয়্যার ইএসএক্সআই) এটিকে হেটেরোজেনিয়াস পরিবেশের জন্য একটি বহুমুখী বিল্ডিং ব্লক করে তোলে।

৪. স্থাপনা ও স্কেলিংয়ের সুপারিশ

গ্রিনফিল্ড স্থাপনার জন্য, আমরা ২৫জিবিই অ্যাক্সেস এবং ১০০জিবিই/৪০০জিবিই স্পাইন আপলিঙ্ক সহ একটি দ্বি-স্তরীয় লিফ-স্পাইন টপোলজি সুপারিশ করি। প্রতিটি সার্ভার একটি এমসিএক্স৪১২১এ-এসিএটি ইথারনেট অ্যাডাপ্টার কার্ড হোস্ট করে যার উভয় পোর্ট রিডান্ডেন্সির জন্য পৃথক লিফ সুইচগুলির সাথে সংযুক্ত। রোসি ফ্যাব্রিকের জন্য সমস্ত সুইচে সামঞ্জস্যপূর্ণ কিউওএস কনফিগারেশন প্রয়োজন — বিশেষত, প্রায়োরিটি ৩-এ পিএফসি এবং একই ট্র্যাফিক ক্লাসে ইসিএন মার্কিং। আমরা পর্যবেক্ষণ এবং সমস্যা সমাধানের সুবিধার জন্য রোসি ট্র্যাফিকের জন্য একটি ডেডিকেটেড ভিএলএএন বরাদ্দ করার সুপারিশ করি।

ব্রাউনফিল্ড পরিবেশের জন্য, এমসিএক্স৪১২১এ-এসিএটি ইথারনেট অ্যাডাপ্টার কার্ড সমাধান একটি মসৃণ মাইগ্রেশন পথ সরবরাহ করে। যেহেতু অ্যাডাপ্টারটি ১০জিবিই এসএফপি+ অপটিক্সের সাথে পশ্চাৎ সামঞ্জস্যপূর্ণ, তাই ২৫জিবিই-তে পর্যায়ক্রমিক আপগ্রেডের সময় বিদ্যমান ক্যাবলিং পুনরায় ব্যবহার করা যেতে পারে। অ্যাডাপ্টারটি স্ট্যান্ডার্ড ইথারনেট সুইচিংকেও সমর্থন করে যেখানে রোসি সক্ষমতা বাধ্যতামূলক নয়, যা দলগুলিকে প্রথমে হার্ডওয়্যার স্থাপন করতে এবং ফ্যাব্রিক পরিপক্ক হওয়ার সাথে সাথে পর্যায়ক্রমে আরডিএমএ ক্ষমতা সক্রিয় করতে দেয়।

সমাধানের স্কেলিং সহজ: অতিরিক্ত নোডগুলি কেবল একই এমসিএক্স৪১২১এ-এসিএটি বিক্রয়ের জন্য এসকিউইউ দিয়ে সরবরাহ করা হয়, এবং ফ্যাব্রিক এলএলডিপি এবং ডিসিবিএক্স আলোচনার মাধ্যমে স্বয়ংক্রিয়ভাবে নতুন এন্ডপয়েন্টগুলি গ্রহণ করে। ১০০টির বেশি নোডের ক্লাস্টারের জন্য, আমরা স্কেলে লসলেস আচরণ বজায় রাখার জন্য একটি ডেডিকেটেড রোসি কনজেশন ম্যানেজমেন্ট কন্ট্রোলার (যেমন, এনভিডিয়া স্পেকট্রাম সুইচগুলি বিল্ট-ইন টেলিমেট্রি সহ) স্থাপনের সুপারিশ করি।

৫. অপারেশন, মনিটরিং, ট্রাবলশুটিং ও অপ্টিমাইজেশন

রোসি ফ্যাব্রিকের কার্যকর পরিচালনার জন্য একটি বহু-স্তরীয় পর্যবেক্ষণ কৌশল প্রয়োজন:

• অ্যাডাপ্টার-লেভেল টেলিমেট্রি: এমসিএক্স৪১২১এ-এসিএটি স্পেসিফিকেশন পিএফসি ফ্রেম, ইসিএন-মার্ক করা প্যাকেট এবং ড্রপড ফ্রেমের জন্য প্রতি-পোর্ট কাউন্টার অন্তর্ভুক্ত করে। প্রমিথিউস/গ্রাফানাতে এগুলি রপ্তানি করতে এমএলএক্স৫সিএমডি বা এনভিডিয়া ফার্মওয়্যার সরঞ্জামগুলি ব্যবহার করুন।
• সুইচ-লেভেল মনিটরিং: স্পাইন এবং লিফ সুইচগুলিতে বাফার অকুপেন্সি, পজ ফ্রেম কাউন্ট এবং কিউ ডেপথগুলি পর্যবেক্ষণ করুন। পজ ফ্রেমের হঠাৎ বৃদ্ধি মাইক্রো-কনজেশন নির্দেশ করে যার জন্য ইসিএন থ্রেশহোল্ড টিউনিংয়ের প্রয়োজন হতে পারে।
• অ্যাপ্লিকেশন-লেভেল মেট্রিক্স: আরডিএমএ অ্যাপ্লিকেশনগুলির জন্য, বিক্রেতা-প্রদত্ত লাইব্রেরি ব্যবহার করে ডব্লিউআর (ওয়ার্ক রিকোয়েস্ট) সমাপ্তি ল্যাটেন্সি এবং সি কিউ (কমপ্লিশন কিউ) ওভারফ্লো ইভেন্টগুলি ট্র্যাক করুন।

সাধারণ সমস্যা সমাধানের পরিস্থিতিতে অন্তর্ভুক্ত:

• রোসি পারফরম্যান্সের অবনতি: সমস্ত সুইচ পোর্টে পিএফসি সক্ষম আছে কিনা এবং ডিএসসিপি মার্কিং সুইচ কনফিগারেশনের সাথে মেলে কিনা তা যাচাই করুন। বাফার বরাদ্দ সেটিংস যাচাই করতে এবং এনভিডিয়া নেটওয়ার্কিং ডকুমেন্টেশন পোর্টালে দেখুন। এই হোয়াইট পেপারটি একটি সূচনা বিন্দু হিসাবে কাজ করে — আর্কিটেকচারটি বৈধ, উপাদানগুলি প্রোডাকশন-রেডি, এবং সুবিধাগুলি পরিমাপযোগ্য। ব্যবহার করুন।
• লিঙ্ক ফ্ল্যাপিং বা সিআরসি ত্রুটি: এসএফপি২৮ কেবল গুণমান পরীক্ষা করুন এবং অ্যাডাপ্টার ফার্মওয়্যারটি সর্বশেষ রিলিজে আপডেট করা হয়েছে কিনা তা নিশ্চিত করুন।
• অফলোড সত্ত্বেও সিপিইউ এখনও বেশি:ড্রাইভার কাউন্টার এবং অ্যাপ্লিকেশন লগগুলি পরিদর্শন করে আরডিএমএ আসলে ব্যবহৃত হচ্ছে (টিসিপি-তে ফলব্যাক করছে না) তা নিশ্চিত করুন।

অপ্টিমাইজেশনের জন্য, আমরা নিম্নলিখিত টিউনিং প্যারামিটারগুলি সুপারিশ করি (বিস্তৃত ল্যাব বৈধতা থেকে প্রাপ্ত): - মিশ্র ওয়ার্কলোডগুলির জন্য ইন্টারাপ্ট কোয়ালেসিং (মডারেশন) ৪ µএস-এ সেট করুন - নির্ভুল ল্যাটেন্সি পরিমাপের জন্য হার্ডওয়্যার টাইমস্ট্যাম্পিং সক্ষম করুন - নন-আরডিএমএ ট্র্যাফিকের জন্য একাধিক সিপিইউ কোরে আরএসএস (রিসিভ সাইড স্কেলিং) কনফিগার করুন - স্টোরেজ ওয়ার্কলোডগুলির জন্য, প্রোটোকল ওভারহেড কমাতে সর্বোচ্চ আরডিএমএ এমটিইউ ৪0৯৬ বাইটে বাড়ান।

৬. সারসংক্ষেপ ও মূল্য মূল্যায়ন

এনভিডিয়া মেলানক্স এমসিএক্স৪১২১এ-এসিএটি সমাধান আধুনিক ডেটা সেন্টারগুলির জন্য রূপান্তরমূলক মূল্য সরবরাহ করে। টিসিপি/আইপি-কে আরডিএমএ/রোসি দিয়ে প্রতিস্থাপন করে, সংস্থাগুলি অ্যাপ্লিকেশন-লেভেলের ল্যাটেন্সি হ্রাস ৫-১০x, সিপিইউ নেটওয়ার্ক ওভারহেড ৮০% এর বেশি কমাতে এবং সার্ভার কন্টেইনার ঘনত্ব ৩০-৫০% বৃদ্ধি করতে পারে। এমসিএক্স৪১২১এ-এসিএটি ইথারনেট অ্যাডাপ্টার কার্ড পশ্চাৎ সামঞ্জস্যতা এবং ভবিষ্যতের জন্য প্রস্তুত অফলোড ক্ষমতাগুলির মাধ্যমে বিনিয়োগ সুরক্ষার সাথে ২৫জিবিই গ্রহণের জন্য একটি সাশ্রয়ী পথ সরবরাহ করে।

মোট মালিকানা ব্যয় মূল্যায়ন করার সময়, এমসিএক্স৪১২১এ-এসিএটি মূল্য উল্লেখযোগ্য অপারেশনাল সঞ্চয় দ্বারা অফসেট করা হয়: সার্ভার সংখ্যা হ্রাস (উচ্চতর ব্যবহারের কারণে), কম শীতলীকরণ খরচ (ধন্যবাদ <10W power draw), and elimination of separate InfiniBand or proprietary fabrics. The solution is fully এমসিএক্স৪১২১এ-এসিএটি সামঞ্জস্যপূর্ণ প্রধান ওপেন-সোর্স ইকোসিস্টেমগুলির সাথে, যার মধ্যে কুবারনেটিস, অ্যাপাচি স্পার্ক এবং টেনসরফ্লো অন্তর্ভুক্ত রয়েছে, যা এন্টারপ্রাইজ এবং ক্লাউড-নেটিভ স্থাপনা জুড়ে বিস্তৃত প্রযোজ্যতা নিশ্চিত করে।বিস্তারিত স্থাপনা স্ক্রিপ্ট, কনফিগারেশন টেমপ্লেট এবং পারফরম্যান্স বেঞ্চমার্ক রিপোর্টের জন্য, অনুগ্রহ করে অফিসিয়াল