NVIDIA Mellanox MCX631432AN-ADAB সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার

এনভিডিয়া মেলানক্স MCX631432AN-ADAB সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইট পেপার | RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট ও সার্ভার থ্রুপুট অপ্টিমাইজেশন

১. প্রকল্পের পটভূমি ও প্রয়োজনীয়তা বিশ্লেষণ

আধুনিক ডেটা সেন্টার আর্কিটেকচারগুলি উচ্চ-কার্যকারিতা কম্পিউটিং, কৃত্রিম বুদ্ধিমত্তা ওয়ার্কলোড এবং বিতরণ করা স্টোরেজ সিস্টেমের অভিসার দ্বারা ক্রমবর্ধমানভাবে সংজ্ঞায়িত হচ্ছে। এই অ্যাপ্লিকেশনগুলির নেটওয়ার্কিং প্রয়োজনীয়তার একটি সাধারণ সেট রয়েছে: অতি-নিম্ন লেটেন্সি, উচ্চ বার্তা হার এবং ডেটা চলাচলের জন্য ন্যূনতম সিপিইউ ওভারহেড। ঐতিহ্যবাহী TCP/IP-ভিত্তিক নেটওয়ার্কিং স্ট্যাকগুলি, যদিও সর্বত্র বিদ্যমান, উল্লেখযোগ্য লেটেন্সি এবং সিপিইউ প্রক্রিয়াকরণ খরচ প্রবর্তন করে যা স্কেলে নিষিদ্ধ হয়ে ওঠে।

ফ্যাব্রিক (NVMe-oF) এর উপর NVMe, বিতরণ করা মেশিন লার্নিং প্রশিক্ষণ ক্লাস্টার, বা লেটেন্সি-সংবেদনশীল আর্থিক ট্রেডিং প্ল্যাটফর্ম স্থাপনকারী সংস্থাগুলির জন্য, নেটওয়ার্ক ইন্টারফেস কার্ড (NIC) একটি সাধারণ I/O ডিভাইস থেকে একটি কৌশলগত কর্মক্ষমতা ত্বরণকারীতে বিকশিত হয়েছে। আধুনিক স্থাপনায় চিহ্নিত মূল প্রয়োজনীয়তাগুলির মধ্যে রয়েছে:

• হার্ডওয়্যার-অফলোডেড ট্রান্সপোর্টের মাধ্যমে সাব-৫ মাইক্রোসেকেন্ড অ্যাপ্লিকেশন-লেভেল লেটেন্সি
• স্টোরেজ বাধা দূর করার জন্য প্রতি সার্ভারে ৪০ Gb/s এর বেশি সমষ্টিগত থ্রুপুট
• লোড এর অধীনে ন্যূনতম টেইল লেটেন্সি ভ্যারিয়েন্স সহ ডিটারমিনিস্টিক পারফরম্যান্স
• প্রোপাইটারি সুইচিং ছাড়াই বিদ্যমান ইথারনেট অবকাঠামোর সাথে নির্বিঘ্ন ইন্টিগ্রেশন
• প্রোঅ্যাকটিভ অপারেশনের জন্য ব্যাপক টেলিমেট্রি এবং ডায়াগনস্টিক ক্ষমতা

NVIDIA Mellanox MCX631432AN-ADAB সরাসরি এই প্রয়োজনীয়তাগুলি পূরণ করে এর ConnectX-6 Lx আর্কিটেকচারের মাধ্যমে, উন্নত কনজেশন কন্ট্রোল এবং প্রোগ্রামযোগ্য ডেটা পাথ ক্ষমতা সহ হার্ডওয়্যার-অ্যাক্সিলারেটেড RoCEv2 (RDMA over Converged Ethernet) সরবরাহ করে।

২. সামগ্রিক নেটওয়ার্ক ও সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত সমাধান আর্কিটেকচার একটি লিফ-স্পাইন নেটওয়ার্ক টপোলজি গ্রহণ করে যেখানে সার্ভার অ্যাক্সেস লেয়ারে ২৫GbE সংযোগ রয়েছে। প্রতিটি কম্পিউট বা স্টোরেজ নোড MCX631432AN-ADAB ConnectX-6 Lx ডুয়াল-পোর্ট ২৫GbE SFP28 অ্যাডাপ্টার দিয়ে সজ্জিত, টপ-অফ-র‍্যাক (ToR) সুইচগুলিতে ডুয়াল রিডান্ড্যান্ট পাথ সরবরাহ করে। আর্কিটেকচারে অন্তর্ভুক্ত রয়েছে:

• সার্ভার এজ: MCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড PCIe Gen 4.0 x8 এর মাধ্যমে হোস্ট সিপিইউ-এর সাথে সংযোগ স্থাপন করে, উভয় ২৫GbE পোর্টকে একই সাথে স্যাচুরেট করার জন্য পর্যাপ্ত ৬৪ GB/s দ্বিমুখী হোস্ট ব্যান্ডউইথ সরবরাহ করে।
• নেটওয়ার্ক ফ্যাব্রিক: ডুয়াল ২৫GbE SFP28 পোর্ট সক্রিয়-সক্রিয় লোড ব্যালেন্সিং বা সক্রিয়-স্ট্যান্ডবাই ফেইলওভার সরবরাহ করে। অ্যাডাপ্টার হার্ডওয়্যার LAG (লিঙ্ক অ্যাগ্রিগেশন) অফলোড সহ ৫০ Gb/s সমষ্টিগত থ্রুপুট পর্যন্ত সমর্থন করে।
• স্টোরেজ ইন্টিগ্রেশন: NVMe-oF স্থাপনার জন্য, অ্যাডাপ্টারটি RDMA এন্ডপয়েন্ট হিসাবে কাজ করে, সাব-মাইক্রোসেকেন্ড লেটেন্সি সহ সরাসরি মেমরি-টু-মেমরি ডেটা স্থানান্তর সক্ষম করে।
• ম্যানেজমেন্ট প্লেন: অ্যাডাপ্টারের সুরক্ষিত ম্যানেজমেন্ট ইন্টারফেসের মাধ্যমে আউট-অফ-ব্যান্ড ম্যানেজমেন্ট, Redfish এবং SNMP মনিটরিংয়ের জন্য সম্পূর্ণ সমর্থন সহ।

ডিজাইনটি Priority Flow Control (PFC) এবং Explicit Congestion Notification (ECN) সহ RoCEv2 এর মাধ্যমে লসলেস ইথারনেটের উপর জোর দেয় — নিশ্চিত করে যে MCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড সমাধান ডেডিকেটেড InfiniBand অবকাঠামো ছাড়াই একটি কনভার্জড, মাল্টি-প্রোটোকল ফ্যাব্রিকের মধ্যে কাজ করে।

৩. NVIDIA Mellanox MCX631432AN-ADAB এর ভূমিকা ও মূল বৈশিষ্ট্য

NVIDIA Mellanox MCX631432AN-ADAB এই সমাধানের ভিত্তি তৈরি করে, তিনটি স্বতন্ত্র স্তরের মান সরবরাহ করে:

A. হার্ডওয়্যার অ্যাক্সিলারেশন ইঞ্জিন
অ্যাডাপ্টারটি একটি অত্যন্ত প্রোগ্রামযোগ্য প্যাকেট প্রসেসিং পাইপলাইনকে একীভূত করে যা হোস্ট সিপিইউ থেকে ট্রান্সপোর্ট প্রোটোকল অপারেশনগুলি — RoCE সেগমেন্টেশন, রিঅ্যাসেম্বলি এবং কনজেশন কন্ট্রোল সহ — অফলোড করে। MCX631432AN-ADAB ডেটাশিট অনুসারে, হার্ডওয়্যার প্রতি সেকেন্ডে ২০০ মিলিয়ন বার্তা (Mpps) পর্যন্ত সমর্থন করে, নিশ্চিত করে যে ক্ষুদ্রতম প্যাকেট আকারও ওয়্যার-রেট পারফরম্যান্স অর্জন করে।

B. RDMA এবং RoCEv2 বাস্তবায়ন
MCX631432AN-ADAB ConnectX-6 Lx ডুয়াল-পোর্ট ২৫GbE SFP28 সম্পূর্ণরূপে হার্ডওয়্যার-অফলোডেড ট্রান্সপোর্ট সহ RoCEv2 বাস্তবায়ন করে। এটি সক্ষম করে:

• অ্যাপ্লিকেশন বাফার এবং রিমোট মেমরির মধ্যে সরাসরি জিরো-কপি ডেটা স্থানান্তর
• পিয়ার-টু-পিয়ার যোগাযোগের জন্য সাব-২ মাইক্রোসেকেন্ড একমুখী লেটেন্সি
• শুধুমাত্র PFC এবং ECN সমর্থনের প্রয়োজন সহ স্ট্যান্ডার্ড ইথারনেট সুইচগুলির সাথে সম্পূর্ণ সামঞ্জস্য

C. উন্নত টেলিমেট্রি ও প্রোগ্রামযোগ্যতা
অ্যাডাপ্টারে টেলিমেট্রি কাউন্টারগুলির একটি স্যুট অন্তর্ভুক্ত রয়েছে যা প্রতি-ফ্লো লেটেন্সি, কিউ ডেপথ এবং কনজেশন মেট্রিক্স সরবরাহ করে — প্রোঅ্যাকটিভ পারফরম্যান্স ম্যানেজমেন্টের জন্য গুরুত্বপূর্ণ। MCX631432AN-ADAB স্পেসিফিকেশন প্রোগ্রামযোগ্য বৈশিষ্ট্যগুলির সম্পূর্ণ পরিসর বিস্তারিতভাবে বর্ণনা করে, যার মধ্যে রয়েছে নমনীয় ম্যাচ-অ্যাকশন প্রসেসিং এবং ইন-ব্যান্ড নেটওয়ার্ক টেলিমেট্রি (INT) এর জন্য সমর্থন।

স্থাপনার কথা বিবেচনা করা সংস্থাগুলির জন্য, অ্যাডাপ্টারটি সমস্ত প্রধান লিনাক্স ডিস্ট্রিবিউশন (RHEL, উবুন্টু, SLES), VMware ESXi, এবং Windows Server এর সাথে সম্পূর্ণরূপে MCX631432AN-ADAB সামঞ্জস্যপূর্ণ, হেটেরোজেনিয়াস পরিবেশে নির্বিঘ্ন ইন্টিগ্রেশন নিশ্চিত করে।

৪. স্থাপনা ও স্কেলেবিলিটি সুপারিশ

সাধারণ স্থাপনা টপোলজি

প্রস্তাবিত স্থাপনা একটি "স্পাইন-লিফ" টপোলজি অনুসরণ করে নিম্নলিখিত কনফিগারেশন সহ:

• লিফ সুইচ: ২৫GbE ToR সুইচ RoCEv2 সমর্থন সহ, ডেডিকেটেড প্রায়োরিটি কিউগুলিতে PFC এবং কনজেশন সিগন্যালিংয়ের জন্য ECN কনফিগার করা হয়েছে
• সার্ভার নোড: প্রতিটি নোড MCX631432AN-ADAB দিয়ে সজ্জিত, রিডান্ডেন্সির জন্য একটি প্রাথমিক এবং মাধ্যমিক লিফের সাথে সংযুক্ত
• স্পাইন লেয়ার: ১০০GbE বা ৪০০GbE স্পাইন সুইচ যা নন-ব্লকিং ইন্টার-র‍্যাক সংযোগ সরবরাহ করে
• স্টোরেজ টার্গেট: একই অ্যাডাপ্টার টাইপ ব্যবহার করে NVMe-oF টার্গেট নোডগুলি ধারাবাহিক RDMA ক্ষমতাগুলির জন্য

স্কেলেবিলিটি বিবেচনা

সমাধানটি একটি একক র‍্যাক থেকে একাধিক হাজার নোড পর্যন্ত রৈখিকভাবে স্কেল করে। মূল স্কেলেবিলিটি নীতিগুলির মধ্যে রয়েছে:

• বাফার ম্যানেজমেন্ট: প্যাকেট ড্রপ ছাড়াই ক্ষণস্থায়ী বার্স্ট শোষণ করতে অ্যাডাপ্টারের শেয়ার্ড বাফার আর্কিটেকচার (প্রতি পোর্টে ৪ MB পর্যন্ত কনফিগারযোগ্য) ব্যবহার করুন
• কনজেশন ডোমেন: PFC প্রসারণ সীমিত করতে ফ্যাব্রিককে একাধিক কনজেশন ম্যানেজমেন্ট জোনে ভাগ করুন, অ্যাডাপ্টারের প্রতি-পোর্ট রেট লিমিটিং ব্যবহার করে
• ক্লাউড-স্কেল অর্কেস্ট্রেশন: অ্যাডাপ্টারটি Kubernetes (NVIDIA নেটওয়ার্ক অপারেটরের মাধ্যমে) এবং OpenStack দ্বারা সম্পূর্ণরূপে সমর্থিত, স্বয়ংক্রিয় প্রোভিশনিং এবং লাইফসাইকেল ম্যানেজমেন্ট সক্ষম করে

যখন MCX631432AN-ADAB মূল্য মোট মালিকানা ব্যয়ের বিপরীতে মূল্যায়ন করা হয়, সংস্থাগুলির পৃথক InfiniBand অবকাঠামোর বিলুপ্তি এবং নেটওয়ার্কিং কাজের জন্য সিপিইউ কোর বরাদ্দের উল্লেখযোগ্য হ্রাস — সাধারণত প্রতি সার্ভারে ২-৪ সিপিইউ কোর পুনরুদ্ধার করা — বিবেচনা করা উচিত।

৫. অপারেশন, মনিটরিং, ট্রাবলশুটিং ও অপ্টিমাইজেশন

মনিটরিং ফ্রেমওয়ার্ক

সমাধানটি একটি তিন-স্তরীয় পর্যবেক্ষণ পদ্ধতি অন্তর্ভুক্ত করে:

• অ্যাডাপ্টার-লেভেল টেলিমেট্রি: MCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড ethtool, sysfs, এবং ভেন্ডর-নির্দিষ্ট সরঞ্জামগুলির মাধ্যমে ২০০ টিরও বেশি হার্ডওয়্যার কাউন্টার প্রকাশ করে। মূল মেট্রিকগুলির মধ্যে রয়েছে: প্রতি-পোর্ট থ্রুপুট, প্যাকেট ড্রপ, PFC পজ ফ্রেম, ECN চিহ্নিত প্যাকেট এবং RoCEv2 কনজেশন ইভেন্ট
• ফ্যাব্রিক-লেভেল ভিজিবিলিটি: NVIDIA-এর ইউনিফাইড ম্যানেজমেন্ট প্ল্যাটফর্মের সাথে ইন্টিগ্রেশন টপোলজি ভিজ্যুয়ালাইজেশন এবং ফ্লো পাথ বিশ্লেষণ সরবরাহ করে
• অ্যাপ্লিকেশন পারফরম্যান্স মনিটরিং: অ্যাডাপ্টারটি প্রতি-কিউ এবং প্রতি-RDMA কমপ্লিশন কিউ পরিসংখ্যান সরবরাহ করে, যা নেটওয়ার্ক পারফরম্যান্সের সাথে অ্যাপ্লিকেশন-লেভেল ট্রানজেকশন লেটেন্সির সম্পর্ক স্থাপন করতে সক্ষম করে

সাধারণ ট্রাবলশুটিং পরিস্থিতি

অপারেশনাল অভিজ্ঞতার উপর ভিত্তি করে, MCX631432AN-ADAB স্পেসিফিকেশন এবং টেলিমেট্রি ডেটা ব্যবহার করে নিম্নলিখিত প্যাটার্নগুলি চিহ্নিত করা হয়েছে:

• PFC স্টর্ম সনাক্তকরণ: প্রতি প্রায়োরিটিতে PFC পজ ফ্রেম কাউন্টারগুলি পর্যবেক্ষণ করুন — লাইনের হারের ৫% এর বেশি স্থায়ী পজিং কনজেশন বা ভুল কনফিগারেশন নির্দেশ করে
• RoCEv2 প্যাকেট ড্রপ: অ্যাডাপ্টার, সুইচ বা ECN-থ্রটলিংয়ের কারণে ড্রপগুলি ঘটে কিনা তা বিচ্ছিন্ন করতে অ্যাডাপ্টারের ড্রপ কাউন্টারগুলি (যেমন, rx_discard_* কাউন্টার) পরীক্ষা করুন
• পারফরম্যান্স টিউনিং: সিপিইউ ব্যবহার বনাম লেটেন্সির ট্রেড-অফ করার জন্য ইন্টারাপ্ট কোয়ালেসিং প্যারামিটারগুলি (ইন্টারাপ্ট মডারেশন রেট) সামঞ্জস্য করুন — সাধারণত স্টোরেজ ওয়ার্কলোডের জন্য মাঝারি কোয়ালেসিং এবং ট্রেডিং অ্যাপ্লিকেশনগুলির জন্য ন্যূনতম কোয়ালেসিং সেট করা হয়

অপ্টিমাইজেশন নির্দেশিকা

সর্বাধিক থ্রুপুট এবং সর্বনিম্ন লেটেন্সি অর্জনের জন্য, MCX631432AN-ADAB ডেটাশিট এর উপর ভিত্তি করে নিম্নলিখিত অপ্টিমাইজেশনগুলি সুপারিশ করা হয়:

• হোস্ট মেমরি ব্যান্ডউইথ ব্যবহার কমাতে হার্ডওয়্যার CRC এবং হেডার/ডেটা স্প্লিট অফলোড সক্ষম করুন
• ওয়ার্কলোড প্রোফাইলের উপর ভিত্তি করে প্রতি-প্রায়োরিটি PFC থ্রেশহোল্ডগুলি ডাইনামিকভাবে কনফিগার করুন — অ্যাডাপ্টারের ভেন্ডর-নির্দিষ্ট বাফার কনফিগারেশন সরঞ্জামগুলি ব্যবহার করে
• অ্যাডাপ্টারের উন্নত QoS বৈশিষ্ট্যগুলি সক্ষম করুন, যার মধ্যে রয়েছে প্রতি ট্র্যাফিক ক্লাসের জন্য রেট লিমিটিং এবং কঠোর প্রায়োরিটি বা ওয়েটেড ফেয়ার কিউইং
• বৃহৎ-স্কেল স্থাপনার জন্য, সুইচগুলির সাথে PFC এবং ECN আলোচনা স্বয়ংক্রিয় করতে ৮0২.১Qaz ডেটা সেন্টার ব্রিজিং এক্সচেঞ্জ (DCBX) এর জন্য অ্যাডাপ্টারের সমর্থন ব্যবহার করুন

৬. সারসংক্ষেপ ও মূল্য মূল্যায়ন

NVIDIA Mellanox MCX631432AN-ADAB কেন্দ্রিক প্রযুক্তিগত সমাধানটি ঐতিহ্যবাহী ১০GbE TCP/IP স্থাপনার তুলনায় সার্ভার থ্রুপুট ৫-৬ গুণ বৃদ্ধি করার সাথে সাথে সাব-১০ মাইক্রোসেকেন্ড RDMA লেটেন্সি অর্জনের একটি স্পষ্ট পথ সরবরাহ করে। মূল মূল্য প্রস্তাবনাগুলির মধ্যে রয়েছে:

• অবকাঠামো সরলীকরণ: সমস্ত ট্র্যাফিক প্রকারের জন্য লসলেস ইথারনেট সক্ষম করে পৃথক স্টোরেজ এবং কম্পিউট নেটওয়ার্কের প্রয়োজনীয়তা দূর করে
• পারফরম্যান্স পূর্বাভাসযোগ্যতা: হার্ডওয়্যার-অফলোডেড RoCEv2 ৯০%+ লাইন-রেট ব্যবহারের অধীনেও ডিটারমিনিস্টিক লেটেন্সি নিশ্চিত করে
• অপারেশনাল দক্ষতা: ব্যাপক টেলিমেট্রি এবং স্ব-নিরাময় কনজেশন ম্যানেজমেন্ট নেটওয়ার্কিং সমস্যাগুলির জন্য গড় সমাধানের সময় (MTTR) হ্রাস করে
• বিনিয়োগ সুরক্ষা: অ্যাডাপ্টারের PCIe Gen 4.0 ইন্টারফেস এবং প্রোগ্রামযোগ্যতা ভবিষ্যতের সিপিইউ এবং সুইচ প্রজন্মের সাথে সামঞ্জস্যতা নিশ্চিত করে

যারা সক্রিয়ভাবে MCX631432AN-ADAB বিক্রয়ের জন্য বিকল্পগুলি মূল্যায়ন করছেন, তাদের জন্য এই সমাধানটি একটি প্রমাণিত রেফারেন্স আর্কিটেকচার সরবরাহ করে যা আর্থিক পরিষেবা, ক্লাউড সরবরাহকারী এবং এন্টারপ্রাইজ স্টোরেজ স্থাপনার জুড়ে প্রোডাকশন পরিবেশে যাচাই করা হয়েছে। পারফরম্যান্স, স্কেলেবিলিটি এবং অপারেশনাল পরিপক্কতার সমন্বয় MCX631432AN-ADAB ইথারনেট অ্যাডাপ্টার কার্ড কে আধুনিক ডেটা সেন্টার রূপান্তরের জন্য একটি কৌশলগত বিনিয়োগ করে তোলে।