Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT সার্ভার অ্যাডাপ্টার টেকনিক্যাল হোয়াইটপেপার

এই প্রযুক্তিগত হোয়াইটপেপারটি নেটওয়ার্ক আর্কিটেক্ট, প্রি-সেলস ইঞ্জিনিয়ার এবং অপারেশনস ম্যানেজারদের জন্য ডিজাইন করা হয়েছে। এটি RDMA/RoCE প্রযুক্তি ব্যবহার করে লো-ল্যাটেন্সি, হাই-থ্রুপুট ডেটা সেন্টার নেটওয়ার্ক তৈরি করার উপর দৃষ্টি নিবদ্ধ করে, বিশেষ করে Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT সার্ভার অ্যাডাপ্টারের উপর। এই পেপারটি আর্কিটেকচারাল ডিজাইন, মূল প্রযুক্তিগত বৈশিষ্ট্য, স্থাপনা এবং স্কেলিং কৌশল, সেইসাথে অপারেশনস এবং মনিটরিং কভার করে - বাস্তব-বিশ্বের বাস্তবায়নের জন্য কার্যকর নির্দেশনা প্রদান করে।

আধুনিক ডেটা সেন্টারগুলি তিনটি মূল চ্যালেঞ্জের সম্মুখীন হয়: সিপিইউ একটি নেটওয়ার্ক বাধা হয়ে উঠছে, অতিরিক্ত স্টোরেজ অ্যাক্সেস ল্যাটেন্সি এবং ডিস্ট্রিবিউটেড অ্যাপ্লিকেশনগুলির জন্য অনিয়ন্ত্রিত যোগাযোগ ওভারহেড। ঐতিহ্যবাহী TCP/IP প্রোটোকল স্ট্যাক বড় আকারের সমান্তরাল যোগাযোগের সময় প্রোটোকল প্রক্রিয়াকরণ এবং ডেটা কপি করার জন্য সিপিইউ সংস্থানগুলির ৩০% এর বেশি ব্যবহার করে, যা কার্যকর সার্ভার থ্রুপুটকে উল্লেখযোগ্যভাবে হ্রাস করে। এদিকে, NVMe over Fabrics, ডিস্ট্রিবিউটেড মেশিন লার্নিং ফ্রেমওয়ার্ক (যেমন, NCCL), এবং ইন-মেমরি ডেটাবেসের মতো অ্যাপ্লিকেশনগুলির জন্য সাব-২০ মাইক্রোসেকেন্ড এন্ড-টু-এন্ড ল্যাটেন্সি প্রয়োজন। যা জরুরিভাবে প্রয়োজন তা হল একটি সমাধান যা কার্নেলকে বাইপাস করে এবং হার্ডওয়্যার-স্তরের পরিবহন অফলোড সরবরাহ করে - ঠিক এই সমস্যাটিই MCX623106AN-CDAT RoCE প্রযুক্তির সাথে মিলিতভাবে সমাধান করে।

এই সমাধানটি একটি দ্বি-স্তরীয় স্পাইন-লিফ টপোলজি গ্রহণ করে। সমস্ত কম্পিউট এবং স্টোরেজ নোডগুলি NVIDIA Mellanox MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার দিয়ে সজ্জিত। লিফ সুইচগুলি লসলেস RoCE অপারেশনের জন্য কনফিগার করা হয়েছে, যা PFC (Priority Flow Control) এবং ECN (Explicit Congestion Notification) সক্ষম করে, RoCE ট্র্যাফিকের জন্য একটি ডেডিকেটেড প্রায়োরিটি কিউ বরাদ্দ করা হয়েছে। মূল নকশার নীতিগুলির মধ্যে রয়েছে:

• কন্ট্রোল এবং ডেটা প্লেনের পৃথকীকরণ: RoCE ডেটা ফ্লোগুলি অ্যাডাপ্টারের হার্ডওয়্যার দ্বারা সম্পূর্ণরূপে প্রক্রিয়াজাত করা হয়, যখন কন্ট্রোল প্রোটোকলগুলি (যেমন, ARP, DHCP) এখনও ঐতিহ্যবাহী পথ অনুসরণ করে।
• ইউনিফাইড ফ্যাব্রিক: ইথারনেট স্ট্যান্ডার্ড TCP/IP এবং RoCE উভয় ট্র্যাফিক বহন করে, DSCP মার্কিংয়ের মাধ্যমে QoS বিচ্ছিন্নতা অর্জন করা হয়।
• এন্ড-টু-এন্ড কনজেশন ম্যানেজমেন্ট: DCQCN অ্যালগরিদমের উপর ভিত্তি করে, উৎস অ্যাডাপ্টার এবং সুইচগুলির মধ্যে একটি ক্লোজড-লুপ ফিডব্যাক মেকানিজম স্থাপন করা।

MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড প্রতিটি সার্ভার নোডে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। এর ডুয়াল-পোর্ট 100GbE ডিজাইন রিডান্ডেন্সির জন্য বিভিন্ন লিফ সুইচের সাথে সংযোগ স্থাপন করতে পারে বা স্টোরেজ এবং কম্পিউট ট্র্যাফিকের মধ্যে ফিজিক্যাল বিচ্ছিন্নতা প্রদান করতে পারে।

এই সমাধানের মূল ডেটা প্লেন উপাদান হিসাবে, MCX623106AN-CDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড নিম্নলিখিত সিদ্ধান্তমূলক ক্ষমতা সরবরাহ করে:

• হার্ডওয়্যার RoCE অফলোড ইঞ্জিন: হোস্ট সিপিইউ হস্তক্ষেপ ছাড়াই পরিবহন স্তর প্রক্রিয়াকরণ (সেগমেন্টেশন, পুনরায় একত্রীকরণ, স্বীকৃতি, পুনরায় প্রেরণ) পরিচালনা করে।
• ডাইনামিক ConnectX অফলোড: মাল্টি-কোর সার্ভারগুলিতে থ্রুপুট উন্নত করে মাল্টি-কিউ ট্র্যাফিক স্বয়ংক্রিয়ভাবে বিতরণ করে।
• PCIe 4.0 x16 হোস্ট ইন্টারফেস: 256Gb/s এর তাত্ত্বিক ব্যান্ডউইথ, লাইন-রেট ফরওয়ার্ডিংয়ের জন্য কোনও বাধা নিশ্চিত করে।
• উন্নত স্টোরেজ অফলোড: NVMe over Fabrics এর জন্য হার্ডওয়্যার ত্বরণ সমর্থন করে, যার মধ্যে নেমস্পেস লুকআপ এবং ডেটা ইন্টিগ্রিটি চেক অন্তর্ভুক্ত।

MCX623106AN-CDAT ডেটাশিট এবং সর্বজনীনভাবে উপলব্ধ MCX623106AN-CDAT স্পেসিফিকেশন অনুসারে, এই অ্যাডাপ্টারটি সাব-600 ন্যানোসেকেন্ড পোর্ট-টু-পোর্ট ল্যাটেন্সি অর্জন করে এবং 200 মিলিয়ন প্যাকেট প্রতি সেকেন্ড পর্যন্ত প্যাকেট প্রক্রিয়াকরণ হার সমর্থন করে। খরচ মূল্যায়নকারী দলগুলির জন্য, MCX623106AN-CDAT মূল্য তুলনামূলক 100GbE RoCE অ্যাডাপ্টারগুলির মধ্যে অত্যন্ত প্রতিযোগিতামূলক, এবং MCX623106AN-CDAT বিক্রয়ের জন্য স্ট্যান্ডার্ড ডিস্ট্রিবিউশন চ্যানেলের মাধ্যমে উপলব্ধ। নির্বাচনের আগে, সার্ভার মডেলগুলি MCX623106AN-CDAT সামঞ্জস্যপূর্ণ তালিকায় উপস্থিত আছে কিনা তা নিশ্চিত করা উচিত - মূলধারার OEM প্ল্যাটফর্মগুলি সমস্ত বৈধতা প্রাপ্ত হয়েছে।

সাধারণ টপোলজি বর্ণনা:
2 স্পাইন সুইচ এবং 4 লিফ সুইচ নিয়ে গঠিত একটি ক্লোস আর্কিটেকচার। প্রতিটি সার্ভার নোড একটি MCX623106AN-CDAT দিয়ে সজ্জিত, উভয় 100GbE পোর্ট দুটি ভিন্ন লিফ সুইচের সাথে সংযুক্ত। লিফ আপলিঙ্ক পোর্টগুলি 4:1 ওভারসাবস্ক্রিপশন অনুপাতে স্পাইনগুলির সাথে সংযোগ স্থাপন করে। RoCE ট্র্যাফিকের জন্য একটি ডেডিকেটেড VLAN ব্যবহার করা হয়।

স্থাপনা পদক্ষেপ:

• ধাপ ১: MCX623106AN-CDAT কে একটি PCIe 4.0 x16 স্লটে ফিজিক্যালি ইনস্টল করুন, তারপর সর্বশেষ ফার্মওয়্যার এবং NVIDIA MLNX_OFED ড্রাইভার ইনস্টল করুন।
• ধাপ ২: সুইচগুলিতে, RoCE ট্র্যাফিকের জন্য PFC (প্রায়োরিটি ৩ প্রস্তাবিত) এবং ECN (Kmin/Kmax সেট করুন) কনফিগার করুন।
• ধাপ ৩: অপারেটিং সিস্টেমে, RoCEv2 মোড সক্ষম করুন এবং DCQCN প্যারামিটারগুলি কনফিগার করুন (প্রাথমিক মান: α=1, β=1, টাইমার পিরিয়ড 100μs)।
• ধাপ ৪: পারফরম্যান্স বেসলাইন যাচাই করতে ib_write_bw এবং ib_write_lat সরঞ্জামগুলি ব্যবহার করুন।

স্কেলিং সুপারিশ: যখন ক্লাস্টার 500 নোডের বেশি স্কেল করে, তখন অ্যাডাপ্টারের ফ্লো কন্ট্রোল (PPC) এবং QoS ম্যাপিং টেবিলগুলি সক্ষম করার কথা বিবেচনা করুন, এবং হেড-অফ-লাইন ব্লকিং এড়াতে একাধিক RoCE প্রায়োরিটি ব্যবহার করার কথা বিবেচনা করুন।

অপারেশনস দলগুলি MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড সলিউশন এর স্বাস্থ্য নিরীক্ষণের জন্য নিম্নলিখিত সরঞ্জামগুলি ব্যবহার করতে পারে:

• mlxconfig / mlxfwmanager: ফার্মওয়্যার প্যারামিটার কনফিগার করুন এবং ফার্মওয়্যার আপগ্রেড পরিচালনা করুন।
• ethtool -S: RoCE ট্রান্সমিট/রিসিভ কাউন্টার এবং PFC পজ ফ্রেম কাউন্টগুলি দেখুন।
• ibdiagnet: অপ্রয়োজনীয় PFC ঝড় সনাক্ত করতে ব্যাপক RoCE নেটওয়ার্ক ডায়াগনস্টিকস সম্পাদন করুন।
• টেলিমেট্রি এবং HIST: টেইল ল্যাটেন্সি অস্বাভাবিকতা সনাক্ত করতে অ্যাডাপ্টারের অন্তর্নির্মিত ঐতিহাসিক ল্যাটেন্সি ডিস্ট্রিবিউশন টেবিলগুলি ব্যবহার করুন।

সাধারণ ট্রাবলশুটিং:

• প্রত্যাশিত চেয়ে কম থ্রুপুট: PCIe নেগোসিয়েশন স্ট্যাটাস পরীক্ষা করুন (Gen4 x16 হওয়া উচিত) এবং নিশ্চিত করুন যে MTU 9000 জ্যাম্বো ফ্রেমগুলিতে অভিন্নভাবে সেট করা হয়েছে।
• RoCE সংযোগ ব্যর্থতা: DSCP ম্যাপিং এবং VLAN কনফিগারেশন যাচাই করুন, নিশ্চিত করুন যে সুইচ RoCE-চিহ্নিত প্যাকেটগুলি ড্রপ করছে না।
• উচ্চ সিপিইউ ব্যবহার: এটি হার্ডওয়্যার অফলোড সক্ষম না হওয়ার ইঙ্গিত দিতে পারে; ethtool অফলোড সেটিংস পরীক্ষা করুন।

অপ্টিমাইজেশন সুপারিশ: অত্যন্ত ল্যাটেন্সি-সংবেদনশীল অ্যাপ্লিকেশনগুলির জন্য (যেমন, হাই-ফ্রিকোয়েন্সি ট্রেডিং, RDMA লগ রেপ্লিকেশন), RoCE পরিষেবা প্রকারকে "কানেক্টেড" থেকে "ডেটাগ্রাম" এ পরিবর্তন করার এবং কনজেশন কন্ট্রোল নিষ্ক্রিয় করার কথা বিবেচনা করুন।

MCX623106AN-CDAT এর উপর ভিত্তি করে RDMA/RoCE সমাধান বিদ্যমান ইথারনেট পরিকাঠামো প্রতিস্থাপন না করে ডিস্ট্রিবিউটেড অ্যাপ্লিকেশনগুলির জন্য এন্ড-টু-এন্ড ল্যাটেন্সি একটি মাত্রার ক্রম (শত শত মাইক্রোসেকেন্ড থেকে কয়েক দশ মাইক্রোসেকেন্ড পর্যন্ত) হ্রাস করে, একই সাথে 20-30% সিপিইউ কম্পিউট রিসোর্স মুক্ত করে। AI প্রশিক্ষণ, হাইপারকনভার্জড স্টোরেজ এবং রিয়েল-টাইম অ্যানালিটিক্সের মতো পরিস্থিতির জন্য, এটি সরাসরি ছোট কাজের সমাপ্তির সময় এবং উচ্চতর সার্ভার ঘনত্বের দিকে পরিচালিত করে। একটি সম্পূর্ণ MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড সলিউশন হিসাবে, এটি প্রদর্শন করে যে "লসলেস ইথারনেট + স্মার্ট এনআইসি" উচ্চ থ্রুপুট এবং লো ল্যাটেন্সি উভয় অর্জনের একটি কার্যকর পথ। আরও প্রযুক্তিগত বিবরণ বা MCX623106AN-CDAT ডেটাশিট পেতে, অনুগ্রহ করে অফিসিয়াল NVIDIA ডকুমেন্টেশন দেখুন বা একটি সলিউশন আর্কিটেকচার টিমের সাথে যোগাযোগ করুন।