NVIDIA Mellanox MCX653105A-HDAT সার্ভার অ্যাডাপ্টার প্রযুক্তিগত সমাধান

NVIDIA Mellanox MCX653105A-HDAT সার্ভার অ্যাডাপ্টার প্রযুক্তিগত সমাধান: RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট এবং সার্ভার থ্রুপুট এনহ্যান্সমেন্ট আর্কিটেকচার

১. প্রকল্পের পটভূমি এবং প্রয়োজনীয়তা বিশ্লেষণ

লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) প্রশিক্ষণ, হাই-পারফরম্যান্স কম্পিউটিং সিমুলেশন এবং রিয়েল-টাইম ডেটা অ্যানালিটিক্স ওয়ার্কলোডগুলি স্কেল করার সাথে সাথে ডেটা সেন্টার নেটওয়ার্কগুলি অভূতপূর্ব চাহিদার সম্মুখীন হচ্ছে। আধুনিক GPU-ত্বরান্বিত ক্লাস্টারগুলির কেবল বিশাল ব্যান্ডউইথই নয়, মাইক্রোসেকেন্ড-স্কেল লেটেন্সি, ডিটারমিনিস্টিক পারফরম্যান্স এবং বুদ্ধিমান ট্র্যাফিক ম্যানেজমেন্টও প্রয়োজন। TCP/IP এবং স্ট্যান্ডার্ড ইথারনেটের উপর নির্মিত ঐতিহ্যবাহী নেটওয়ার্ক আর্কিটেকচারগুলি ধারাবাহিকভাবে এই প্রয়োজনীয়তাগুলি পূরণ করতে ব্যর্থ হয় — অপ্রত্যাশিত লেটেন্সি জিটার প্রবর্তন করে, প্রোটোকল প্রক্রিয়াকরণের জন্য অতিরিক্ত CPU সংস্থান ব্যবহার করে এবং ওয়ার্কলোড-নির্দিষ্ট অপ্টিমাইজেশনের জন্য প্রয়োজনীয় প্রোগ্রামেবিলিটির অভাব রয়েছে।

উন্নত সার্ভার অ্যাডাপ্টার গ্রহণের চালিকাশক্তি মূল এন্টারপ্রাইজ প্রয়োজনীয়তাগুলির মধ্যে রয়েছে:

• স্কেলে আল্ট্রা-লো লেটেন্সি: ডিস্ট্রিবিউটেড ট্রেনিং জবগুলির জন্য GPU ব্যবহার ৯0% এর উপরে বজায় রাখার জন্য শত শত নোডের মধ্যে কালেক্টিভ কমিউনিকেশন লেটেন্সি ৫০০ মাইক্রোসেকেন্ডের নিচে প্রয়োজন।
• বেসিক নেটওয়ার্কিংয়ের বাইরে CPU অফলোড: ডেটা প্রিপ্রসেসিং এবং মডেল চেকপয়েন্টিংয়ের জন্য ক্ষমতা সংরক্ষণের জন্য নেটওয়ার্ক প্রক্রিয়াকরণ প্রতি নোডে CPU সংস্থানের ৮% এর কম ব্যবহার করতে হবে।
• লাইন-রেট সিকিউরিটি: ডেটা-ইন-ট্রানজিট এনক্রিপশন (IPsec/MACsec) থ্রুপুট আপোস না করে বা উল্লেখযোগ্য লেটেন্সি যোগ না করে ওয়্যার স্পিডে সম্পন্ন করতে হবে।
• প্রোগ্রামেবল ডেটা পাথ: অ্যাডাপ্টারকে ওয়ার্কলোড প্যাটার্ন এবং প্রোটোকল উদ্ভাবনের সাথে মানিয়ে নিতে কাস্টম ট্র্যাফিক স্টিয়ারিং এবং প্যাকেট প্রক্রিয়াকরণ সমর্থন করতে হবে।
• নির্বিঘ্ন স্কেলেবিলিটি: পরিকাঠামোকে অপারেশনাল জটিলতা বিস্ফোরণ ছাড়াই লিনিয়ার পারফরম্যান্স বৃদ্ধির সাথে কয়েক ডজন থেকে শত শত নোডে স্কেল করতে হবে।

২. সামগ্রিক নেটওয়ার্ক/সিস্টেম আর্কিটেকচার ডিজাইন

প্রস্তাবিত আর্কিটেকচার RoCEv2 ট্রান্সপোর্টের জন্য অপ্টিমাইজ করা একটি হাই-পারফরম্যান্স লিফ-স্পাইন টপোলজি ব্যবহার করে। এই ডিজাইনের কেন্দ্রে রয়েছে MCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধান, যা আল্ট্রা-হাই-ব্যান্ডউইথ সংযোগ এবং উন্নত অফলোড ক্ষমতা প্রদানের জন্য প্রতিটি সার্ভার নোডে স্থাপন করা হয়েছে।

আর্কিটেকচার স্তর: প্রতিটি সার্ভার একটি MCX653105A-HDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড দিয়ে সজ্জিত, যা ডুয়াল-পোর্ট 100GbE সংযোগ সহ কনফিগার করা হয়েছে। উভয় পোর্ট সক্রিয়-সক্রিয় মোডে কাজ করে, হার্ডওয়্যার-ভিত্তিক লোড ব্যালেন্সিং এবং ফেইলওভার সহ 200 Gb/s অ্যাগ্রিগেট থ্রুপুট সরবরাহ করে। অ্যাডাপ্টারের PCIe 4.0 x16 ইন্টারফেস 32 GT/s ব্যান্ডউইথ সরবরাহ করে, হোস্ট-সাইড বাধা দূর করে।

লিফ লেয়ার:

• NVIDIA Spectrum-4 সুইচগুলি উন্নত RoCE-সচেতন কনজেশন কন্ট্রোল (PFC, ECN, এবং DCQCN) সহ লো-লেটেন্সি, লসলেস ইথারনেট ফরওয়ার্ডিং সরবরাহ করে। এই সুইচগুলি 400GbE আপলিঙ্ক সমর্থন করে এবং ফ্যাব্রিক ভিজিবিলিটির জন্য ব্যাপক টেলিমেট্রি সরবরাহ করে।স্পাইন লেয়ার:লাইফসাইকেল ম্যানেজমেন্ট:ব্যবস্থাপনা এবং অর্কেস্ট্রেশন:
• NVIDIA DOCA এবং MLNX-OS পুরো স্ট্যাক জুড়ে ইউনিফাইড ম্যানেজমেন্ট, টেলিমেট্রি সংগ্রহ, কনফিগারেশন অর্কেস্ট্রেশন এবং জিরো-টাচ প্রভিশনিং সরবরাহ করে।আর্কিটেকচার SR-IOV এবং eSwitch অফলোডের মাধ্যমে হার্ডওয়্যার-ভিত্তিক নেটওয়ার্ক ভার্চুয়ালাইজেশন অন্তর্ভুক্ত করে, যা পারফরম্যান্স আপোস না করে দক্ষ মাল্টি-টেন্যান্ট আইসোলেশনের জন্য প্রতি অ্যাডাপ্টারে ১,০০০ ভার্চুয়াল ফাংশন পর্যন্ত সমর্থন করে।
• ৩. সমাধানে NVIDIA Mellanox MCX653105A-HDAT এর ভূমিকা এবং মূল বৈশিষ্ট্যNVIDIA Mellanox MCX653105A-HDAT কম্পিউট/স্টোরেজ রিসোর্স এবং নেটওয়ার্ক ফ্যাব্রিকের মধ্যে গুরুত্বপূর্ণ ইন্টারফেস হিসাবে কাজ করে। এর উন্নত বৈশিষ্ট্য সেট সামগ্রিক আর্কিটেকচারের পারফরম্যান্স এবং দক্ষতার উদ্দেশ্যগুলিকে সক্ষম করে:
• বৈশিষ্ট্যপ্রযুক্তিগত ক্ষমতা

ব্যবসায়িক সুবিধা

ডুয়াল-পোর্ট 100GbE

RDMA/RoCEv2 অফলোড

পর্যায় ৩ — ফ্যাব্রিক-ওয়াইড রোলআউট (১০০+ নোড):সাধারণ টপোলজি বর্ণনা: একটি স্ট্যান্ডার্ড র্যাক কনফিগারেশনে ২০টি কম্পিউট/স্টোরেজ সার্ভার থাকে, প্রতিটিতে একটি MCX653105A-HDAT সজ্জিত থাকে। পোর্ট ১ লিফ সুইচ A এর সাথে সংযুক্ত হয়, পোর্ট ২ লিফ সুইচ B এর সাথে সংযুক্ত হয়, স্বয়ংক্রিয় ফেইলওভার সহ রিডান্ড্যান্ট সক্রিয়-সক্রিয় পাথ সরবরাহ করে। লিফ সুইচগুলি 400GbE এর মাধ্যমে স্পাইন সুইচগুলিতে আপলিঙ্ক করে, একটি 1:1 ওভারসাবস্ক্রিপশন অনুপাত সহ একটি CLOS ফ্যাব্রিক তৈরি করে। এই ডিজাইনটি নিশ্চিত করে যে কোনও একক লিঙ্ক বা সুইচ ব্যর্থতা অ্যাপ্লিকেশন উপলব্ধতাকে প্রভাবিত করে না, সাব-সেকেন্ড রিকভারি মেকানিজম সহ।মোট মালিকানা ব্যয় মূল্যায়নকারী সংস্থাগুলির জন্য, MCX653105A-HDAT মূল্য CPU সঞ্চয় (সাধারণত প্রতি সার্ভারে ৪-৬ কোর পুনরুদ্ধার), ৩–৫× অ্যাপ্লিকেশন থ্রুপুট লাভ এবং একাধিক ২৫GbE লিঙ্ক একত্রীকরণের ক্ষমতার সাথে বিবেচনা করা উচিত। NVIDIA Spectrum সুইচ এবং DOCA সফ্টওয়্যার সাবস্ক্রিপশন সহ MCX653105A-HDAT বিক্রয়ের জন্য বান্ডিলের সাথে ভলিউম ডিসকাউন্ট প্রায়শই উপলব্ধ থাকে।

৫. অপারেশন, মনিটরিং, ট্রাবলশুটিং এবং অপ্টিমাইজেশন

একটি হাই-পারফরম্যান্স RoCE ফ্যাব্রিকের কার্যকর অপারেশন বিশেষ মনিটরিং এবং ট্রাবলশুটিং অনুশীলনের প্রয়োজন। MCX653105A-HDAT এই ক্রিয়াকলাপগুলিকে সমর্থন করার জন্য ব্যাপক ইন্সট্রুমেন্টেশন সরবরাহ করে: সাব-সেকেন্ড গ্রানুলারিটিতে প্রতি-ফ্লো থ্রুপুট, কিউ ডেপথ, প্যাকেট ড্রপস এবং লেটেন্সি ডিস্ট্রিবিউশন নিরীক্ষণের জন্য অ্যাডাপ্টারের হার্ডওয়্যার কাউন্টারগুলি ব্যবহার করুন। রিয়েল-টাইম ড্যাশবোর্ড এবং অ্যালার্টের জন্য স্ট্যান্ডার্ড মনিটরিং প্ল্যাটফর্মে (Prometheus, Grafana, ELK স্ট্যাক) মেট্রিকগুলি রপ্তানি করুন।

কনজেশন সনাক্তকরণ এবং ব্যবস্থাপনা: মাইক্রো-বার্স্ট এবং ট্র্যাফিক হটস্পট সনাক্ত এবং স্থানীয়করণ করতে PFC পজ ফ্রেম, ECN-চিহ্নিত প্যাকেট এবং বাফার অকুপেন্সি নিরীক্ষণ করুন। MCX653105A-HDAT ডেটাশিট এই কাউন্টারগুলি ব্যাখ্যা করার এবং অর্থপূর্ণ অ্যালার্ট থ্রেশহোল্ড স্থাপন করার জন্য বিস্তারিত নির্দেশিকা সরবরাহ করে।লাইফসাইকেল ম্যানেজমেন্ট: NVIDIA OFED ড্রাইভার স্ট্যাক এবং অ্যাডাপ্টার ফার্মওয়্যারের নিয়মিত আপডেট পারফরম্যান্স, নিরাপত্তা এবং বৈশিষ্ট্য উন্নত করার জন্য অপরিহার্য। বড় স্থাপনা জুড়ে স্বয়ংক্রিয়, জিরো-টাচ লাইফসাইকেল ম্যানেজমেন্টের জন্য NVIDIA DOCA ব্যবহার করুন।

পারফরম্যান্স টিউনিং নির্দেশিকা: মূল টিউনিং প্যারামিটারগুলির মধ্যে রয়েছে PFC বাফার থ্রেশহোল্ড (সাধারণত প্রতি পোর্টে ২-৪ MB), ECN মার্কিং সীমা (কিউ ডেপথের ৮০-৯০%), অ্যাডাপ্টার ইন্টারাপ্ট মডারেশন সেটিংস (লেটেন্সি বনাম থ্রুপুট ভারসাম্য), এবং PCIe লিঙ্ক কনফিগারেশন। উপযুক্ত সেটিংস নির্দিষ্ট ওয়ার্কলোড প্রোফাইল এবং ক্লাস্টার আকারের উপর নির্ভর করে।সিস্টেমেটিক ট্রাবলশুটিং ফ্রেমওয়ার্ক: বেশিরভাগ পারফরম্যান্স সমস্যা DCB মিসকনফিগারেশন, MTU মিসম্যাচ, ড্রাইভার সংস্করণ অসঙ্গতি বা ক্যাবলিং সমস্যার কারণে হতে পারে। অ্যাডাপ্টারের ডায়াগনস্টিক টুলসেট (mstflint, ethtool, mlxconfig, mlxlink, এবং mlxband) অপারেশনাল স্ট্যাটাস, লিঙ্ক স্বাস্থ্য, ত্রুটি পরিসংখ্যান এবং ব্যান্ডউইথ ব্যবহারের উপর ব্যাপক দৃশ্যমানতা সরবরাহ করে।

৬. সারসংক্ষেপ এবং মূল্য মূল্যায়নNVIDIA Mellanox MCX653105A-HDAT একটি কৌশলগত পরিকাঠামো বিনিয়োগের প্রতিনিধিত্ব করে যা একাধিক মাত্রায় রূপান্তরকারী ব্যবসায়িক মূল্য সরবরাহ করে:

মাত্রাপ্রদত্ত মূল্য200 Gb/s থ্রুপুট, সাব-০.৬µs লেটেন্সি, ৩–৫× অ্যাপ্লিকেশন-লেভেল পারফরম্যান্স উন্নতি

দক্ষতাCPU অফলোড ৮০% পর্যন্ত, ২৫W পাওয়ার খরচ, প্রতি সার্ভারে ৪-৬ কোর পুনরুদ্ধারTCOসার্ভার আপগ্রেড ১৮-২৪ মাস পর্যন্ত স্থগিত করুন, ক্লাস্টার আকার ৩০-৪০% কমান, কুলিং খরচ কমানপ্রোগ্রামেবিলিটি

DOCA এর মাধ্যমে ভবিষ্যৎ-প্রমাণ, কাস্টম ডেটা-পাথ অ্যাপ্লিকেশন এবং ওয়ার্কলোড-নির্দিষ্ট অপ্টিমাইজেশন সক্ষম করে

একটি এন্ড-টু-এন্ড MCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধান হিসাবে, এটি সংস্থাগুলিকে লসলেস, হাই-পারফরম্যান্স নেটওয়ার্ক তৈরি করতে সক্ষম করে যা আধুনিক AI, HPC এবং ক্লাউড-নেটিভ ওয়ার্কলোডগুলির সম্পূর্ণ সম্ভাবনাকে উপলব্ধি করে। এন্টারপ্রাইজ ডেটা সেন্টার, ক্লাউড পরিষেবা প্রদানকারী পরিবেশ বা ডেডিকেটেড গবেষণা সুবিধাগুলিতে স্থাপন করা হোক না কেন, NVIDIA Mellanox MCX653105A-HDAT ধারাবাহিকভাবে নেটওয়ার্ক স্থপতিদের পরবর্তী প্রজন্মের পরিকাঠামোর জন্য প্রয়োজনীয় পারফরম্যান্স, দক্ষতা এবং বুদ্ধিমত্তা সরবরাহ করে।