অ্যাকশনে মেলানক্স (এনভিআইডিআইএ মেলানক্স) এমসিএক্স 623106 এএন-সিডিএটি সার্ভার অ্যাডাপ্টার

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT সার্ভার অ্যাডাপ্টার অ্যাকশনে।

একটি বড় আকারের ইন্টারনেট কোম্পানির ইলাস্টিক খালি ধাতু এবং এআই inference হাইব্রিড স্থাপনার দৃশ্যকল্প,নেটওয়ার্কের বিলম্ব এবং সিপিইউ ওভারহেড জিপিইউ ব্যবহার এবং স্টোরেজ কর্মক্ষমতা স্কেলিং করার জন্য সমালোচনামূলক বাধা হয়ে উঠেছে. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureএই কেস স্টাডিতে দেখা যাচ্ছে কিভাবেMCX623106AN-CDATমেলানক্স থেকে (NVIDIA Mellanox) এই চ্যালেঞ্জ মোকাবেলা করে এবং নেটওয়ার্ক ফ্যাব্রিককে একটি সত্যিকারের কম্পিউটারে রূপান্তরিত করে।

পটভূমি ও চ্যালেঞ্জঃ যখন ২৫ জি এনআইসি তাদের সীমাতে পৌঁছেছে

উত্পাদন পরিবেশে ১,২০০ টিরও বেশি কম্পিউটারের নোড ছিল যা দুটি উপলভ্যতার অঞ্চলে বিভক্ত ছিল, অনলাইন অনুমান পরিষেবা, অফলাইন এআই প্রশিক্ষণ এবং বিতরণকৃত অবজেক্ট স্টোরেজের মিশ্রণ চালায়।বিদ্যমান 25G ইথারনেট অ্যাডাপ্টার, যদিও মৌলিক সংযোগের জন্য পর্যাপ্ত, সমান্তরাল ওয়ার্কলোডের অধীনে লড়াই করেছে। মূল সমস্যাগুলির মধ্যে রয়েছেঃ

• উচ্চ সিপিইউ ব্যবহার: সফটওয়্যার-ভিত্তিক টিসিপি/আইপি স্ট্যাক প্রসেসিং শীর্ষ I/O বার্স্টের সময় স্টোরেজ নোডগুলিতে CPU কোরগুলির 35% পর্যন্ত খরচ করে।
• অসামঞ্জস্যপূর্ণ বিলম্ব: বিতরণকৃত অল-রেডুস অপারেশনের জন্য লেটেনসি (পি 99) প্রায়শই 50μs অতিক্রম করে, যা প্যারামিটার সিঙ্ক্রোনাইজেশনের সময় জিপিইউর অল্প ব্যবহারের কারণ হয়।
• স্টোরেজ বোতলঘাট: লসি ইথারনেটের উপর এনভিএম-ওএফ ট্র্যাফিক প্যাকেট ড্রপ থেকে ভোগে, পুনরায় ট্রান্সমিশনগুলিকে ট্রিগার করে যা কার্যকর থ্রুপুটকে প্রায় 40% হ্রাস করে।

মালিকানাধীন ইনফিনিব্যান্ড এবং প্রতিযোগিতামূলক 25G এনআইসি সহ একাধিক বিকল্পের মূল্যায়ন করার পরে, দলটিএনভিডিয়া মেলানক্স এমসিএক্স৬২৩১০৬এএন-সিডিএটিহার্ডওয়্যার ভিত্তিক RoCEv2 ত্বরণ, প্রোগ্রামযোগ্য ডেটা পাথ এবং বিস্তৃত প্ল্যাটফর্ম সামঞ্জস্যের অনন্য সংমিশ্রণের জন্য।

সমাধান ও বাস্তবায়ন পদ্ধতি

বাস্তবায়ন কৌশলটি তিনটি স্তম্ভের উপর দৃষ্টি নিবদ্ধ করেছেঃRDMA/RoCE সক্ষমকরণ,স্মার্ট অফলোড অ্যাক্টিভেশন, এবংধীরে ধীরে ফ্লিট মাইগ্রেশন. প্রতিটি গণনা নোড এক পেয়েছেMCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড, যা পূর্ববর্তী প্রজন্মের এনআইসিকে প্রতিস্থাপন করে, 25G তামার/ফাইবার অবকাঠামো পরিবর্তন না করে।

কনফিগারেশন দৃষ্টিকোণ থেকে, দলটিMCX623106AN-CDAT ডেটা শীটনিম্নলিখিত পরামিতিগুলি সূক্ষ্মভাবে সামঞ্জস্য করাঃ

• RoCEv2 PFC (প্রাথমিক প্রবাহ নিয়ন্ত্রণ) সেটআপ: স্টোরেজ (NVMe-oF) এবং এআই সমষ্টিগত যোগাযোগের জন্য ডেডিকেটেড লসলেস ট্র্যাফিক ক্লাস সংজ্ঞায়িত করা হয়েছিল, যখন সেরা প্রচেষ্টা ট্র্যাফিক পৃথক লসলি সারিগুলিতে রয়ে গেছে।
• হার্ডওয়্যার ডাউনলোড সক্ষম: VXLAN/NVGRE টানেল অফলোড, চেকসাম সেগমেন্টেশন এবং LRO (লার্জ রিসিভ অফলোড) প্রতি প্যাকেটে CPU হস্তক্ষেপ কমাতে সক্রিয় করা হয়েছিল।
• ডিপিইউ-প্রস্তুত প্রোগ্রামযোগ্যতা: ASAP2 ব্যবহার করে, দলটি স্টোরেজ ট্র্যাফিককে সরাসরি NVMe-oF টার্গেট এন্ডপয়েন্টগুলিতে পরিচালনা করতে হালকা ওজনের ফ্লো নিয়ম স্থাপন করেছে, সম্পূর্ণরূপে কার্নেল নেটওয়ার্ক স্ট্যাককে বাইপাস করে।

সামঞ্জস্যতা যাচাইকরণ সহজ ছিলMCX623106AN-CDAT সামঞ্জস্যপূর্ণএই তালিকাটি ফ্লোটের সমস্ত সার্ভার মডেল (ডেল পাওয়ারএজ R750 এবং সুপারমাইক্রো আল্ট্রা সিরিজ) জুড়েছিল এবং বিদ্যমান রেড হ্যাট ওপেনশিফ্ট এবং উবুন্টু ভিত্তিক নোডগুলি নতুন ড্রাইভারগুলি সমস্যা ছাড়াই গ্রহণ করেছিল।

ফলাফল ও পরিমাপযোগ্য উপকারিতা

৩ সপ্তাহের উৎপাদন প্রয়োগের পর ৪০% কম্পিউটার ফ্লিটে, পারফরম্যান্স লাভগুলি অবিলম্বে দৃশ্যমান হয়েছিল। নিম্নলিখিত টেবিলটি মূল আগে এবং পরে মেট্রিকগুলিকে সংক্ষিপ্তভাবে তুলে ধরেছেঃ

পরিমাণগত উন্নতি ছাড়াও, ইঞ্জিনিয়ারিং টিম অপারেশনাল স্থিতিশীলতার গুণগত পরিবর্তন সম্পর্কে রিপোর্ট করেছে।হার্ডওয়্যার ভিত্তিক PFC এবং ECN (Explicit Congestion Notification) প্রক্রিয়াগুলি নিশ্চিত করেছিল যে স্টোরেজ ট্র্যাফিক কার্যত ক্ষতিহীন ছিল, ক্যাসকেডিং রিট্রান্সমিশন ঝড়গুলি দূর করে যা পূর্বে অ্যাপ্লিকেশন এসএলএগুলিকে প্রভাবিত করেছিল।MCX623106AN-CDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ডক্রস-জোন প্রতিলিপি ট্র্যাফিকের জন্য লাইন রেট আইপিএসইসি এনক্রিপশন পরিচালনা করে, যা সুরক্ষা দলকে ডেডিকেটেড এনক্রিপশন অ্যাপ্লায়েন্স স্থাপন না করেই শূন্য-বিশ্বাস নীতিগুলি প্রয়োগ করতে সক্ষম করে।

সংক্ষিপ্ত বিবরণ ও ভবিষ্যৎ দৃষ্টিভঙ্গি

এই কর্মসূচির মাধ্যমে বোঝা যাচ্ছে যে,MCX623106AN-CDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানএটি কেবলমাত্র একটি ইনক্রিমেন্টাল এনআইসি আপগ্রেড নয় এটি আধুনিক ডেটা সেন্টার আর্কিটেকচারের জন্য একটি কৌশলগত সক্ষমক।এবং ব্যাপক আনলোড ক্ষমতা, অ্যাডাপ্টারটি কার্যকরভাবে একটি স্ট্যান্ডার্ড ইথারনেট ফ্যাব্রিককে একটি কম-ল্যাটেনসি, উচ্চ-কার্যকারিতা অবকাঠামো স্তরে রূপান্তর করে।আইটি সংস্থাটি এখন বাকি সমস্ত নোডগুলিতে স্থাপনার সম্প্রসারণের পরিকল্পনা করছে এবং সক্রিয়ভাবে মূল্যায়ন করছেMCX623106AN-CDAT স্পেসিফিকেশনপরবর্তী প্রজন্মের 50G স্পাইন-লেফ ডিজাইন।

ইনফ্রাস্ট্রাকচার আর্কিটেক্টস এবং আইটি ম্যানেজারদের জন্য একই কর্মক্ষমতা সিলিংয়ের মুখোমুখি,MCX623106AN-CDATএকজন সিনিয়র আর্কিটেক্ট বলেন:"আমরা আমাদের পূর্ববর্তী ২৫জি এনআইসির তুলনায় অর্ধেক সিপিইউ খরচে ভালো লেটেন্সি অর্জন করেছি এবং আমাদের একটিও র্যাক পুনরায় ক্যাবল করতে হয়নি। "তার বিশালMCX623106AN-CDAT সামঞ্জস্যপূর্ণপরিবেশগত এবং প্রতিযোগিতামূলকMCX623106AN-CDAT দামএই অ্যাডাপ্টারটি 25G RoCE ডিপ্লয়মেন্টের জন্য ডিফল্ট পছন্দ হয়ে উঠতে পারে, কাজটি কি এআই প্রশিক্ষণ, বিতরণকৃত স্টোরেজ বা রিয়েল-টাইম বিশ্লেষণ।