আরডিএমএ/আরওসিই লো-লেটেন্সি ট্রান্সপোর্ট ও সার্ভার থ্রুপুটের অগ্রগতি

একটি দ্রুত বর্ধনশীল এআই গবেষণা ল্যাব একটি পরিচিত সমস্যায় ভুগছিল: তাদের 100GbE পরিকাঠামো তারের গতির ব্যান্ডউইথ সরবরাহ করছিল, কিন্তু অ্যাপ্লিকেশন লেটেন্সি স্থিরভাবে বেশি ছিল। ডিস্ট্রিবিউটেড ট্রেনিং জবগুলি ঘন ঘন নেটওয়ার্ক জিটার দ্বারা ক্ষতিগ্রস্ত হচ্ছিল এবং NVMe-ওভার-ফ্যাবরিক্স স্টোরেজ অ্যাক্সেস অপ্রত্যাশিত বিলম্ব যোগ করছিল। মূল কারণ? ঐতিহ্যবাহী TCP/IP স্ট্যাকগুলি প্যাকেট প্রক্রিয়াকরণের জন্য প্রায় 30% সিপিইউ কোর ব্যবহার করছিল, প্রকৃত কাজের জন্য কম কম্পিউটেশন রেখে যাচ্ছিল। দলটির একটি মৌলিক পরিবর্তনের প্রয়োজন ছিল—হোস্ট সিপিইউ-কে ভারাক্রান্ত না করে ডেটা সরানো। সেই অনুসন্ধান তাদের মূল্যায়ন করতে পরিচালিত করেছিল মেলানক্স (এনভিডিয়া মেলানক্স) MCX653105A-HDAT সার্ভার এনআইসি।

ল্যাবটি 24টি কম্পিউট নোডে MCX653105A-HDAT স্থাপন করেছে, প্রতিটি ডুয়াল-পোর্ট 100GbE সংযোগ সহ সজ্জিত। একটি নেটিভ MCX653105A-HDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড হিসাবে, এটি হার্ডওয়্যার-অফলোডেড RoCE (RDMA over Converged Ethernet) সমর্থন করে, যা ডেটাকে কার্নেলকে বাইপাস করতে এবং সরাসরি মেমরি অঞ্চলগুলির মধ্যে সরানোর অনুমতি দেয়। কনফিগারেশন প্রক্রিয়াটি সহজ ছিল: MCX653105A-HDAT সামঞ্জস্যপূর্ণ সার্ভার (সুপারমাইক্রো এবং ডেল পাওয়ারএজ) যাচাই করার পরে, প্রকৌশলীরা সর্বশেষ MLNX_OFED ড্রাইভার ইনস্টল করেছেন এবং DCQCN কনজেশন কন্ট্রোল সহ RoCE সক্ষম করেছেন। MCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড অবিলম্বে সিপিইউ থেকে নেটওয়ার্ক প্রক্রিয়াকরণ অফলোড করেছে, সফ্টওয়্যার ওভারহেডকে প্রায় শূন্যে নামিয়ে এনেছে।

স্টোরেজ ট্র্যাফিকের জন্য, দলটি সরাসরি RDMA-এর উপর NVMe নেমস্পেস ম্যাপ করেছে। এনভিডিয়া মেলানক্স MCX653105A-HDAT সাব-মাইক্রোসেকেন্ড লেটেন্সি সহ ডেটা মুভমেন্ট পরিচালনা করেছে, যখন হার্ডওয়্যার-ভিত্তিক স্টিয়ারিং কম্পিউট এবং স্টোরেজ ফ্লোগুলির মধ্যে বিচ্ছিন্নতা নিশ্চিত করেছে। MCX653105A-HDAT ডেটাশিট অনুসারে, অ্যাডাপ্টারটি 200Gb/s পর্যন্ত অ্যাগ্রিগেট থ্রুপুট সমর্থন করে—এবং বাস্তবে, ল্যাবটি পূর্ণ লোডে একটিও প্যাকেট ড্রপ না করে প্রতি পোর্টে লাইন-রেট 100GbE অর্জন করেছে।

• এন্ড-টু-এন্ড লেটেন্সি 50% হ্রাস: MPI পিং-পং পরীক্ষাগুলি 2.8µs (TCP) থেকে 1.4µs (RoCE)-এ নেমে এসেছে।
• সিপিইউ ব্যবহার 70% হ্রাস: নেটওয়ার্ক স্ট্যাক প্রক্রিয়াকরণ সম্পূর্ণরূপে হার্ডওয়্যারে স্থানান্তরিত হয়েছে, মডেল প্রশিক্ষণের জন্য কোরগুলি মুক্ত করেছে।
• স্টোরেজ IOPS দ্বিগুণ: NVMe-oF over RDMA সফ্টওয়্যার ব্রিজটি দূর করেছে, ছোট-ব্লক অ্যাক্সেসের জন্য লেটেন্সি 10µs-এর নিচে নামিয়ে এনেছে।

দলটি তাদের প্রোডাকশন পরিবেশের বিরুদ্ধে MCX653105A-HDAT স্পেসিফিকেশন যাচাই করেছে: PCIe 4.0 x16 ইন্টারফেস, ডুয়াল-স্লট থার্মাল ডিজাইন, এবং RoCE কনজেশন নোটিফিকেশনের জন্য সম্পূর্ণ সমর্থন। ক্ষমতা পরিকল্পনার জন্য, তারা মোট মালিকানা ব্যয়ের বিপরীতে MCX653105A-HDAT মূল্য পর্যালোচনা করেছে—অ্যাডাপ্টারটি সার্ভার স্প্রল হ্রাস করে এবং ওয়ার্কলোড ঘনত্ব উন্নত করে তিন মাসের মধ্যে নিজের দাম পুষিয়ে নিয়েছে। অনুমোদিত পরিবেশকদের মাধ্যমে বিক্রয়ের জন্য MCX653105A-HDAT অনুসন্ধান করার সময়, তারা একাধিক কনফিগারেশন বিকল্প খুঁজে পেয়েছে (সিঙ্গেল-পোর্ট, ডুয়াল-পোর্ট, সিকিউর বুট সহ বা ছাড়া)।

এই স্থাপন নিশ্চিত করে যে এনভিডিয়া মেলানক্স MCX653105A-HDAT কেবল একটি উচ্চ-গতির এনআইসি নয়—এটি একটি সম্পূর্ণ ডেটা অ্যাক্সিলারেশন প্ল্যাটফর্ম। নেটওয়ার্ক প্রক্রিয়াকরণকে হার্ডওয়্যারে সরিয়ে এবং প্রকৃত RDMA/RoCE সক্ষম করে, সংস্থাগুলি ফোর্কলিফ্ট আপগ্রেড ছাড়াই সিপিইউ-বাউন্ড নেটওয়ার্কিং থেকে মুক্তি পেতে পারে। আপনি এআই প্রশিক্ষণ, ডিস্ট্রিবিউটেড ডেটাবেস, বা হাইপারকনভার্জড স্টোরেজ চালান না কেন, MCX653105A-HDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ড নির্ধারক কম লেটেন্সি এবং সর্বোচ্চ থ্রুপুট সরবরাহ করে। তাদের পরবর্তী পরিকাঠামো রিফ্রেশ পরিকল্পনা করা দলগুলির জন্য, MCX653105A-HDAT ডেটাশিট এবং MCX653105A-HDAT স্পেসিফিকেশন পর্যালোচনা করা যৌক্তিক প্রথম পদক্ষেপ। অ্যাডাপ্টারটি বিশ্বব্যাপী পরিবেশকদের মাধ্যমে ব্যাপকভাবে বিক্রয়ের জন্য MCX653105A-HDAT উপলব্ধ, এবং নেতৃস্থানীয় সার্ভার প্ল্যাটফর্মগুলির সাথে সামঞ্জস্যতা একটি মসৃণ মাইগ্রেশন পথ নিশ্চিত করে। একজন প্রকৌশলী যেমন সংক্ষিপ্তভাবে বলেছেন: "MCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড" আমাদের 100GbE ফ্যাব্রিককে একটি বাধা থেকে একটি পারফরম্যান্স মাল্টিপ্লায়ারে পরিণত করেছে।"