NVIDIA Mellanox MCX653105A-HDAT সার্ভার অ্যাডাপ্টার অ্যাকশনে | RDMA/RoCE লো-লেটেন্সি ট্রান্সপোর্ট ও সার্ভার থ্রুপুট বৃদ্ধি

NVIDIA Mellanox MCX653105A-HDAT সার্ভার অ্যাডাপ্টার অ্যাকশনে।

ব্যাকগ্রাউন্ড ও চ্যালেঞ্জঃ এআই প্রশিক্ষণের বোতলঘাট

অ্যালগরিদমিক ট্রেডিং এবং রিয়েল-টাইম ঝুঁকি বিশ্লেষণে বিশেষজ্ঞ একটি শীর্ষস্থানীয় আর্থিক প্রযুক্তি সংস্থা একটি সমালোচনামূলক অবকাঠামোগত চ্যালেঞ্জের মুখোমুখি হয়েছিল।তাদের মেশিন লার্নিং টিম 32 টি জিপিইউ-অ্যাক্সিলারেটেড সার্ভার নিয়ে একটি বিতরণ প্রশিক্ষণ ক্লাস্টার স্থাপন করেছেযদিও, মডেল জটিলতা লক্ষ লক্ষ থেকে বিলিয়ন পরামিতিতে বেড়েছে, নেটওয়ার্ক বিলম্বতা প্রভাবশালী বোতলঘাট হয়ে ওঠে।বিদ্যমান 25GbE অ্যাডাপ্টার, ঐতিহ্যগত টিসিপি / আইপি দিয়ে কাজ করে, অনির্দেশ্য লেটেনসি চালু করে যা ক্লাস্টার জুড়ে গ্রেডিয়েন্ট সিঙ্ক্রোনাইজেশনকে উল্লেখযোগ্যভাবে ধীর করে।

ফার্মের অবকাঠামো স্থাপত্যবিদরা দুটি প্রধান সমস্যা চিহ্নিত করেছেন। প্রথমত,টিসিপি/আইপি স্ট্যাক প্রতিটি সার্ভারে উল্লেখযোগ্য সিপিইউ রিসোর্স ব্যবহার করে ০% পর্যন্ত উপলব্ধ কোর ০ যা প্রকৃত মডেল প্রশিক্ষণের জন্য উপলব্ধ ক্ষমতা হ্রাস করেদ্বিতীয়ত, আরডিএমএর জন্য হার্ডওয়্যারের অভাবের অর্থ হল জিপিইউ মেমরি এবং নেটওয়ার্কের মধ্যে ডেটা স্থানান্তরের জন্য একাধিক মেমরি কপি প্রয়োজন,প্রশিক্ষণ ধাপ প্রতি পরামিতি এক্সচেঞ্জ হাজার হাজার জুড়ে জমা যে মাইক্রো-সেকেন্ড স্তরের বিলম্ব যোগসার্ভারের থ্রুপুট বা সম্পূর্ণ নেটওয়ার্ক রিভিশনের প্রয়োজন ছাড়াই একটি সমাধানের প্রয়োজন ছিল যা নির্ধারক কম বিলম্বিত যোগাযোগ সরবরাহ করতে পারে।

সমাধান ও বাস্তবায়নঃ MCX653105A-HDAT এর সাথে RoCE বাস্তবায়ন

একাধিক বিকল্প মূল্যায়ন করার পর, কোম্পানিটিএনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিএই পিসিআইই নেটওয়ার্ক কার্ডটি 32 টি প্রশিক্ষণ সার্ভারের প্রত্যেকটিতে স্থাপন করা হয়েছিল, পূর্ববর্তী প্রজন্মের অ্যাডাপ্টারগুলি প্রতিস্থাপন করে।MCX653105A-HDAT ConnectX অ্যাডাপ্টার PCIe নেটওয়ার্ক কার্ডউচ্চ ব্যান্ডউইথ এবং হার্ডওয়্যার-গতিসম্পন্ন RoCEv2 সমর্থনের প্রয়োজনীয় সমন্বয় প্রদান করে, বিদ্যমান ইথারনেট ফ্যাব্রিক জুড়ে সত্যিকারের RDMA যোগাযোগ সক্ষম করে।

এই কর্মসূচির একটি কাঠামোগত পদ্ধতি অনুসরণ করা হয়েছিলঃ

• শারীরিক ইনস্টলেশনঃপ্রতিটি সার্ভারMCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড, দ্বৈত-পোর্ট 25GbE SFP28 লিঙ্কগুলির মাধ্যমে রিডান্ডেন্ট টপ-অফ-র্যাক সুইচগুলিতে সংযুক্ত।
• RoCEv2 কনফিগারেশনঃনেটওয়ার্ক সুইচগুলিকে অগ্রাধিকার প্রবাহ নিয়ন্ত্রণ (পিএফসি) এবং স্পষ্ট জমে থাকা বিজ্ঞপ্তি (ইসিএন) দিয়ে কনফিগার করা হয়েছিল যাতে ক্ষতিহীন ইথারনেট ট্রান্সপোর্ট নিশ্চিত করা যায়। সর্বোত্তম আরডিএমএ পারফরম্যান্সের পূর্বশর্ত।
• GPUDirect ইন্টিগ্রেশনঃদলটি অ্যাডাপ্টারের জিপিইউডিরেক্ট সক্ষমতা ব্যবহার করে, হোস্ট সিপিইউর জড়িত থাকার ছাড়াই জিপিইউ মেমরি এবং নেটওয়ার্ক ইন্টারফেসের মধ্যে সরাসরি ডেটা চলাচল সক্ষম করে।
• সফটওয়্যার স্ট্যাকঃএনভিআইডিআইএ নেটওয়ার্কিং ড্রাইভার স্ট্যাকটি ইনস্টল করা হয়েছিল, এবং প্রশিক্ষণ কাঠামো (বিন্যস্ত ডেটা সমান্তরাল সহ পাইটর্চ) RDMA পরিবহন স্তরটি ব্যবহার করতে কনফিগার করা হয়েছিল।

এর মতেMCX653105A-HDAT ডেটা শীট, অ্যাডাপ্টারটি পিসিআইই জেনার 4.0 x16 সমর্থন করে,২৫৬ গিগাবাইট/সেকেন্ড পর্যন্ত হোস্ট ব্যান্ডউইথ প্রদান করে যা ২৫ গিগাবাইট/সেকেন্ডের দ্বৈত ২৫ গিগাবাইটের পোর্টগুলোকে সম্পূর্ণরূপে পূর্ণ করার জন্য পর্যাপ্ত এবং ভবিষ্যতে ৫০ গিগাবাইট বা ১০০ গিগাবাইট পর্যন্ত আপগ্রেড করার জন্য পর্যাপ্ত হেডরুম প্রদান করে।. দল লক্ষ্য করেছেন যে অ্যাডাপ্টারের নমনীয়তা এটা সম্পূর্ণরূপেMCX653105A-HDAT সামঞ্জস্যপূর্ণতাদের বিদ্যমান সার্ভার হার্ডওয়্যারের সাথে, যা পিসিআইই জেনার 3.0 এবং 4 উভয়ই সমর্থন করে।0.

দ্যMCX653105A-HDAT স্পেসিফিকেশনতারা লেটেন্সি তুলনায় সিপিইউ ব্যবহারের ভারসাম্য বজায় রাখার জন্য বিচ্ছিন্নতা সমন্বয় পরামিতিগুলি সামঞ্জস্য করেছে,এবং প্রতি সারির অগ্রাধিকার সেটিংস কনফিগার করা হয়েছে যাতে গ্রেডিয়েন্ট সিঙ্ক্রোনাইজেশন ট্র্যাফিক সর্বোচ্চ QoS চিকিত্সা পেয়েছে.

ফলাফল ও পরিমাপযোগ্য উপকারিতা

পারফরম্যান্সের উন্নতি উল্লেখযোগ্য এবং একাধিক মাত্রায় সরাসরি পরিমাপযোগ্য ছিলঃ

পরিমাণগত উন্নতি ছাড়াও,এনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিএটি এমন অপারেশনাল সুবিধা প্রদান করেছে যা দলটি প্রত্যাশা করেনি।নির্ধারক লেটেন্সি নিশ্চিত করেছে যে প্রশিক্ষণের ঘনিষ্ঠতা পূর্বাভাসযোগ্য সময়সীমার মধ্যে ধারাবাহিকভাবে অর্জন করা হয়েছিল ¢ একটি সমালোচনামূলক প্রয়োজনীয়তা কোম্পানির সময় সংবেদনশীল মডেল উন্নয়ন চক্রের জন্য. মুক্ত সিপিইউ কোরগুলি প্রকৃত কম্পিউটিংয়ের দিকে পুনঃনির্দেশিত হয়েছিল, কার্যকরভাবে নতুন হার্ডওয়্যার যুক্ত না করে ক্লাস্টারের কার্যকর কম্পিউটিং ক্ষমতা বৃদ্ধি করে।

টিমটি এডাপ্টারের অন্তর্নির্মিত টেলিমেট্রিও ব্যবহার করে ফ্যাব্রিকের জমে থাকা প্যাটার্নের দৃশ্যমানতা অর্জন করে।এই তথ্য তাদের নেটওয়ার্ক বাফার কনফিগারেশন অপ্টিমাইজ এবং সক্রিয়ভাবে সম্ভাব্য কর্মক্ষমতা অবনতি সনাক্ত করতে সাহায্য.MCX653105A-HDAT ইথারনেট অ্যাডাপ্টার কার্ড সমাধানএটি কর্মক্ষমতা ত্বরান্বিতকারী এবং অপারেশনাল ইন্টেলিজেন্সের একটি সরঞ্জাম।

সংক্ষিপ্ত বিবরণ এবং প্রত্যাশা

এই মোতায়েনটি প্রমাণ করেছে যেএনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিএটি একটি নেটওয়ার্ক আপগ্রেডের চেয়েও বেশি ¢ এটি বিতরণ কম্পিউটিং পারফরম্যান্সে একটি কৌশলগত বিনিয়োগ।অ্যাডাপ্টার প্রশিক্ষণের সময় 70% এরও বেশি হ্রাস করেছে, নতুন মডেলের বাজারে আসার সময় ত্বরান্বিত এবং অবকাঠামোর দক্ষতা উল্লেখযোগ্যভাবে উন্নত।

কোম্পানি এখন এই আর্কিটেকচারকে অতিরিক্ত ক্লাস্টারগুলিতে প্রসারিত করার পরিকল্পনা করছে, যার মধ্যে তাদের রিয়েল টাইম রিস্ক অ্যানালিটিক্স প্ল্যাটফর্ম,যেখানে ইন-মেমরি ডাটাবেস এবং কম্পিউটারের নোডের মধ্যে কম লেটেন্সির ডেটা ট্রান্সমিশন অপরিহার্য.MCX653105A-HDAT দাম, যখন অপারেশনাল সঞ্চয় এবং কর্মক্ষমতা লাভের সাথে মূল্যায়ন করা হয়,বিশেষত ডেডিকেটেড ইনফিনিব্যান্ড অবকাঠামো স্থাপন বা অতিরিক্ত কম্পিউটার নোড সংগ্রহের ব্যয়ের তুলনায় বিনিয়োগের উপর একটি আকর্ষণীয় রিটার্ন উপস্থাপন করেছে.

সক্রিয়ভাবে মূল্যায়নকারী সংস্থাগুলির জন্যবিক্রির জন্য MCX653105A-HDATবিকল্প, এই কেস স্টাডি দেখায় যে অ্যাডাপ্টার বাস্তব বিশ্বের উৎপাদন পরিবেশে কম বিলম্ব, উচ্চ-থ্রুপুট নেটওয়ার্কিং এর তার প্রতিশ্রুতি প্রদান করে।হার্ডওয়্যার ত্বরণের সংমিশ্রণ, বিস্তৃত টেলিমেট্রি এবং বিদ্যমান ইথারনেট অবকাঠামোর সাথে নির্বিঘ্নে সামঞ্জস্যতাএনভিআইডিআইএ মেলানক্স এমসিএক্স 653105 এ-এইচডিএটিআধুনিক ডেটা সেন্টার আর্কিটেকচারের একটি মৌলিক উপাদান।