NVIDIA Mellanox MQM9790-NS2F ইন অ্যাকশন: এআই এবং এইচপিসি ক্লাস্টারের জন্য লো-ল্যাটেন্সি আরডিএমএ ফ্যাব্রিক তৈরি করা

NVIDIA Mellanox MQM9790-NS2F অ্যাকশনেঃ এআই এবং এইচপিসি ক্লাস্টারগুলির জন্য একটি নিম্ন-ল্যাটেনসি আরডিএমএ ফ্যাব্রিক তৈরি করা

পটভূমি ও চ্যালেঞ্জ: যখন স্কেল-আউট বোতল ঘা হয়ে যায়

যেমন বড় ভাষার মডেল হাজার হাজার থেকে কয়েক হাজার জিপিইউতে স্কেল করে, এবং আবহাওয়া সিমুলেশন কিলোমিটার স্কেল রেজোলিউশনের দিকে ধাক্কা দেয়,ঐতিহ্যবাহী ইথারনেট ফ্যাব্রিকের সীমাবদ্ধতা স্পষ্ট হয়ে উঠেছে. এই পরিবেশে, এমপিআই সমষ্টিগত যোগাযোগ প্যাটার্নগুলি যেমন সর্বনিম্ন এবং সর্বজনীন নেটওয়ার্ক লেটেন্সি এবং ঘনত্ব নিয়ন্ত্রণের ক্ষেত্রে চরম চাহিদা রাখে।এমনকি সবচেয়ে শক্তিশালী কম্পিউটারের নোডগুলি তাদের চক্রের একটি উল্লেখযোগ্য অংশ ডেটা অপেক্ষা করে ব্যয় করে, কার্যকরভাবে ব্যয়বহুল জিপিইউ সম্পদ অপচয়।

এটিই সেই চ্যালেঞ্জ যাএনভিডিয়া মেলানোক্স এমকিউএম৯৭৯০-এনএস২এফএটি ৪০০ গিগাবাইট/সেকেন্ডের এনডিআর ইনফিনিব্যান্ড সুইচ হিসেবে ৬৪টি ওএসএফপি পোর্ট সহ, এটি হাজার হাজার এন্ডপয়েন্ট জুড়ে নির্ধারক, সাব-মাইক্রোসেকেন্ড লেটেন্সি প্রদানের জন্য ডিজাইন করা হয়েছে,বিতরণ কর্মভারে প্রকৃত রৈখিক স্কেলিং সক্ষম করা.

সমাধান ও বাস্তবায়নঃ আরডিএমএর জন্য তৈরি একটি পাতার মেরুদণ্ডের ফ্যাব্রিক

একটি বড় এআই গবেষণা ল্যাবের জন্য একটি সাধারণ স্থাপনার দৃশ্যকল্পে,MQM9790-NS2F ইনফিনিব্যান্ড সুইচএকটি দ্বি-স্তরীয় পাতা-পিঁড়ির টপোলজির মূল গঠন করে। পাতা স্তরে, প্রতিটি কম্পিউটার র্যাক এক বা দুটি MQM9790-NS2F ইউনিট দিয়ে সজ্জিত,ওএসএফপি থেকে ওএসএফপি সরাসরি সংযুক্ত তামার তারের মাধ্যমে বা সক্রিয় অপটিক্যাল তারের মাধ্যমে জিপিইউ সার্ভারের সাথে 400 গিগাবাইট / সেকেন্ডের সংযোগের 64 টি পোর্ট সরবরাহ করেমেরুদণ্ডের স্তরে, অতিরিক্ত এমকিউএম 9790-এনএস 2 এফ সুইচগুলি পাতাগুলিকে আন্তঃসংযুক্ত করে, সম্পূর্ণ বিসেশন ব্যান্ডউইথ সহ একটি নন-ব্লকিং ফ্যাট-ট্রি ফ্যাব্রিক তৈরি করে।

What makes this solution particularly compelling is the switch's native support for RDMA over Converged Ethernet (RoCE) when operating in InfiniBand mode—though here it leverages InfiniBand's native RDMA capabilities for even lower latency and CPU offload.MQM9790-NS2F 400Gb/s NDR 64-পোর্ট OSFPএনভিআইডিআইএর SHARPv3 (স্কেলেবল হেরার্কিয়াল এগ্রিগেশন অ্যান্ড রিডাকশন প্রোটোকল) প্রযুক্তিকে একীভূত করে, যা সরাসরি সুইচ ফ্যাব্রিকের উপর সমষ্টিগত অপারেশনগুলিকে অফলোড করে।এর মানে হল যে একটি অল-রেডুস অপারেশন যা সাধারণত নেটওয়ার্ককে একাধিকবার অতিক্রম করবে তা এখন একক পাস দিয়ে সম্পন্ন হবে, যোগাযোগ-সমৃদ্ধ কাজের চাপের জন্য কাজের সমাপ্তির সময় ৩০% পর্যন্ত কমিয়ে দেয়।

নেটওয়ার্ক আর্কিটেক্টদের জন্যMQM9790-NS2F ইনফিনিব্যান্ড সুইচ সমাধান, এনভিআইডিআইএর ইউনিফাইড ফ্যাব্রিক ম্যানেজার (ইউএফএম) দ্বারা স্থাপনার প্রক্রিয়াটি সহজতর করা হয়। ইউএফএম ফ্যাব্রিকের স্বাস্থ্য, স্বয়ংক্রিয় টপোলজি আবিষ্কারের কেন্দ্রীভূত দৃশ্যমানতা সরবরাহ করে,এবং সক্রিয় জনাকীর্ণতা পর্যবেক্ষণপ্রথম ব্যবহারকারীরা রিপোর্ট করেছেন যেMQM9790-NS2F সামঞ্জস্যপূর্ণএনভিআইডিআইএ সার্টিফাইড ক্যাবল এবং ট্রান্সিভারগুলির বিস্তৃত পরিসীমা অন্তর্ভুক্ত করে, ক্রয় সহজতর করে এবং প্রয়োগের ঝুঁকি হ্রাস করে।

ফলাফল ও পরিমাপযোগ্য লাভঃ তত্ত্ব থেকে উৎপাদন বাস্তবতা

সম্প্রতি একটি ২,০৪৮-জিপিইউ ক্লাস্টারের জন্য একটি উত্পাদন স্থাপনের জন্য বড় আকারের ট্রান্সফরমার মডেল প্রশিক্ষণের জন্য নিবেদিত, এইচডিআর (২০০ গিগাবাইট / সেকেন্ড) থেকে এনডিআর (৪০০ গিগাবাইট / সেকেন্ড) অবকাঠামোর আপগ্রেডএনভিডিয়া মেলানোক্স এমকিউএম৯৭৯০-এনএস২এফএর কেন্দ্রস্থলে রয়েছে একাধিক মাত্রায় পরিমাপযোগ্য উন্নতিঃ

• কাজের সমাপ্তির সময় হ্রাসঃ১৭৫ বি-প্যারামিটার মডেলের জন্য শেষ থেকে শেষ প্রশিক্ষণ পুনরাবৃত্তি ২৮% হ্রাস পেয়েছে, মূলত SHARPv3 অফলোডিং এবং হ্রাসপ্রাপ্ত লেটেনসির কারণে।
• নেটওয়ার্ক ব্যবহারঃসুইচ এর উন্নত অভিযোজিত রুটিং এবং জমে থাকা নিয়ন্ত্রণ প্রক্রিয়াগুলির জন্য ধন্যবাদ, জমে থাকা পতনের কারণ ছাড়াই গড় ফ্যাব্রিক ব্যবহার 62% থেকে 89% বৃদ্ধি পেয়েছে।
• অপারেশন সহজতাঃপ্রতি সুইচে 64 টি পোর্টের সাথে, 32-পোর্ট এইচডিআর ডিজাইনের তুলনায় প্রয়োজনীয় স্পিন সুইচগুলির সংখ্যা অর্ধেক হ্রাস পেয়েছে, উল্লেখযোগ্যভাবে ক্যাবলিং জটিলতা এবং র্যাক প্রতি শক্তি খরচ হ্রাস করে।

এর মতেMQM9790-NS2F স্পেসিফিকেশন, সুইচটি পোর্ট-টু-পোর্ট লেটেন্সিতে 100ns এর নিচে সরবরাহ করে এবং 51.2Tb/s পর্যন্ত সামগ্রিক সুইচিং ক্ষমতা সমর্থন করে।নেটওয়ার্ক ইঞ্জিনিয়াররা আরও উল্লেখ করেছেন যেMQM9790-NS2F তথ্য পত্রযাচাইকরণের পর্যায়ে কোন বিস্ময় ছাড়াই বাস্তব বিশ্বের পারফরম্যান্সকে সঠিকভাবে প্রতিফলিত করে।

টিসিও দৃষ্টিকোণ থেকে, প্রতি সুইচ স্তরে আরও বেশি এন্ডপয়েন্ট একত্রিত করার ক্ষমতা সরাসরি মূলধন ব্যয় হ্রাস করেছে।MQM9790-NS2F দামএই অর্থনৈতিক সুবিধাটি হ'ল, এই ডিভাইসটির জন্য, এটি একটি উচ্চতর গতির ডিভাইসগুলির জন্য উপযুক্ত, যা প্রতি জিপিইউতে নেটওয়ার্কিংয়ের ব্যয় কমিয়ে দেয়।পারফরম্যান্স লাভের সাথে মিলিত, ল্যাবের স্টিয়ারিং কমিটির জন্য ব্যবসায়িক কেস পরিষ্কার করে দিয়েছে।

সংক্ষিপ্ত বিবরণ এবং দৃষ্টিভঙ্গি: এনডিআর ফাউন্ডেশন ফর এক্সাসকেল কম্পিউটিং

দ্যএনভিডিয়া মেলানোক্স এমকিউএম৯৭৯০-এনএস২এফএইচপিসি এবং এআই ক্লাস্টারগুলি কীভাবে ডিজাইন করা হয় তা একটি মৌলিক পরিবর্তনকে উপস্থাপন করে।এবং একক 1U ফর্ম ফ্যাক্টরে নেটওয়ার্ক কম্পিউটারের ত্বরণ, এটি স্থপতিদের কর্মক্ষমতা বা পরিচালনাযোগ্যতা ত্যাগ না করে কয়েক হাজার শেষ পয়েন্টের স্কেল তৈরি করতে সক্ষম করে।

ভবিষ্যতের দিকে তাকিয়ে, যেহেতু কাজের বোঝা আরও বেশি ব্যান্ডউইথ এবং কম বিলম্বের চাহিদা রাখে,MQM9790-NS2F ইনফিনিব্যান্ড সুইচপরবর্তী প্রজন্মের এক্সাসকেল সিস্টেমের ভিত্তি হিসাবে কাজ করবে।এটি বিদ্যমান এনভিআইডিআইএ কোয়ান্টাম -২ প্ল্যাটফর্মগুলির সাথে সামঞ্জস্যপূর্ণ এবং ইউএফএমের সাথে নির্বিঘ্নে সংহতকরণ এইচডিআর ফ্যাব্রিক থেকে আপগ্রেড করা সংস্থাগুলির জন্য একটি মসৃণ মাইগ্রেশন পথ নিশ্চিত করেআইটি ম্যানেজার এবং আর্কিটেক্টদের জন্য তাদের পরবর্তী প্রজন্মের নেটওয়ার্কিং বিনিয়োগের মূল্যায়ন করার জন্য, MQM9790-NS2F একটি প্রমাণিত,উৎপাদন-প্রস্তুত সমাধান যা কম-ল্যাটেনসি RDMA ইন্টারকানেক্ট অপ্টিমাইজেশনের প্রতিশ্রুতি প্রদান করে.