মেলানক্স (এনভিআইডিআইএ মেলানক্স) 920-9B210-00FN-0D0 ইনফিনিব্যান্ড স্যুইচ অনুশীলনে

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand স্যুইচ ইন প্র্যাকটিস | RDMA/HPC/AI ক্লাস্টারগুলির জন্য লো-লেটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশান৷

পটভূমি এবং চ্যালেঞ্জ: যখন ক্লাস্টার স্কেল আন্তঃসংযোগের বাধা পূরণ করে

একটি নেতৃস্থানীয় ইন্টারনেট কোম্পানির এআই গবেষণা বিভাগ নিজেকে একটি পরিচিত চৌরাস্তায় খুঁজে পেয়েছে। তাদের GPU সার্ভারের ক্রমবর্ধমান বহর - একাধিক র্যাক বিস্তৃত এবং বড় ভাষা মডেল প্রশিক্ষণের জন্য ক্রমবর্ধমানভাবে ব্যবহৃত - অপ্রত্যাশিত কাজ সমাপ্তির সময়ে ভুগছিল। বিদ্যমান ইথারনেট-ভিত্তিক ফ্যাব্রিক, যদিও সাধারণ-উদ্দেশ্যের কাজের চাপের জন্য পর্যাপ্ত, বিতরণ করা প্রশিক্ষণের সিঙ্ক্রোনাইজড, ফেটে যাওয়া ট্র্যাফিক প্যাটার্নগুলি পরিচালনা করতে পারে না। প্যাকেট ড্রপ এবং ইনকাস্ট কনজেশনের কারণে অল-রিডুস অপারেশনগুলি নিয়মিতভাবে স্থবির হয়ে পড়বে, প্রশিক্ষণ চক্রকে দিন থেকে সপ্তাহে ঠেলে দেবে। তাদের ব্যাকএন্ড নেটওয়ার্ক কীভাবে RDMA ট্র্যাফিক পরিচালনা করে সে বিষয়ে অবকাঠামো দলের একটি মৌলিক পরিবর্তনের প্রয়োজন ছিল এবং তাদের পুরো ডেটা সেন্টার আর্কিটেকচার ওভারহোল না করেই এটি প্রয়োজন।

সমাধান ডিজাইন: 920-9B210-00FN-0D0 InfiniBand সুইচ OPN স্থাপন করা হচ্ছে

একাধিক আন্তঃসংযোগ বিকল্পগুলি মূল্যায়ন করার পরে, দলটি নির্বাচন করেছে৷Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0তাদের নতুন ব্যাকএন্ড ফ্যাব্রিকের ভিত্তিপ্রস্তর হিসাবে। স্থাপনাটি একটি দ্বি-স্তরের লিফ-স্পাইন টপোলজিকে কেন্দ্র করে, প্রতিটি পাতার সুইচ 400Gb/s লিঙ্কের মাধ্যমে 40টি GPU নোড পর্যন্ত সংযুক্ত করে। দ920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRভেরিয়েন্টটি বিশেষভাবে এর নন-ব্লকিং আর্কিটেকচার এবং ইন্টিগ্রেটেড SHARPv3 ইন-নেটওয়ার্ক কম্পিউটিং ক্ষমতার জন্য বেছে নেওয়া হয়েছিল। এটি দলটিকে সরাসরি সুইচ ফ্যাব্রিকে সম্মিলিত যোগাযোগের ক্রিয়াকলাপগুলি অফলোড করার অনুমতি দেয়, CPU ওভারহেড হ্রাস করে এবং প্রকৃত গণনার জন্য GPU চক্রগুলিকে মুক্ত করে।

শারীরিক স্থাপনার পরিপ্রেক্ষিতে, বিদ্যমান হট-আইসল/কোল্ড-আইসল কনফিগারেশনের সাথে মেলে সামনে থেকে পিছনের বায়ুপ্রবাহের সাথে সুইচগুলি ইনস্টল করা হয়েছিল। দল লিভারেজ920-9B210-00FN-0D0 ডেটাশিটপাওয়ার এবং কুলিং প্রয়োজনীয়তা যাচাই করতে, তাদের বিদ্যমান পাওয়ার ডিস্ট্রিবিউশন ইউনিটগুলিতে বিরামহীন একীকরণ নিশ্চিত করে। QSFP-DD ট্রান্সসিভার ব্যবহার করে তারের সাথে সামঞ্জস্যপূর্ণ রাখা হয়েছিল920-9B210-00FN-0D0 সামঞ্জস্যপূর্ণ100 মিটার পর্যন্ত বিস্তৃত মেরুদণ্ড থেকে পাতার সংযোগ সহ সমগ্র লিঙ্ক বাজেট জুড়ে অপটিক্স যাচাই করা হয়েছে।

স্থাপনা পদ্ধতি: ধাপে ধাপে ইন্টিগ্রেশন

• পর্যায় 1 - ল্যাব যাচাইকরণ:8টি জিপিইউ নোড এবং দুটি সুইচ সহ একটি ছোট মাপের টেস্টবেড লেটেন্সি এবং থ্রুপুট বেঞ্চমার্ক করতে ব্যবহৃত হয়েছিল। দNVIDIA Mellanox 920-9B210-00FN-0D0সাব-600ns সুইচ লেটেন্সি প্রদর্শন করেছে, আগের HDR জেনারেশনের তুলনায় 60% উন্নতি।
• পর্যায় 2 - পর্যায়ভুক্ত রোলআউট:দলটি রিয়েল টাইমে লিঙ্ক স্বাস্থ্য এবং কনজেশন মেট্রিক্স নিরীক্ষণের জন্য NVIDIA-এর ইউনিফাইড ফ্যাব্রিক ম্যানেজার ব্যবহার করে এক সময়ে একটি প্রশিক্ষণ পড স্থানান্তরিত করেছে। এটি চলমান উৎপাদন কাজের চাপে ব্যাঘাত কমিয়েছে।
• পর্যায় 3 - সম্পূর্ণ-স্কেল ইন্টিগ্রেশন:সমস্ত 18টি সুইচ তিনটি র্যাক জুড়ে মোতায়েন করা হয়েছিল, 400Gb/s আপলিঙ্ক সহ একটি সম্পূর্ণ অ-ব্লকিং মেরুদণ্ড তৈরি করে। অভিযোজিত রাউটিং গতিশীলভাবে ট্র্যাফিকের ভারসাম্য বজায় রাখতে এবং শীর্ষ চাকরি জমা দেওয়ার সময় অতিরিক্ত সাবস্ক্রিপশন এড়াতে সক্ষম করা হয়েছিল।

স্থাপনা জুড়ে, প্রকৌশল দল ব্যাপক উল্লেখ920-9B210-00FN-0D0 স্পেসিফিকেশনবাফার সেটিংস এবং কনজেশন কন্ট্রোল প্যারামিটার সূক্ষ্ম-টিউন করতে। সুইচের উন্নত টেলিমেট্রি প্রতি-পোর্ট ত্রুটির সংখ্যা এবং লিঙ্ক ব্যবহারে দানাদার দৃশ্যমানতা প্রদান করে, সক্রিয় রক্ষণাবেক্ষণ এবং ক্ষমতা পরিকল্পনা সক্ষম করে।

পরিমাপযোগ্য ফলাফল এবং অপারেশনাল সুবিধা

পূর্ণ-স্কেল স্থাপনার দুই সপ্তাহের মধ্যে, উন্নতিগুলি বাস্তব ছিল। একটি স্ট্যান্ডার্ড 1,024-GPU প্রশিক্ষণ কাজের জন্য সমস্ত-কমানোর সময় 12.3 সেকেন্ড থেকে 7.8 সেকেন্ডে নেমে এসেছে, যা যোগাযোগের ওভারহেডে 37% হ্রাসের প্রতিনিধিত্ব করে। একটি সাধারণ GPT-শৈলী মডেলের জন্য কাজ সমাপ্তির সময় প্রায় 30% উন্নত হয়েছে, যা গবেষণা দলকে দ্রুত পুনরাবৃত্তি করতে এবং প্রতি সপ্তাহে আরও পরীক্ষা চালানোর অনুমতি দেয়। অন্তর্নির্মিত SHARPv3 ইঞ্জিন সমষ্টিগত ক্রিয়াকলাপগুলির গড় 18% অফলোড করেছে, যা সরাসরি উচ্চতর GPU ব্যবহার এবং প্রশিক্ষণ প্রতি কম শক্তি খরচে অনুবাদ করে৷

কার্যক্ষমভাবে, আইটি দল কম নেটওয়ার্ক-সম্পর্কিত কাজের ব্যর্থতার রিপোর্ট করেছে এবং লিঙ্ক-স্তরের সমস্যাগুলি নির্ণয় করতে উল্লেখযোগ্যভাবে কম সময় ব্যয় করেছে। দ920-9B210-00FN-0D0 InfiniBand সুইচ OPN সমাধানতিন মাসের পর্যবেক্ষণ সময়কালে শূন্য অপরিকল্পিত বিভ্রাটের সাথে উল্লেখযোগ্যভাবে স্থিতিশীল প্রমাণিত হয়েছে। ইউনিফাইড ম্যানেজমেন্ট ইন্টারফেস নেটওয়ার্ক অপারেশন টিমের জন্য শেখার বক্ররেখা হ্রাস করেছে, যারা এখন কাচের একটি একক ফলকের মাধ্যমে পুরো ফ্যাব্রিক পরিচালনা করতে পারে।

খরচ এবং সংগ্রহের বিবেচনা

যদিও প্রাথমিক920-9B210-00FN-0D0 মূল্যবাজারের প্রিমিয়াম প্রান্তে সুইচের অবস্থান, মালিকানা বিশ্লেষণের মোট খরচ একটি ভিন্ন গল্প বলেছে। কাজ সমাপ্তির সময় কমিয়ে এবং GPU ব্যবহার উন্নত করার মাধ্যমে, সংস্থাটি সমতুল্য গণনা ক্ষমতার জন্য ক্লাউড ইনস্ট্যান্স খরচে 22% হ্রাস অর্জন করেছে। উপরন্তু,920-9B210-00FN-0D0 বিক্রয়ের জন্যএকাধিক চ্যানেল অংশীদারদের মাধ্যমে প্রতিযোগিতামূলক বিডিংয়ের অনুমতি দিয়েছে এবং NVIDIA Mellanox-এর দীর্ঘমেয়াদী সমর্থন প্রতিশ্রুতি বিনিয়োগে আস্থা প্রদান করেছে।

সারাংশ এবং আউটলুক: নেক্সট-জেন এআই অবকাঠামোর জন্য একটি ব্লুপ্রিন্ট

এর মোতায়েনMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0এই বৃহৎ মাপের এআই গবেষণা সুবিধা একই ধরনের আন্তঃসংযোগ চ্যালেঞ্জের সম্মুখীন সংস্থাগুলির জন্য একটি বাধ্যতামূলক রেফারেন্স আর্কিটেকচার হিসাবে কাজ করে। 400Gb/s NDR গতি, সাব-মাইক্রোসেকেন্ড লেটেন্সি এবং ইন-নেটওয়ার্ক কম্পিউটিং ক্ষমতার সমন্বয় RDMA-ভিত্তিক HPC এবং AI ক্লাস্টারগুলির মূল ব্যথার পয়েন্টগুলিকে সম্বোধন করে। নেটওয়ার্ক আর্কিটেক্টরা এর নমনীয়তার প্রশংসা করবে920-9B210-00FN-0D0 InfiniBand সুইচ OPNবিভিন্ন টপোলজিতে, যখন আইটি ম্যানেজাররা শক্তিশালী ব্যবস্থাপনা সরঞ্জামের উপর নির্ভর করতে পারে এবং ব্যাপক920-9B210-00FN-0D0 ডেটাশিটক্ষমতা পরিকল্পনার জন্য।

সামনের দিকে তাকিয়ে, সংস্থাটি ইতিমধ্যেই বৃহত্তর GPU ক্লাস্টারগুলিকে সমর্থন করার জন্য ফ্যাব্রিককে প্রসারিত করার পরিকল্পনা করছে, যার মধ্যে অতিরিক্ত স্টোরেজ অফলোড এবং নিরাপত্তা বিচ্ছিন্নতার জন্য BlueField-3 DPU-এর একীকরণ অন্তর্ভুক্ত রয়েছে। দ920-9B210-00FN-0D0 সামঞ্জস্যপূর্ণইকোসিস্টেম নিশ্চিত করে যে ভবিষ্যত আপগ্রেডগুলি - তা নতুন NIC বা অপটিক্যাল টেকনোলজি হোক - নির্বিঘ্নে সমর্থিত হবে৷ বৃহৎ-স্কেল এআই বা এইচপিসি ওয়ার্কলোড স্থাপনকারী যেকোন এন্টারপ্রাইজের জন্য, এই স্যুইচটি শুধুমাত্র একটি বর্ধিত আপগ্রেড নয় বরং স্কেলে কর্মক্ষমতার একটি মৌলিক সক্ষমকারীকে উপস্থাপন করে।