Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 টেকনিক্যাল হোয়াইট পেপার: লো-ল্যাটেন্সি ইন্টারকানেক্ট অপ্টিমাইজেশন

এই প্রযুক্তিগত হোয়াইট পেপার নেটওয়ার্ক আর্কিটেক্ট, প্রাক বিক্রয় প্রকৌশলী এবং অপারেশন ম্যানেজারকে সম্বোধন করে,মেলানক্স (এনভিআইডিআইএ মেলানক্স) ৯২০-৯বি১১০-০০এফএইচ-০ডি০ইনফিনিব্যান্ড সুইচ. আমরা পরীক্ষা করি কিভাবে এই প্ল্যাটফর্মটি এইচপিসি এবং এআই ক্লাস্টার পরিবেশে আরডিএমএ-সমৃদ্ধ ওয়ার্কলোডগুলির জন্য নির্ধারক, অতি-নিম্ন বিলম্বিততা সক্ষম করে।

আধুনিক এআই প্রশিক্ষণ ফ্রেমওয়ার্ক (পাইটর্চ ডিডিপি, ডিপস্পিড, মেগাট্রন) এবং এইচপিসি সিমুলেশন কোড (সিএফডি, আবহাওয়া মডেলিং, আণবিক গতিবিদ্যা) ব্যাপকভাবে সম্মিলিত যোগাযোগের আদিমগুলির উপর নির্ভর করে।ঐতিহ্যগত ইথারনেট ফ্যাব্রিক তিনটি মৌলিক সমস্যা নিয়ে আসে: ইনকাস্ট ঘনত্বের কারণে প্যাকেট ক্ষতি, স্টোর-এন্ড-ফরওয়ার্ড সুইচিং থেকে পরিবর্তনশীল বিলম্ব এবং টিসিপি / আইপি স্ট্যাক প্রসেসিং থেকে উচ্চ সিপিইউ ওভারহেড।এই সমস্যাগুলি বড় আকারের বিতরণ প্রশিক্ষণের ক্ষেত্রে 30~50% এর জিপিইউ অলস সময় সৃষ্টি করে, যা সরাসরি সমাধানের জন্য দীর্ঘ সময় এবং বর্ধিত অপারেটিং খরচকে অনুবাদ করে।

দ্য920-9B110-00FH-0D0হার্ডওয়্যার-ভিত্তিক আরডিএমএ, কাট-থ্রু সুইচিং এবং ক্রেডিট-ভিত্তিক ফ্লো কন্ট্রোল সরবরাহ করে নেটিভ ইনফিনিব্যান্ড প্রযুক্তির মাধ্যমে এই চ্যালেঞ্জগুলি মোকাবেলা করে।লক্ষ্যযুক্ত ব্যবহারের ক্ষেত্রে এআই গবেষণা ল্যাবগুলি অন্তর্ভুক্ত রয়েছে যা 64 ¢ 1 পরিচালনা করে,024 জিপিইউ ক্লাস্টার, এইচপিসি সেন্টারগুলির জন্য সাব-মাইক্রোসেকেন্ড এমপিআই বিলম্বের প্রয়োজন এবং ক্লাউড সরবরাহকারীরা খালি ধাতব এআই ইনস্ট্যান্স পরিবার তৈরি করে।

আমাদের প্রস্তাবিত আর্কিটেকচারটি একটি দ্বি-স্তরীয় ফ্যাট-ট্রি (ফোল্ড ক্লোজ) টপোলজি ব্যবহার করে, যা বিসেকশন ব্যান্ডউইথ, খরচ এবং স্কেলযোগ্যতাকে ভারসাম্য করে। ডিজাইন পরামিতিগুলি 512 গণনা নোড পর্যন্ত অনুমান করে,প্রতিটিতে দ্বৈত-পোর্ট HDR ConnectX-6 অ্যাডাপ্টার রয়েছে.

এই কনফিগারেশনটি প্রতিটি নোডের জন্য 200 গিগাবাইট / সেকেন্ডের পূর্ণ বিভাজন ব্যান্ডউইথ, সমস্ত-টু-অল যোগাযোগের নিদর্শনগুলির জন্য নন-ব্লকিং পারফরম্যান্স এবং হপ প্রতি 130ns পর্যন্ত কম বিলম্বিততা সরবরাহ করে।920-9B110-00FH-0D0 InfiniBand সুইচ OPN সমাধানস্ট্যান্ডার্ড এবং কাস্টম এসকিউ উভয়ই সমর্থন করে, নমনীয় পোর্ট ব্রেকআউট কনফিগারেশনগুলিকে অনুমতি দেয় (উদাহরণস্বরূপ, এইচডিআর পোর্ট প্রতি 4x 50Gb / s) ।

প্রস্তাবিত স্থাপত্যের মধ্যে,এনভিআইডিআইএ মেলানোক্স ৯২০-৯বি১১০-০০এফএইচ-০ডি০পাতার স্তর এবং মেরুদণ্ড উভয় স্তর জুড়ে ইউনিফাইড ফ্যাব্রিক উপাদান হিসাবে কাজ করে। মূল প্রযুক্তিগত পার্থক্যগুলির মধ্যে রয়েছেঃ

• হার্ডওয়্যার ভিত্তিক RDMA:কার্নেল এবং সিপিইউকে সম্পূর্ণরূপে বাইপাস করে, <1μs বিলম্বের সাথে লাইন রেটে মেমরি থেকে মেমরি স্থানান্তর সক্ষম করে।
• অ্যাডাপ্টিভ রুটিং (এআর):রিয়েল-টাইম পোর্ট ঘনত্বের উপর ভিত্তি করে প্যাকেটগুলিকে গতিশীলভাবে পুনরায় রুট করে, প্যাকেট পুনরায় আদেশ ছাড়াই সমস্ত উপলব্ধ পথ জুড়ে ট্র্যাফিক বিতরণ করে।
• যানজট নিয়ন্ত্রণঃহার্ডওয়্যার স্তরের বিজ্ঞপ্তি এবং থ্রোটলিং প্রক্রিয়াগুলি হেড-অফ-লাইন ব্লকিং রোধ করে, যেমনটি বিস্তারিতভাবে920-9B110-00FH-0D0 তথ্য পত্র.
• তীক্ষ্ণ টেলিমেট্রিঃইন্টিগ্রেটেড হার্ডওয়্যার মনিটরগুলি সক্রিয় পরিচালনার জন্য প্রতি পোর্ট বাফার দখল, বিলম্ব এবং ত্রুটি কাউন্টার সরবরাহ করে।

ক্রয়ের মূল্যায়নকারী প্রকৌশলীদের সম্পূর্ণ920-9B110-00FH-0D0 স্পেসিফিকেশন, যা 1U ফর্ম ফ্যাক্টরে 40 টি পর্যন্ত HDR পোর্ট (200Gb / s প্রতিটি) সমর্থন করে যা 300W এর নীচে শক্তি খরচ করে।920-9B110-00FH-0D0 সামঞ্জস্যপূর্ণএই ইকোসিস্টেমের মধ্যে রয়েছে সমস্ত স্ট্যান্ডার্ড এইচডিআর অপটিক্যাল মডিউল (কিউএসএফপি ৫৬) এবং ৫ মিটার পর্যন্ত প্যাসিভ কপার ক্যাবল।

প্রাথমিক প্রয়োগের জন্য, আমরা ধাপে ধাপে পদ্ধতির সুপারিশ করিঃ

• ধাপ ১ (পাইলট ¢ ৩২টি নোড):একক সুইচ কনফিগারেশনে 1 পাতার সুইচ (920-9B110-00FH-0D0) স্থাপন করুন। ib_write_bw এবং MPI বেঞ্চমার্ক ব্যবহার করে RDMA কর্মক্ষমতা যাচাই করুন।বিক্রির জন্য 920-9B110-00FH-0D0প্রকল্পের মাইলফলকগুলির সাথে লিড টাইমগুলি সারিবদ্ধ করার জন্য স্থিতি।
• ধাপ ২ (উত্পাদন ₹১২৮ নড):4 পাতা + 2 স্পিন সুইচ সহ সম্পূর্ণ ফ্যাট-ট্রি বাস্তবায়ন করুন। অভিযোজিত রাউটিং এবং জমে থাকা নিয়ন্ত্রণ সক্ষম করুন। এনসিসিএল পরীক্ষার সাথে বর্ধিত স্ট্রেস পরীক্ষা চালান (সমস্ত হ্রাস, সমস্ত সংগ্রহ) ।
• ধাপ ৩ (স্কেল-আউট ৫১২+ নোড):16 পাতা + 8 স্পিন সুইচগুলিতে প্রসারিত করুন। মাল্টি-ফ্যাব্রিক আর্কিটেকচারে আপগ্রেড করার বিষয়টি বিবেচনা করুন (বিভিন্ন কম্পিউটিং / স্টোরেজ নেটওয়ার্ক) ।920-9B110-00FH-0D0 দামপ্রতি পোর্টে উচ্চতর রেডিক্স মডেলের তুলনায় আরো সুইচ যোগ করার তুলনায়।

মোট মালিকানার খরচ গণনা করার সময়, মনে রাখবেন যে920-9B110-00FH-0D0পৃথক TOR সুইচ, ECN কনফিগারেশন জটিলতা (RoCE এর বিপরীতে) এবং মালিকানাধীন ঘনত্ব ব্যবস্থাপনা লাইসেন্সের প্রয়োজন দূর করে