Microsoft Foundry؛ دسترسی به مدلهای مختلف هوش مصنوعی
یکی از مهمترین ویژگیهای این معماری، امکان استفاده از مدلهای متعلق به خانوادههای مختلف هوش مصنوعی است. Microsoft Foundry تنها به مدلهای OpenAI محدود نیست و سازمانها میتوانند به مدلهایی از خانوادههای OpenAI GPT، Anthropic Claude، Meta Llama و Mistral نیز دسترسی داشته باشند. این موضوع به تیمهای توسعه اجازه میدهد بر اساس نوع کار و قابلیت موردنظر GitLab Duo، مدل مناسبتری را انتخاب کنند و الزاماً برای تمام وظایف از یک مدل واحد استفاده نکنند.
برای نمونه، یک مدل قدرتمند میتواند برای قابلیتهای Agentic و وظایف پیچیده مورد استفاده قرار گیرد، در حالی که یک مدل دیگر برای تولید و تکمیل کد انتخاب شود. همچنین برای درخواستهایی که حجم بالایی دارند، استفاده از مدلهای کوچکتر میتواند از نظر هزینه و سرعت پردازش منطقیتر باشد. در نتیجه، سازمان میتواند معماری مدلهای خود را متناسب با نیاز واقعی تیمهای توسعه تنظیم کند.
معماری GitLab Duo Self-Hosted چگونه کار میکند؟
معماری GitLab Duo Self-Hosted از چند بخش اصلی تشکیل میشود که در کنار یکدیگر وظیفه دریافت درخواست، مسیریابی و پردازش آن را بر عهده دارند. در این ساختار، یک نمونه GitLab Self-Managed در کنار سرویس AI Gateway قرار میگیرد و این Gateway درخواستها را به یک یا چند endpoint مدل هوش مصنوعی که از طریق Microsoft Foundry در دسترس هستند، ارسال میکند. AI Gateway در واقع نقش واسطه میان GitLab و مدلهای زبانی را ایفا میکند و میتواند درخواستهای مربوط به قابلیتهای مختلف GitLab Duo را به مدل مناسب هدایت کند.
کنترل بیشتر روی داده و حاکمیت اطلاعات
یکی از دلایل اصلی استفاده از معماری Self-Hosted، کنترل بیشتر بر مسیر انتقال داده است. در یک پیکربندی کاملاً Self-Hosted، دادههای مربوط به استنتاج مدل، از جمله promptها، ورودیهای کد و پاسخ مدل، میتوانند میان GitLab، AI Gateway و deployment مدل در زیرساخت تحت کنترل سازمان جابهجا شوند و از شبکه سازمان خارج نشوند. با این حال، نحوه انتقال برخی دادههای غیرمرتبط با محتوای inference به نوع لایسنس GitLab بستگی دارد و سازمانها باید پیش از راهاندازی، الزامات مربوط به داده و صورتحساب را نیز بررسی کنند.
در محیط Azure نیز محل نگهداری داده و محل اجرای inference به نوع deployment انتخابشده بستگی دارد. بنابراین اگر یک سازمان با قوانین مربوط به محل نگهداری داده یا الزامات منطقهای مواجه باشد، بررسی منطقه Azure بهتنهایی کافی نیست و نوع deployment و شرایط سرویس انتخابشده در Microsoft Foundry نیز باید مورد توجه قرار گیرد.
کدام مدلها برای GitLab Duo مناسب هستند؟
انتخاب مدل مناسب برای GitLab Duo تنها بر اساس فهرست مدلهای موجود در Microsoft Foundry انجام نمیشود. یک مدل باید علاوه بر در دسترس بودن در Microsoft Foundry، توسط GitLab نیز برای قابلیت موردنظر پشتیبانی شود. این نکته اهمیت زیادی دارد، زیرا کاتالوگ مدلهای Microsoft Foundry ممکن است سریعتر از فهرست مدلهای پشتیبانیشده GitLab بهروزرسانی شود و وجود یک مدل در Foundry به معنی قابل استفاده بودن آن در تمام قابلیتهای GitLab Duo نیست.
GitLab مدلهای خود را برای قابلیتهایی مانند Code Completion، Code Generation، GitLab Duo Agentic Chat و GitLab Duo Agent Platform ارزیابی میکند. به همین دلیل، پیش از انتخاب مدل باید مشخص شود که مدل موردنظر برای قابلیت مورد استفاده پشتیبانی میشود و همچنین محدودیتهای مربوط به منطقه، اندازه مدل، دسترسی و نوع deployment در Azure بررسی شود. مدلهای GPT معمولاً پوشش گستردهتری از قابلیتهای GitLab دارند، در حالی که مدلهایی مانند Claude، Llama و Mistral نیز بسته به نسخه و کاربرد میتوانند گزینههای مناسبی باشند.
پیشنیازهای راهاندازی
برای راهاندازی این معماری، سازمان به یک نمونه مناسب GitLab Premium یا Ultimate Self-Managed، افزونه و مجوز مناسب GitLab Duo، دسترسی Administrator و یک اشتراک Azure با دسترسی به Microsoft Foundry نیاز دارد. علاوه بر این، باید سهمیه کافی برای مدلهای انتخابشده در Azure وجود داشته باشد. در مورد برخی مدلهای ارائهشده توسط شرکای Microsoft مانند Claude یا Mistral نیز ممکن است شرایط Marketplace و مجوزهای مربوط به آنها لازم باشد.
مراحل اتصال GitLab Duo به Microsoft Foundry
در مرحله نخست، سازمان باید مدل موردنظر خود را در Microsoft Foundry مستقر کند و پیش از deployment مواردی مانند منطقه Azure، نوع deployment، دسترسی اشتراک و سهمیه موردنیاز را بررسی کند. پس از ایجاد deployment، اطلاعاتی مانند endpoint، نام deployment و API key باید در اختیار بخش مربوط به پیکربندی قرار گیرد تا GitLab و AI Gateway بتوانند درخواستها را به مدل ارسال کنند.
در مرحله بعد، AI Gateway طبق معماری و مستندات GitLab روی زیرساخت سازمان نصب و پیکربندی میشود. این سرویس میتواند با Docker یا Helm راهاندازی شود و بهعنوان واسطه میان GitLab و مدلهای مستقرشده در Microsoft Foundry فعالیت کند. سپس آدرس Local AI Gateway در تنظیمات GitLab Duo وارد میشود تا درخواستهای مربوط به قابلیتهای هوش مصنوعی GitLab از مسیر تعریفشده عبور کنند.
در نهایت، deploymentهای موردنظر بهعنوان مدلهای Self-Hosted در GitLab تعریف میشوند. در این مرحله اطلاعاتی مانند نام deployment، خانواده مدل، endpoint، API key و شناسه مدل موردنیاز است. نام deployment نیز باید با نامی که در Microsoft Foundry تعریف شده است مطابقت داشته باشد تا GitLab بتواند درخواستها را به endpoint صحیح ارسال کند.
جمعبندی
ترکیب GitLab Duo Self-Hosted و Microsoft Foundry به سازمانها امکان میدهد قابلیتهای هوش مصنوعی برای توسعه نرمافزار را با کنترل بیشتری روی زیرساخت، مدل انتخابی و مسیر انتقال داده اجرا کنند. پشتیبانی از خانوادههای مختلف مدل مانند GPT، Claude، Llama و Mistral نیز به تیمها اجازه میدهد برای workloadهای مختلف از مدلهای متفاوت استفاده کنند و معماری هوش مصنوعی خود را بر اساس نیازهای فنی و سازمانی تنظیم کنند.
با این حال، انتخاب مدل نباید صرفاً بر اساس جدیدترین نسخه یا نام یک مدل انجام شود. پیش از deployment باید پشتیبانی GitLab از مدل و قابلیت موردنظر، دسترسپذیری مدل در Microsoft Foundry، منطقه Azure، نوع deployment، سهمیه، الزامات شبکه و سیاستهای حاکمیت داده بررسی شود. این بررسی به سازمان کمک میکند معماری GitLab Duo Self-Hosted را به شکلی ایمنتر و متناسب با نیازهای واقعی تیمهای توسعه پیادهسازی کند.
منبع:
GitLab Blog