Trend Olan Konular
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Avi Chawla
DS, ML, LLM'ler ve RAG'ler hakkında günlük eğitimler ve içgörüler • Kurucu Ortak @dailydoseofds_ • IIT Varanasi • eski Yapay Zeka Mühendisi @ MastercardAI
Üretim düzeyindeki kod kalitesi sorunlarını gerçek zamanlı olarak tespit eden bir MCP sunucusu!
Yapay zeka artık ışık hızında kod üretiyor olsa da, mühendislik darboğazı yazmaktan incelemeye geçti ve geliştiriciler hata ayıklama zamanlarının %90'ını yapay zeka tarafından oluşturulan kodlara harcıyor.
Yapay zeka incelemecileri de o kadar güvenilir değiller çünkü yapay zeka üreticileriyle aynı temel kör noktaları paylaşıyorlar:
- Kalıp eşleşmeleri var, prova kontrolü değil.
- Sözdizimini doğrular, sistem davranışını değil.
- Sonuçları değil, kodu inceliyorlar.
Bunu çözmek için SonarQube MCP Sunucusunu (@SonarSource tarafından) kullanıyorum. Kurumsal düzeyde kod analizi üretir ve çalışırken hatalar, güvenlik açıkları ve kod kokuları hakkında anında geri bildirim sağlar (Claude Code, Cursor vb.).
Yetenekleri, SonarQube'un günlük işlediği 750B+ kod satırından ortaya çıkmıştır, bu yüzden mevcut her hata desenini görmüştür.
Bu şunları içerir:
- Güvenlik açıkları (SQL enjeksiyonu, XSS, sabit kodlanmış sırlar)
- Kod kokuları ve teknik borç
- Test kapsama boşlukları
- Bakım sorunları
Kurulum basit:
- SonarQube MCP sunucusunu kur
- Yapay zeka asistanınızın yapılandırmasına ekleyin
Yapılmış!
SonarQube artık yapay zeka kodlama iş akışınızın bir parçası.
GitHub deposunu yanıtlarda paylaştım!
Not: Bugün benimle çalıştığı için Sonar'a teşekkürler.
12,72K
LLM'leri 2 yıldan fazla süredir ince ayar yapıyorum!
İşte görsellerle açıklanan en iyi 5 LLM ince ayar tekniği:
Öncelikle, LLM ince ayarlamasında ne fark var?
Geleneksel ince ayar LLM'ler (milyarlarca param; 100 GB) için pratik değildir.
Bu tür hesaplamalar herkese erişilmediği için, parametre verimli ince ayar (PEFT) ortaya çıktı.
Her tekniğin detaylarına girmeden önce, bu teknikleri daha iyi anlamanıza yardımcı olacak bazı arka planlar şunlardır:
LLM ağırlıkları, ince ayar sırasında ayarlanmış sayıların matrisleridir.
Çoğu PEFT tekniği, bu matrislerin daha düşük seviyeli bir uyarlanmasını içerir; orijinalde depolanan bilgiyi temsil edebilen daha küçük boyutlu bir matris bulunur.
Şimdi bir matrisin derecesini temel bir şekilde anladığımızda, farklı ince ayar tekniklerini anlamak için iyi bir konumdayız.
(her tekniğin görsel açıklaması için aşağıdaki görsele bakınız)
1) LoRA
- Ağırlık matrislerinin yanına iki düşük seviyeli eğitilebilir matris, A ve B, eklenin.
- W'yi ince ayar etmek yerine, bu düşük seviyeli matrislerdeki güncellemeleri ayarlayın.
En büyük LLM'ler için bile, LoRA matrisleri birkaç MB bellek kaplar.
2) LoRA-FA
LoRA, toplam eğitilebilir parametreleri önemli ölçüde azaltsa da, düşük seviye ağırlıkları güncellemek için önemli bir aktivasyon belleği gerektirir.
LoRA-FA (FA, Frozen-A anlamına gelir) A matrisini dondurur ve sadece B matrisini günceller.
3) VeRA
- LoRA'da, düşük dereceli matrisler A ve B her katman için benzersizdir.
- VeRA'da A ve B dondurulmuş, rastgele ve tüm katmanlar arasında paylaşılmıştır.
- Bunun yerine, katmana özgü ölçeklendirme VEKTÖRLERİ (b ve d) öğrenir.
4) Delta-LoRA
- Matris W'yi de ayarlıyor, ancak geleneksel şekilde değil.
- Burada, ardışık iki eğitim adımında A ve B matrislerinin çarpımı arasındaki fark (veya delta) W'ye eklenir.
5) LoRA+
- LoRA'da, hem A hem de B matrisleri aynı öğrenme hızıyla güncellenir.
- LoRA+ yazarları, matris B için daha yüksek öğrenme oranı belirlemenin daha iyi yakınsamaya yol açtığını bulmuştur.
____
Bana → @_avichawla
Her gün DS, ML, LLM'ler ve RAG'lar hakkında eğitimler ve içgörülerim paylaşıyorum.

52,95K
Önyargı-varyans takasında eksik bir detay var!
Çok az makine öğrenimi mühendisi bunu biliyor.
Bir polinom regresyon modelini sahte bir veri setine uyarlayın, örneğin y=sin(x) + gürültü.
Görseldeki ilk grafikte gösterildiği gibi, dereceyi (m) artırdıkça:
- Eğitim kaybı sıfıra düşecek.
- Test (veya doğrulama) kaybı azalır ve sonra artar.
Ama dereceyi (m) artırmaya devam ettikçe ne olduğunu fark edin:
↳ Test kaybı tekrar azalıyor (ikinci grafikte gösterilmiştir)
Buna "çift iniş olgusu" denir ve derin öğrenme modellerinde yaygın olarak gözlemlenir.
Modelin karmaşıklığının artırılmasının genelleştirme performansını artırabileceğini gösterdiği için mantıksızdır.
Bildiğim kadarıyla, bu hâlâ açık bir soru. Sinir ağlarının neden bu davranışı sergilediği tam olarak net değil.
Ancak düzenleme üzerine bazı teoriler var, örneğin şöyle:
Modelin örtük bir düzenleme uygulaması olabilir. Sonuç olarak, genelleme için uygun sayıda parametreye tam olarak odaklanabilir.
Aslında, kendiniz de deneyebilirsiniz:
- N boyutunda küçük bir sahte veri seti oluşturun.
- 1'den n'den büyük bir değere kadar m dereceli polinom regresyonunu eğitmek.
- Her m için test kaybı ve eğitim kaybını çizin.
👉 Size geçelim: Çift inişi daha önce duymuş muydunuz?

10,03K
En İyiler
Sıralama
Takip Listesi

