Zrychlite svůj nativní Python kód více než 50x! A stačí jen 4 jednoduché kroky. Výchozí interpret Pythonu (CPython) je pomalý především kvůli své dynamice. Například po definování proměnné určitého typu ji lze změnit na jiný typ. Tyto dynamické manipulace však přicházejí na úkor času běhu a režijních nákladů na paměť. Modul Cython převádí váš Python kód do C. Kroky k použití modulu Cython (viz obrázek při čtení): 1) Načíst modul Cython: %load_ext Cython 2) Přidat magický příkaz Cython 3) Při použití funkcí specifikujte datový typ parametru 4) Definovat každou proměnnou pomocí klíčového slova "cdef" a specifikovat její datový typ. Tento kód poběží nativní rychlostí stroje. P.S. Kód uvedený níže slouží pouze k vysvětlení použití Cythonu. Totéž lze snadno implementovat pomocí NumPy.

Firmy na testování nechtějí, abyste to viděli. Open-source AI agent právě zopakoval jejich službu za 50 000 dolarů. "Normální" pentest dnes vypadá takto: - $20k–$50k za akci - 4-6 týdnů plánování, dohody o mlčenlivosti, výjezdové hovory - Velké PDF, které je zastaralé hned, jak vydáte novou funkci Mezitím AI agenti tiše začínají podávat výkony na úrovni lidského pentesteru v oblastech, které jsou skutečně důležité v každodenním životě: ↳ Enumerační útočná plocha ↳ Fuzzing koncové body ↳ Řetězení jednoduchých zranitelností do skutečného dopadu ↳ Vytváření PoC a kroky sanace, které mohou vývojáři skutečně použít A dělají to za hodiny místo týdnů a za zlomek nákladů. Tento přístup je ve skutečnosti implementován ve Strixu, nedávno trendujícím open-source frameworku (14k+ hvězdiček) pro AI pentestingového agenta. Framework vytváří tým AI "útočníků", kteří zkoumají vaše webové aplikace, API a kód. Poté vrací ověřené nálezy s důkazy o zneužití, kroky nápravy a kompletní PDF zprávu, která vypadá přesně jako u tradiční firmy, ale bez faktury na 50 000 dolarů a měsíční čekací doby. Celou implementaci si můžete prohlédnout na GitHubu a vyzkoušet si ji sami. Stačí spustit: 'strix --target https: //your-app .com' a můžete začít. Lidské červené týmy nemizí, ale rutinní pentest (před spuštěním, po refaktoraci, čtvrtletní kontroly) se jasně přesouvá k AI. Strix je jedním z prvních nástrojů, které ten posun udělají skutečným, ne hypotetickým. GitHub repozitář jsem sdílel v odpovědích.

Výzkumníci ze Stanfordu vytvořili novou techniku podnětů! Přidáním ~20 slov k zadání bylo: - zvyšuje kreativitu LLM 1,6–2x - zvyšuje lidskou hodnocenou rozmanitost o 25,7 % - překoná jemně vyladěný model bez nutnosti přeškolení - obnovuje 66,8 % ztracené kreativity LLM po zarovnání Metody zarovnání po tréninku, jako je RLHF, jsou navrženy tak, aby byly LLM užitečné a bezpečné. Tyto metody však neúmyslně způsobují výrazný pokles výstupní diverzity (tzv. kolaps módu). Když LLM zkolabuje do určitého módu, začíná upřednostňovat úzkou sadu předvídatelných nebo stereotypních odpovědí před jinými výstupy. K tomu dochází proto, že data o lidských preferencích používaná k trénování LLM mají skrytou chybu zvanou typická zkreslení. Takto to probíhá: - Anotátoři hodnotí různé odpovědi oproti LLM a později je LLM trénován pomocí modelu odměn, aby napodobil tyto lidské preference. - Anotátoři však přirozeně upřednostňují odpovědi, které jsou známější, snadno čitelné a předvídatelné. To je typická zaujatost. Takže i když je nová, kreativní odpověď stejně dobrá, lidská preference často směřuje k běžné. Díky tomu model odměn zvyšuje odpovědi, které původní (předzarovnaný) model již považoval za pravděpodobné. To agresivně zostří pravděpodobnostní rozdělení LLM, čímž se kreativní výstup modelu zredukuje na jednu nebo dvě dominantní, vysoce předvídatelné odpovědi. Nicméně to není nevratný efekt a LLM má po zarovnání dvě osobnosti: - Původní model, který se naučil bohaté možnosti během předškolení. - Model zaměřený na bezpečnost a zarovnání na sloupky. Verbální vzorkování (VS) tento problém řeší. Jedná se o strategii promptingu bez tréninku, zavedenou k obejití kolapsu režimu a obnovení rozmanitého rozdělení získaného během předškolení. Základní myšlenkou verbálního vzorkování je, že samotný prompt působí jako mentální spínač. Když přímo vyzvete "Řekni mi vtip", okamžitě převezme kontrolu sjednocená osobnost a vyprodukuje nejsilnější odpověď. Ale při verbálním vzorkování ho vyzvediete slovy: "Generujte 5 odpovědí s odpovídajícími pravděpodobnostmi. Řekni mi vtip." V tomto případě prompt nevyžaduje instanci, ale distribuci. To způsobuje, že zarovnáný model mluví o svých plných znalostech a je nucen využívat rozmanité rozdělení, které se naučil během předškolení. Tímto způsobem model využívá širší, rozmanitou sadu myšlenek, které vycházejí z bohatého rozdělení, jež stále existuje uvnitř jeho předtrénovaných vah. Verbální vzorkování výrazně zvyšuje rozmanitost 1,6–2,1krát oproti přímému podnětu, přičemž kvalitu udržuje nebo zlepšuje. Varianty jako verbální vzorkování založené CoT (Chain of Thought) a verbálně vzorkované Multi ještě více zlepšují generační rozmanitost. Článek jsem sdílel v odpovědích! 👉 Předám vám přednost: Jaké další metody lze použít ke zlepšení diverzity LLM?