Nvidia Chat with RTX umožní vytvářet a lokálně provozovat AI chatboty

20. 2. 2024. (redaktor: František Doupal, zdroj: Nvidia)
Chatboty běžící díky cloudovým serverům založeným na technologiích společnosti NVIDIA využívají každý den miliony lidí po celém světě. Nyní tyto nástroje přicházejí i na osobní počítače se systémem Windows vybavené grafickými kartami NVIDIA RTX.

Chat with RTX, který je nyní zdarma ke stažení, je technologická ukázka, která uživatelům umožňuje přizpůsobit chatbota jejich vlastnímu obsahu. Nástroj lze spustit pomocí GPU NVIDIA GeForce RTX řady 30 nebo vyšší s alespoň 8 GB VRAM. Ke svému chodu využívá metodu generování s podporou vyhledávání, software NVIDIA TensorRT-LLM i akceleraci pomocí NVIDIA RTX.

Uživatelé také mohou rychle a snadno připojit místní soubory v počítači jako datovou sadu k rozsáhlému jazykovému modelu s otevřeným zdrojovým kódem, například Mistral nebo Llama 2, a umožnit tak rychlé a kontextově relevantní odpovědi na dotazy.

Aplikace Chat With RTX přitom podporuje různé formáty souborů včetně textu, souborů PDF, DOC/DOCX a XML. Zadat však lze např. i adresu URL se seznamem videí na YouTube a aplikace načte přepisy videí ze seznamu videí, což umožní dotazovat se na obsah, kterého se týkají.

Technologická demoverze aplikace Chat With RTX vychází z referenčního projektu pro vývojáře TensorRT-LLM RAG dostupného na GitHubu. Vývojáři jej mohou použít k vývoji a nasazení svých vlastních aplikací založených na RAG pro RTX a akcelerovaných technologií TensorRT-LLM.

Další informace získáte např. zde.

Video : 
Štítky: 
Umělá inteligence, Nvidia
Vytisknout Poslat e-mailem Sdílet na LinkedIn

Podobné články

V příštím roce bude AI nativně podporovat 43 % počítačů

14. 10. 2024. (redaktor: František Doupal, zdroj: Gartner)
Společnost Gartner předpovídá, že počítače s nativní podporou AI se budou v roce 2025 na celkových prodejích podílet ze 43 % (oproti letošním 17 %). Pro velké firmy se notebooky s Al stanou jedinou volbou do roku 2026. Čtěte více
Jan Bureš, country leader CZ/SK ve Fujitsu

Jan Bureš (Fujitsu): Na éru AI jsme dobře připraveni

5. 9. 2024. (redaktor: František Doupal, zdroj: DCD Publishing)
S Janem Burešem, country leaderem CZ/SK ve Fujitsu, jsme hovořili o nabídce společnosti pro oblast umělé inteligence. Na následujících řádcích se tak můžete seznámit s produkty a službami Fujitsu pro tento segment, ale i s přístupem společnosti k bezpečnosti dat nebo kooperací s dalšími dodavateli, a hlavně s partnery. Čtěte více

Ve druhém čtvrtletí bylo na AI připraveno 14 % prodaných PC

27. 8. 2024. (redaktor: František Doupal, zdroj: Canalys)
Podle nejnovějších údajů společnosti Canalys bylo ve 2. čtvrtletí 2024 dodáno 8,8 milionu počítačů s umělou inteligencí. Tato zařízení jsou definována jako stolní počítače nebo notebooky, které obsahují čipovou sadu nebo dedikovaná jádra pro specializované pracovní úlohy AI (například NPU). Čtěte více
Martin Moravec, One Lenovo channel sales leader ve společnosti Lenovo

Lenovo AI: Komplexní strategie a dlouhodobý závazek

7. 8. 2024. (redaktor: František Doupal, zdroj: DCD Publishing)
Lenovo dnes využívá umělou inteligenci napříč celým svým portfoliem. Integruje ji jak do koncových zařízení, jako jsou počítače nebo chytré telefony, tak i do široké škály infrastrukturních produktů. O současnosti a budoucnosti AI v pojetí společnosti Lenovo jsme mluvili s Martinem Moravcem, který v této společnosti působí jako One Lenovo channel sales leader. Čtěte více