Ollama: helyi telepítésű LLM

Ollama bemutatása

Az Ollama egy könnyű súlyú keretrendszer a helyi nyelvi modellek futtatásához. Ez a keretrendszer a modell súlyait, beállításait és adatkészleteit egyetlen integrált csomagba köti össze, hogy optimalizálható legyen a különféle mesterséges intelligencia alkalmazásokhoz.

Telepítési útmutató

Az Ollama weboldaláról letöltheti a Mac, Linux és Windows rendszerekhez készült telepítőfájlokat.

https://ollama.com/download

Kezdés

A telepítés befejezése után futtassa az Ollama alkalmazást.

A terminálban a következő parancsokat adhatja meg:

Az Ollama részletesebb interakciókhoz API-t is kínál. További információkért látogasson el ide:

https://github.com/ollama/ollama/blob/main/docs/api.md

LLM modell kiválasztása

Az Ollama számos modellt támogat, köztük a llama-3 8B modellt, amely 8 milliárd paraméterrel rendelkezik, és kiváló a komplex kontextus megértésében és a problémamegoldásban. Az egyes modellek teljesítménye a paraméterek számától és a képzési adatoktól függ, ezért fontos a felhasználási célnak megfelelő modell kiválasztása.

https://ollama.com/library

A llama-3 8B modell a GPT-3.5-höz hasonló teljesítményt nyújt.

Dokumentum feltöltés és chat felület

A PrivateGPT-hez hasonló eszközök segítségével az Ollama LLM-jén keresztül chat felületen is kommunikálhat.
http://PrivateGPT GitHub

Conda környezet beállítása

• Új környezet létrehozása: conda create -n privategpt python=3.11
• Környezet aktiválása: conda activate privategpt

PrivateGPT telepítése

• Tároló klónozása: git clone https://github.com/imartinez/privateGPT
• Poetry telepítése: pip install poetry
• Make telepítése: brew install make
• Függőségek telepítése: poetry install --extras "ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant
• llms-ollama embeddings-ollama"
• Beállítások konfigurálása: settings-ollama.yaml

A dokumentum feltöltési funkció használatához telepíteni kell az Ollama nomic-embed-text modelljét.

• Futtatás: PGPT_PROFILES=ollama make run

Következtetés

Az Ollama használatával megőrizheti az adatvédelmet és az adatbiztonságot, miközben élvezheti a hatékony természetes nyelvi feldolgozás előnyeit. Ez különösen fontos előny a bizalmas adatokkal foglalkozó vállalkozások vagy kutatások számára.
Ismerje meg az Ollama használatát, és futtassa a saját LLM-jét helyben. Ne hagyja ki a lehetőséget, hogy közvetlenül vezérelje a nagy teljesítményű természetes nyelvi feldolgozást, és azonnal lássa az eredményeket!