mars 22, 2026
Alpaca, DALAI IA, GPT, IA

Installer alpaca sous ANDROID

septembre 4, 2023
95 views
3 min read
FacebookTwitterRedditPinterestEmail

https://ivonblog.com/en-us/posts/alpaca-cpp-termux-android/

https://ivonblog.com/en-us/posts/alpaca-cpp-termux-android/

Le blog d’Ivon

Exécution d’Alpaca.cpp (LLaMA) sur un téléphone Android à l’aide de Termux

 2023.4.7  Tutoriel Smartphone / Termux

Contenu

  1. 1. Environnement
  2. 2. Compilez alpaca.cpp
    1. 2.1. Compiler Alpaca.app dans Termux
    2. 2.2. Dans Chroot
    3. 2.3. En racine
  3. 3. Utilisation

中文版

Exécution de LLaMA, un grand modèle de langage de type ChapGPT publié localement par Meta sur un téléphone Android.

J’utilise antimatter15/alpaca.cpp , qui est dérivé de ggerganov/llama.cpp .

Alpaca est la version peaufinée de LLaMA publiée par l’Université de Stanford. Le fichier alpaca.cpp peut fonctionner en mode CPU uniquement.

1. Environnement

  • Appareil：Xiaomi Pocophone F1
  • Android 13
  • SoC : Qualcomm Snapdragon 845
  • RAM : 6 Go

2. Compilez alpaca.cpp

Veuillez d’abord installer Termux . Choisissez ensuite l’une des méthodes ci-dessous pour compiler Alpaca.cpp sur votre appareil.

Alpaca nécessite au moins 4 Go de RAM pour fonctionner. Si votre appareil dispose de RAM >= 8 Go, vous pouvez exécuter Alpaca directement dans Termux ou proot-distro (proot est plus lent). Les appareils dotés de RAM <8 Go ne suffisent pas pour exécuter Alpaca 7B car des processus s’exécutent toujours en arrière-plan sur le système d’exploitation Android. Termux peut planter immédiatement sur ces appareils.

Ou vous pouvez rooter votre téléphone et configurer un environnement chroot. Montez ensuite un fichier d’échange pour obtenir plus de RAM sur votre appareil.

2.1. Compiler Alpaca.app dans Termux

  1. Installez ces packages
1pkg install clang wget git cmake
  1. Télécharger Android NDK
1 2 3wget https://github.com/lzhiyong/termux-ndk/releases/download/ndk-r23/android-ndk-r23c-aarch64.zip unzip android-ndk-r23c-aarch64.zip export NDK=~/android-ndk-r23c-aarch64
  1. Complilez Alpaca.cpp et téléchargez le modèle
1 2 3 4 5 6 7git clone https://github.com/rupeshs/alpaca.cpp.git cd alpaca.cpp mkdir build-android cd build-android cmake -DCMAKE_TOOLCHAIN_FILE=$NDK/build/cmake/android.toolchain.cmake -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-23 -DCMAKE_C_FLAGS=-march=armv8.4a+dotprod .. make -j8 wget https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin
  1. Exécuter
1./chat

2.2. Dans Chroot

  1. Installez Chroot Ubuntu et connectez-vous à Ubuntu.
  2. Si vos appareils disposent de RAM inférieure à 8 Go, il est recommandé de monter un fichier SWAP.
1 2 3 4dd if=/dev/zero of=/swapfile bs=1M count=8192 status=progress chmod 0600 /swapfile mkswap /swapfile swapon /swapfile
  1. Installez les dépendances, compilez le programme et téléchargez le modèle.
1 2 3 4 5apt install build-essential wget git clone https://github.com/antimatter15/alpaca.cpp cd alpaca.cpp make chat wget https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin
  1. Exécuter.
1./chat

2.3. En racine

  1. Installez Proot Debian et connectez-vous à Debian.
1proot-distro login debian --shared-tmp
  1. Installez les dépendances, compilez le programme et téléchargez le modèle.
1 2 3 4 5apt install build-essential wget git clone https://github.com/antimatter15/alpaca.cpp cd alpaca.cpp make chat wget https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin
  1. Exécuter.
1./chat

3. Utilisation

  1. Vous pouvez maintenant commencer à discuter avec Alpaca.
  2. Il faudra 30 secondes à Alpaca pour commencer à répondre à vos questions.
  3. Que pouvez-vous faire avec Termux ? Eh bien, cela ressemble aux réponses du site officiel de Termux 🙂