Cara Install Ollama di Ubuntu untuk Menjalankan AI Lokal

Jika anda adalah seorang developer, tentu anda sudah tidak asing dengan ChatGPT, Claude, atau Gemini. Asisten AI seperti ini sangat membantu, mulai dari menulis kode, merangkum dokumen, hingga menjawab pertanyaan teknis. Namun, semuanya berjalan di server milik orang lain.

Artinya, setiap prompt yang anda kirim, termasuk potongan kode kantor atau data pribadi, ikut terkirim ke internet. Belum lagi biaya API yang terus bertambah seiring pemakaian, dan batas kuota yang kadang muncul di saat paling tidak tepat.

Nah, bagaimana jika model AI itu berjalan langsung di komputer atau server anda sendiri? Inilah yang ditawarkan oleh Ollama, sebuah aplikasi open source yang membuat menjalankan Large Language Model (LLM) secara lokal semudah menjalankan satu perintah di terminal.

Dalam artikel kali ini, kita akan membahas tuntas cara install Ollama di Ubuntu, mulai dari memahami apa itu Ollama, memilih model yang sesuai dengan RAM anda, mengobrol dengan AI di terminal, memakai API-nya dari aplikasi, hingga memasang tampilan web ala ChatGPT dengan Open WebUI. Mari kita mulai!

Apa itu Ollama?

Ollama adalah aplikasi untuk mengunduh, mengelola, dan menjalankan model bahasa besar (Large Language Model) di komputer anda sendiri. Ollama tersedia untuk Linux, macOS, dan Windows, dan kode sumbernya terbuka di GitHub.

Kalau anda pernah memakai Docker, cara kerja Ollama akan terasa sangat familiar. Sama seperti docker pull nginx mengunduh image, perintah ollama pull llama3.2 mengunduh sebuah model dari library Ollama. Lalu, sama seperti docker run, perintah ollama run langsung menjalankan model tersebut dan membuka sesi obrolan.

Di balik layar, Ollama berjalan sebagai server di port 11434. Server inilah yang memuat model ke RAM atau VRAM GPU, lalu melayani permintaan dari terminal, aplikasi, maupun tampilan web. Model yang disediakan pun beragam, mulai dari Llama buatan Meta, Gemma buatan Google, Qwen buatan Alibaba, hingga gpt-oss, model open-weight dari OpenAI.

Mengapa Menjalankan AI Secara Lokal?

Menjalankan AI di mesin sendiri punya beberapa keuntungan yang cukup menarik:

• Privasi terjaga: prompt dan data anda tidak pernah meninggalkan komputer atau server anda. Cocok untuk kode internal, dokumen kantor, atau data sensitif.
• Gratis tanpa batas kuota: tidak ada biaya per token dan tidak ada rate limit. Batasnya hanya kemampuan hardware anda.
• Bisa berjalan offline: setelah model terunduh, anda tidak membutuhkan koneksi internet lagi.
• Mudah diintegrasikan: Ollama menyediakan REST API, termasuk endpoint yang kompatibel dengan API OpenAI, sehingga banyak aplikasi dan library bisa langsung memakainya.
• Bebas bereksperimen: anda bisa mencoba puluhan model berbeda dan membandingkannya sendiri.

Kekurangan yang Perlu Diketahui

Agar adil, ada juga beberapa hal yang perlu anda ketahui sebelum memulai:

• Tidak sepintar model komersial terbesar: model yang muat di laptop atau VPS biasa umumnya masih kalah dibandingkan model andalan ChatGPT atau Claude, terutama untuk tugas yang rumit.
• Butuh RAM yang cukup besar: model kecil pun butuh beberapa GB RAM, dan model yang lebih pintar butuh jauh lebih banyak.
• Lambat tanpa GPU: di CPU saja, jawaban tetap keluar, tetapi kecepatannya bisa terasa lambat untuk model berukuran menengah ke atas.

Persiapan

Sebelum memulai, pastikan anda sudah memiliki:

• Ubuntu 24.04 LTS atau 26.04 LTS, baik di PC, laptop, maupun VPS. Perintah di artikel ini ditujukan untuk kedua versi tersebut, dan prosesnya juga mirip di distro Linux lainnya.
• RAM minimal 8 GB. Dengan RAM 4 GB anda masih bisa mencoba model yang sangat kecil, tetapi pilihannya terbatas.
• Ruang disk kosong minimal 10–20 GB, karena satu model saja bisa berukuran beberapa GB.
• GPU (opsional): kartu grafis NVIDIA atau AMD akan membuat Ollama jauh lebih cepat. Tanpa GPU, Ollama otomatis berjalan memakai CPU.
• Akses user dengan sudo.

Memakai VPS? Pastikan VPS anda sudah diamankan terlebih dahulu. Silakan ikuti panduan cara mengamankan VPS Linux baru. Jika RAM VPS anda pas-pasan, menambahkan swap memory bisa mencegah proses Ollama dimatikan karena kehabisan memori, walaupun swap jauh lebih lambat daripada RAM.

Memilih Model yang Sesuai dengan RAM

Inilah bagian yang paling sering membingungkan pemula. Secara umum, ukuran model harus muat di RAM (atau di VRAM GPU agar cepat), ditambah sisa memori untuk sistem dan konteks percakapan.

Berikut beberapa model populer dari library Ollama beserta ukuran unduhannya saat artikel ini ditulis:

Kolom Saran RAM di atas adalah perkiraan kasar agar sistem tetap lega, bukan angka resmi. Ukuran model juga bisa berubah saat model diperbarui. Cek selalu halaman model di ollama.com/library sebelum mengunduh.

Angka di belakang nama model, misalnya 3b atau 7b, menunjukkan jumlah parameter dalam miliar (billion). Semakin besar angkanya, biasanya model semakin pintar, tetapi juga semakin berat. Untuk percobaan pertama, llama3.2 adalah pilihan yang aman karena ringan dan responsif.

Cara Install Ollama di Ubuntu

Langkah #1: Update Sistem dan Pasang Dependensi

Pertama, perbarui daftar paket dan pasang curl serta zstd. Paket zstd dibutuhkan oleh script instalasi Ollama untuk mengekstrak file rilisnya, dan di beberapa image Ubuntu minimal (terutama di VPS) paket ini belum terpasang.

sudo apt update
sudo apt install -y curl zstd

Langkah #2: Jalankan Script Instalasi Resmi

Ollama menyediakan script instalasi resmi yang otomatis mengunduh binary, membuat user sistem ollama, mendaftarkan layanan systemd, dan mendeteksi GPU anda. Jalankan perintah berikut:

curl -fsSL https://ollama.com/install.sh | sh

Tips keamanan: menjalankan script dari internet langsung ke sh sebaiknya hanya dilakukan untuk sumber yang anda percayai. Jika ingin memeriksa isinya terlebih dahulu, unduh dengan curl -fsSL https://ollama.com/install.sh -o install.sh, baca isinya, lalu jalankan dengan sh install.sh.

Proses ini memakan waktu beberapa menit tergantung kecepatan internet. Di akhir instalasi, outputnya kira-kira seperti ini:

>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

Baris terakhir hanya muncul jika komputer anda tidak memiliki GPU NVIDIA atau AMD yang terdeteksi. Ini bukan error, Ollama tetap berjalan normal memakai CPU.

Langkah #3: Pastikan Ollama Sudah Berjalan

Cek versi Ollama yang terpasang dengan perintah berikut:

ollama -v

Lalu pastikan layanan systemd-nya aktif:

systemctl status ollama

Jika anda melihat tulisan active (running), berarti server Ollama sudah berjalan dan otomatis menyala setiap kali sistem di-boot. Tekan q untuk keluar dari tampilan status.

Anda juga bisa memastikan API-nya merespons dengan perintah berikut:

curl http://localhost:11434

Outputnya adalah teks Ollama is running. Sederhana, kan?

Langkah #4: Unduh dan Jalankan Model Pertama

Sekarang bagian yang paling seru. Jalankan model llama3.2 dengan perintah berikut:

ollama run llama3.2

Jika model belum ada di komputer anda, Ollama akan mengunduhnya terlebih dahulu (sekitar 2 GB), lalu langsung membuka sesi obrolan dengan tanda >>>. Silakan ketik pertanyaan apa saja:

>>> Jelaskan apa itu Docker dalam dua kalimat.

Model akan menjawab langsung di terminal, kata demi kata. Keren kan? Semua ini berjalan 100% di mesin anda, tanpa mengirim apa pun ke internet.

Beberapa perintah berguna di dalam sesi obrolan:

• Ketik /? untuk melihat daftar perintah yang tersedia.
• Gunakan """ untuk mengetik pesan yang terdiri dari beberapa baris, lalu tutup lagi dengan """.
• Ketik /bye atau tekan Ctrl+D untuk keluar.

Penasaran seberapa cepat model berjalan di mesin anda? Tambahkan opsi --verbose:

ollama run llama3.2 --verbose

Setelah setiap jawaban, Ollama akan menampilkan statistik seperti eval rate dalam satuan token per detik. Sebagai gambaran, angka di atas 10 token/detik biasanya sudah terasa nyaman untuk dibaca.

Cara Menggunakan Perintah Dasar Ollama

Setelah model pertama berjalan, berikut perintah-perintah yang akan sering anda pakai sehari-hari.

Untuk mengunduh model tanpa langsung menjalankannya, gunakan pull:

ollama pull qwen2.5-coder:7b

Untuk melihat semua model yang sudah terunduh beserta ukurannya:

ollama list

Untuk melihat model yang sedang dimuat di memori:

ollama ps

Outputnya kira-kira seperti ini:

NAME               ID              SIZE      PROCESSOR    CONTEXT    UNTIL
llama3.2:latest    a80c4f17acd5    3.4 GB    100% CPU     4096       4 minutes from now

Kolom PROCESSOR sangat berguna untuk mengecek apakah model berjalan di GPU. Jika tertulis 100% GPU, berarti model sepenuhnya dimuat di GPU. Jika tertulis campuran seperti 48%/52% CPU/GPU, berarti VRAM GPU anda tidak cukup dan sebagian model dijalankan oleh CPU, sehingga lebih lambat.

Kolom UNTIL menunjukkan kapan model akan dilepas dari memori. Secara default, model tetap dimuat selama 5 menit setelah terakhir dipakai. Jika ingin melepasnya sekarang juga, gunakan perintah berikut:

ollama stop llama3.2

Terakhir, untuk menghapus model yang tidak lagi dipakai dan mengosongkan ruang disk:

ollama rm qwen2.5-coder:7b

Di Linux, semua model yang diunduh lewat layanan systemd disimpan di folder /usr/share/ollama/.ollama/models. Jika disk utama anda sempit, lokasinya bisa dipindahkan dengan variabel OLLAMA_MODELS (caranya sama seperti pengaturan di bagian berikutnya), asalkan user ollama memiliki izin baca-tulis ke folder baru tersebut.

Mengakses Ollama Lewat API

Inilah fitur yang membuat Ollama sangat menarik bagi developer. Selain lewat terminal, model bisa dipanggil dari aplikasi apa pun melalui REST API di http://localhost:11434.

Contoh paling sederhana, kirim pesan ke model lewat endpoint /api/chat dengan perintah berikut:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{ "role": "user", "content": "Kenapa langit berwarna biru?" }],
  "stream": false
}'

Opsi "stream": false membuat jawaban dikirim sekaligus dalam satu objek JSON. Jawaban model ada di bagian message.content.

Memakai Endpoint yang Kompatibel dengan OpenAI

Ollama juga menyediakan endpoint yang kompatibel dengan API OpenAI di /v1. Artinya, aplikasi atau library yang awalnya dibuat untuk OpenAI bisa diarahkan ke Ollama hanya dengan mengganti base URL.

Contoh memanggil endpoint /v1/chat/completions dengan curl:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{ "role": "user", "content": "Buatkan fungsi JavaScript untuk membalik string." }]
  }'

Jika anda memakai library resmi OpenAI untuk Python, cukup ubah base_url dan isi api_key dengan teks apa saja (wajib diisi, tetapi diabaikan oleh Ollama):

from openai import OpenAI
 
client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",
)
 
response = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Apa itu Ubuntu?"}],
)
 
print(response.choices[0].message.content)

Dengan cara ini, anda bisa membuat chatbot, alat perangkum dokumen, atau asisten kode sendiri yang sepenuhnya berjalan lokal.

Memasang Tampilan Web ala ChatGPT dengan Open WebUI

Mengobrol lewat terminal memang praktis, tetapi untuk pemakaian sehari-hari, tampilan web akan terasa jauh lebih nyaman. Open WebUI adalah antarmuka web open source yang tampilannya mirip ChatGPT dan bisa langsung terhubung ke Ollama.

Cara termudah memasangnya adalah lewat Docker. Jika Docker belum terpasang, silakan pelajari dulu mengenal Docker container dan pasang Docker Engine dari dokumentasi resminya.

Secara default, Ollama hanya mendengarkan di 127.0.0.1, sehingga tidak bisa dijangkau dari jaringan internal Docker biasa. Solusi paling sederhana adalah menjalankan Open WebUI dengan host network, sesuai rekomendasi dokumentasi Open WebUI:

docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Tunggu sekitar satu menit hingga container selesai dijalankan, lalu buka http://localhost:8080 di browser. Buat akun pertama anda, dan akun pertama ini otomatis menjadi administrator. Setelah itu, pilih model di bagian atas halaman dan mulailah mengobrol.

Menjalankan di VPS? Jangan membuka port 8080 ke internet begitu saja. Akses Open WebUI lewat SSH tunnel, misalnya ssh -L 8080:localhost:8080 [email protected], lalu buka http://localhost:8080 di komputer anda. Jika ingin memakainya secara permanen dengan domain, pasang reverse proxy dengan HTTPS. Untuk mengelola beberapa container sekaligus, anda juga bisa menuliskannya dalam file Compose seperti di artikel belajar Docker Compose.

Konfigurasi Lanjutan Ollama

Pengaturan Ollama di Linux dilakukan lewat variabel environment pada layanan systemd. Cara yang disarankan adalah membuat file override dengan perintah berikut:

sudo systemctl edit ollama

Editor akan terbuka. Tambahkan pengaturan yang anda butuhkan di bawah bagian [Service], misalnya:

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_CONTEXT_LENGTH=8192"

Simpan file, lalu muat ulang konfigurasi systemd dan restart Ollama:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Beberapa variabel yang paling sering dipakai:

• OLLAMA_KEEP_ALIVE: berapa lama model tetap dimuat di memori setelah terakhir dipakai (default 5 menit). Nilai lebih lama membuat respons pertama lebih cepat, tetapi memori tetap terpakai.
• OLLAMA_CONTEXT_LENGTH: panjang konteks (jumlah token yang bisa "diingat" model dalam satu percakapan). Nilai lebih besar berguna untuk dokumen panjang, tetapi menambah pemakaian memori.
• OLLAMA_MODELS: lokasi penyimpanan model.
• OLLAMA_HOST: alamat dan port tempat server mendengarkan, misalnya 0.0.0.0:11434 agar bisa diakses dari komputer lain di jaringan.

Peringatan: API Ollama tidak memiliki autentikasi. Jika anda mengubah OLLAMA_HOST menjadi 0.0.0.0 di VPS dengan IP publik, siapa pun di internet bisa memakai model (dan sumber daya server) anda. Lakukan hanya di jaringan lokal yang terpercaya, batasi dengan firewall (misalnya sudo ufw allow from 192.168.1.0/24 to any port 11434), atau gunakan SSH tunnel.

Cara Update dan Uninstall Ollama

Untuk memperbarui Ollama ke versi terbaru, cukup jalankan ulang script instalasinya. Model yang sudah diunduh tidak akan terhapus.

curl -fsSL https://ollama.com/install.sh | sh

Jika suatu saat anda ingin menghapus Ollama sepenuhnya, hentikan dan hapus layanannya terlebih dahulu:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Lalu hapus library, binary, user sistem, dan folder modelnya:

sudo rm -r $(which ollama | tr 'bin' 'lib')
sudo rm $(which ollama)
sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama

Perintah terakhir akan menghapus semua model yang sudah anda unduh. Pastikan anda memang tidak membutuhkannya lagi.

Troubleshooting Masalah Umum

Berikut beberapa masalah yang cukup sering ditemui beserta solusinya:

Untuk melihat log Ollama secara lengkap, gunakan perintah berikut:

journalctl -e -u ollama

Kesimpulan

Dari artikel ini, kita dapat menyimpulkan bahwa menjalankan AI secara lokal kini sangat mudah berkat Ollama. Cukup satu script instalasi dan satu perintah ollama run, anda sudah bisa mengobrol dengan model seperti Llama, Gemma, atau Qwen langsung di mesin sendiri, tanpa biaya per token dan tanpa mengirim data ke pihak lain.

Kuncinya ada pada pemilihan model yang sesuai dengan RAM anda. Mulailah dari model kecil seperti llama3.2, ukur kecepatannya dengan --verbose, lalu naikkan ukurannya secara bertahap jika hardware anda mampu.

Siapa yang Cocok Menggunakan Ollama?

• Developer yang ingin membangun aplikasi AI tanpa biaya API, berkat API yang kompatibel dengan OpenAI.
• Pengguna yang peduli privasi dan ingin mengolah dokumen atau kode sensitif secara lokal.
• Penggemar self-hosting yang ingin punya "ChatGPT pribadi" di home server atau VPS lewat Open WebUI.

Langkah Selanjutnya

Setelah Ollama berjalan, cobalah beberapa model berbeda untuk kebutuhan yang berbeda pula, misalnya qwen2.5-coder untuk membantu menulis kode. Jika anda tertarik dengan asisten kode AI berbasis cloud sebagai pembanding, silakan baca juga ulasan Grok Code Fast 1.

Resources dan Link Berguna

• Situs resmi Ollama
• Dokumentasi instalasi Ollama di Linux
• FAQ Ollama
• Library model Ollama
• Dokumentasi Open WebUI

Jika ada pertanyaan atau kendala saat mengikuti tutorial ini, jangan ragu untuk bertanya. Tetap pantau terus web Teknotut!

Semoga artikel ini membantu.