스마트폰에서 Llama 3.2를 로컬에서 실행하려면 어떻게 해야 할까?
앱 스토어에 가서 PocketPal AI를 검색하면 생산성 앱으로 등록되어 있다. 이 앱은 무료이며 사용자를 선호하는 AI 모델과의 채팅으로 안내한다. 앱 목록에는 LLM과의 안전하고 개인적인 대화를 제공한다고 주장한다.
앱을 다운로드한 후 열고 왼쪽 메뉴를 탭한 다음 모델을 선택한다. 이제 모델에서 'Llama'를 선택하고 'llama-3.2-3b-instruct q4_k'를 다운로드한다. 이 파일은 2.02GB이다. 모바일 인터넷으로 다운로드하려고 하면 시간이 걸릴 수 있다. 초고속 WiFi 연결을 시도하는 것이 좋다. 다운로드가 완료되면 로드 버튼을 눌러 모델을 활성화한다. 이제 메인 메뉴로 돌아가서 채팅을 선택하여 AI와 대화할 수 있다.
PocketPal AI 앱은 구글의 Gemma, 마이크로소프트의 Phi, H2O AI의 Danube, 그리고 Hugging Face의 Qwen 모델도 제공한다.
Llama 3.2는 메타의 내부 오픈 소스 모델로, 개발자들이 고급 AI 모델을 만들 수 있도록 돕는다. 이 모델은 개발자들이 긴 문서를 몇 분 안에 분석하고 설명할 수 있는 AI 도구를 만들 수 있게 해준다.
위의 단계는 AI, 사이버 보안 및 기술 교육을 믿는 교수 Alvaro Cintas의 X 스레드에서 수집되었다.