คุณสามารถ (และควร) ใช้ LLM ขนาดเล็กบนโทรศัพท์ Android ของคุณได้

ฉันได้ลองเล่นกับ LLMs บนคอมพิวเตอร์ของตัวเองมาซักพักแล้ว เรื่องราวทั้งหมดเริ่มจากเป็นงานอดิเรกตอนที่ฉันรัน DeepSeek-R1 บน Mac ของฉันเอง และตอนนี้มันกลายเป็นส่วนที่น่าทึ่งของกระบวนการทำงานของฉันไปแล้ว

ผมได้ลองใช้แอป AI inference ยอดนิยมท้องถิ่นบน Android เกือบทุกตัวแล้ว และประสิทธิภาพมักเป็นปัญหาหลักอยู่เสมอ คุณก็ต้องทำงานภายใต้ข้อจำกัดด้านฮาร์ดแวร์ที่จริงจังอยู่แล้ว เพราะมันก็แค่มือถือ นั่นทำให้ซอฟต์แวร์มีความสำคัญอย่างยิ่ง ซึ่งตรงนี้เองที่ MNN Chat ทำได้ยอดเยี่ยมจริง ๆ

MNN Chat เป็นแอป LLM ท้องถิ่นที่ดีที่สุดที่ฉันเคยลองใช้

ฉันยังคงหวังว่า Ollama จะมีบน Android

สิ่งที่น่าสนใจอย่างแรกเกี่ยวกับ MNN Chat คือมันเป็นโครงการโอเพ่นซอร์สที่พัฒนาโดย Alibaba เอง เครื่องมืออินเฟอเรนซ์ถูกสร้างขึ้นมาโดยเฉพาะเพื่อให้รัน LLMs ได้อย่างมีประสิทธิภาพบนฮาร์ดแวร์มือถือ โดยไม่ต้องพึ่งการ์ดจอสุดล้ำ แม้ว่าตัวแอปจะอยู่บน Play Store แต่คุณก็สามารถดูโค้ดได้ด้วยตัวเองบนหน้า GitHub ของพวกเขา

มันมีประสิทธิภาพดีที่สุดที่ฉันเคยทดสอบมาในการรันโมเดลท้องถิ่นบน Android แต่ก่อนที่คุณจะเริ่มใช้งาน คุณจะต้องรู้อะไรบางอย่างก่อน เริ่มต้น คุณจะต้องมีโทรศัพท์ที่มีประสิทธิภาพพอสมควร ฉันรันโมเดลทั้งหมดของฉันบน Samsung Galaxy S24 Ultra ที่มี RAM 12GB ซึ่งถือว่าอยู่ในระดับสูงสำหรับมาตรฐานโทรศัพท์มือถือ

ทั้งนั้น ถ้าคุณอยากให้ใกล้เคียงที่สุด ผมก็ยังแนะนำให้มี RAM อย่างน้อย 8GB เพื่อให้ได้ประสบการณ์ที่ใช้งานได้กับโมเดลขนาดเล็ก มันยังมาพร้อมกับฟีเจอร์เสริมที่มีประโยชน์อื่น ๆ หากคุณไม่แน่ใจว่าจะรันโมเดลไหนเพราะไม่รู้ว่าอันไหนมีประสิทธิภาพที่สุด ก็มีโหมดเบนช์มาร์กในตัวช่วยให้คุณตัดสินใจได้

คุณก็ไม่จำเป็นต้องค้นหาคู่มือการใช้งานจากอินเทอร์เน็ตอีกต่อไป MNN Chat มีแกลเลอรีในแอปให้คุณสามารถเลือกและดาวน์โหลดโมเดลได้โดยตรงโดยไม่ต้องออกจากแอป

คุณจะได้ชุดโมเดลทั้งหมด พร้อมใช้งาน

ไม่จำเป็นต้องดาวน์โหลดโมเดลด้วยตัวเอง

การตั้งค่า MNN Chat นั้นค่อนข้างง่าย สิ่งที่คุณต้องทำก็แค่เปิดแอปแล้วไปที่ Models Market ที่นี่คุณจะเห็นรายชื่อโมเดลทั้งหมดที่สามารถดาวน์โหลดผ่าน Hugging Face ได้ ถ้าคุณไม่รู้ว่า Hugging Face คืออะไร มันก็เป็นหนึ่งในแหล่งรวมโมเดล AI แบบโอเพ่นซอร์สที่ใหญ่ที่สุดนั่นเอง

ที่นี่ สิ่งที่คุณต้องทำก็แค่กดดาวน์โหลดข้างๆ รุ่นที่คุณต้องการ และมันก็จะพร้อมใช้งานทันทีที่ดาวน์โหลดเสร็จ ส่วนที่ยากกว่าคือการตัดสินใจว่าจะเลือกอันไหน

ในรายการ คุณจะเห็นชื่อที่คุ้นเคยหลายชื่อ เช่น Qwen, DeepSeek หรือ Llama สิ่งหนึ่งที่คุณจะสังเกตได้อย่างรวดเร็วคือชื่อของโมเดลทุกตัวจะมีตัวเลขตามด้วยตัว B เช่น gemma-7b

ตัวอักษร B นั้นหมายถึงพันล้านพารามิเตอร์ ในแบบง่าย ๆ ยิ่งตัวเลขสูง โมเดลก็จะมีความสามารถมากขึ้น แต่ก็ต้องใช้หน่วยความจำมากขึ้นและทำงานช้าลงบนโทรศัพท์ สำหรับสมาร์ทโฟนระดับกลางหรือแฟลกชิปส่วนใหญ่ ผมแนะนำให้ใช้โมเดลที่มีพารามิเตอร์สูงสุด 4 พันล้าน แต่ก็ขึ้นอยู่กับโทรศัพท์ของคุณจริง ๆ จากประสบการณ์ของผม โมเดล Qwen โดยรวมแล้วถือว่าดีที่สุดและยังรองรับหลายรูปแบบด้วย

เมื่อดาวน์โหลดเสร็จแล้ว คุณสามารถไปที่ โมเดลของฉัน และเริ่มแชทกับมันได้ทันที คุณยังสามารถแก้ไขพรอมต์ของระบบได้โดยคลิกที่เมนูแฮมเบอร์เกอร์ด้านบนขวาแล้วไปที่ การตั้งค่า > พรอมต์ของระบบ

คุณยังสามารถเปลี่ยนจำนวนสูงสุดของโทเค็นใหม่ที่นี่ได้ ซึ่งจะเป็นการควบคุมเพียงความยาวของการตอบสนองของโมเดลว่ามันสามารถสร้างข้อความได้นานแค่ไหนก่อนที่จะหยุด

มันมากกว่าการเป็นแค่ LLMs

การสร้างข้อความเป็นเรื่องของปี 2025 แล้ว

ภายใน Models Market คุณอาจสังเกตเห็นว่ามีหมวดหมู่หลายประเภทสำหรับการสร้างภาพ เสียง วิดีโอ และอื่น ๆ มันแทบจะตรงตามที่ชื่อบอก คุณสามารถดาวน์โหลดและใช้งานโมเดลที่ทำได้มากกว่าแค่สร้างข้อความ รวมถึงโมเดลมัลติโมดอลที่สามารถทำงานกับภาพด้วย

สิ่งที่เจ๋งมากที่คุณสามารถทำได้กับสิ่งนี้คือการรวมโมเดลประเภทต่างๆ เข้าด้วยกันเพื่อให้ได้สิ่งที่คล้ายกับโหมดเสียงของ ChatGPT เมื่อใช้งาน LLM คุณอาจสังเกตเห็นไอคอนโทรศัพท์ที่มุมบนขวา

จากตรงนี้คุณต้องดาวน์โหลดโมเดลแปลงข้อความเป็นเสียงที่คุณเลือกด้วย นอกจากนี้คุณยังต้องมีโมเดล ASR ที่แปลงเสียงพูดของคุณเป็นข้อความ หลังจากนั้น ทุกอย่างก็พร้อมแล้ว และคุณก็สามารถเริ่มพูดกับ LLM ในเครื่องของคุณผ่านเสียงได้

แค่จำไว้ว่า โมเดลทั้งหมดเหล่านี้จะเริ่มใช้พื้นที่มากอย่างรวดเร็วตามที่ฉันได้กล่าวไปก่อนหน้านี้ ถ้าคุณต้องการใช้โมเดลที่ไม่สามารถหาได้ใน HuggingFace คุณสามารถนำเข้ามาเองได้ผ่าน ADB

คุณจะต้องจัดการกับความคาดหวังของตัวเอง

ไม่ต้องพูดก็รู้ชัดเจนว่า อย่าไปคาดหวังคุณภาพแบบ ChatGPT หรือ Gemini โดยเฉพาะในเรื่องอย่างการสร้างภาพ ข้อได้เปรียบหลักที่นี่คือคุณสามารถรันโมเดลเหล่านี้บนเครื่องของคุณเองโดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต และข้อมูลของคุณก็ยังอยู่บนอุปกรณ์ของคุณ มีแอป LLM แบบโอเพ่นซอร์สอีกมากมายที่คุณสามารถใช้เพื่อทำให้ประสบการณ์ของคุณดียิ่งขึ้นด้วย

น่าเสียดายที่เป็นไปไม่ได้เลยที่จะรันโมเดลขนาดใหญ่บนอุปกรณ์เล็กๆ อย่างโทรศัพท์มือถือ แต่ถึงอย่างนั้นก็ยังมีสิ่งมากมายที่คุณสามารถทำได้กับเทคโนโลยีนี้ เช่น การสร้างโคลน Perplexity ด้วย LLMs ท้องถิ่น