ฉันวาง LLM ท้องถิ่นบนโทรศัพท์ของฉันและไม่ต้องใช้ AI บนคลาวด์สำหรับงานส่วนใหญ่

หนึ่งในปัญหาที่ใหญ่ที่สุดเกี่ยวกับแชทบอท AI คือคุณต้องออนไลน์อยู่ตลอดเวลา เครื่องมือ AI บนคลาวด์นั้นยอดเยี่ยมเมื่อคุณออนไลน์ แต่ทันทีที่คุณออกจากพื้นที่ที่มีสัญญาณ คุณก็จะใช้งานไม่ได้

เว้นแต่แน่นอนว่าคุณจะมี LLM แบบออฟไลน์ที่ไม่ต้องการการเชื่อมต่ออินเทอร์เน็ต LLM แบบท้องถิ่นเป็นวิธีที่ยอดเยี่ยมในการใช้งาน AI โดยไม่ต้องต่ออินเทอร์เน็ต แถมยังช่วยเพิ่มความเป็นส่วนตัวอย่างมาก

หนึ่งในความเข้าใจผิดสำคัญเกี่ยวกับ LLMs ในท้องถิ่นคือคุณจำเป็นต้องมีฮาร์ดแวร์ที่ทรงพลังมากจริงๆ เพื่อใช้งานอะไรบางอย่าง แต่สิ่งนั้นไม่เป็นความจริง คุณสามารถใช้งาน LLMs ในท้องถิ่นบนสมาร์ทโฟนของคุณได้ และที่ดียิ่งขึ้น มันยังเป็นประโยชน์อย่างมากอีกด้วย

ฉันเคยลองใช้แอปหลายตัวในการใช้งาน LLM ท้องถิ่นบนสมาร์ทโฟนของฉัน และนี่คือทางเลือกที่ดีที่สุด

ทำไมถึงต้องใช้ AI ในเครื่องท้องถิ่นบนสมาร์ทโฟนของคุณด้วย?

ทิ้งเมฆไว้ข้างหลัง

มีหลายเหตุผลที่การใช้ LLM ท้องถิ่นบนสมาร์ทโฟนของคุณคุ้มค่า ความสำคัญจริงๆ จะขึ้นอยู่กับว่าคุณมองเทคโนโลยีนี้อย่างไร

สำหรับฉัน มันคือการรวมกันของความเป็นส่วนตัวและความสะดวกสบาย ถึงแม้ว่าฉันจะไม่อยากยอมรับต่อตัวเองว่าปัญญาประดิษฐ์ได้กลายเป็นส่วนหนึ่งของกิจวัตรประจำวันของฉันมากแค่ไหน แต่ข้อเท็จจริงก็คือมันเป็นเช่นนั้น มากกว่าสิ่งอื่นใด ฉันได้แทนที่การค้นหาปกติของ Google จำนวนมากที่ฉันเคยทำทุกวันด้วยการสนทนา AI อย่างละเอียดแทน

ดังนั้น การทำให้มันทำงานได้เมื่อฉันอยู่ในสถานการณ์ที่ไม่มีการเข้าถึงอินเทอร์เน็ตจึงสำคัญสำหรับฉัน ฉันอาศัยอยู่ในพื้นที่ห่างไกลของคอร์นวอลล์ ห่างไปทางตะวันตกสุดของสหราชอาณาจักร มีหลายสถานที่ที่นี่ซึ่งสัญญาณ 5G และ 4G ปกติไม่ถึง ยิ่งไปกว่านั้นเวลาเดินทางโดยรถไฟ (สัญญาณไม่ต่อเนื่อง) หรือบิน (ไม่มีสัญญาณหรือมีค่า Wi-Fi บนเครื่องบินแพงมาก)

ความเป็นส่วนตัวเป็นจุดเด่นใหญ่ถัดไปสำหรับฉัน ตอนนี้ คนส่วนใหญ่ก็เข้าใจแล้วว่าทุกสิ่งที่คุณพูดกับแชทบอท AI บนคลาวด์ถูกเก็บรวบรวม คล้ายกับที่การค้นหาใน Google ของคุณถูกเก็บมาก่อนหน้านี้ มันถูกนำกลับเข้าไปในระบบเพื่อปรับปรุง AI ซึ่งเป็นเรื่องดี แต่ก็หมายความว่าคุณควรระมัดระวังในสิ่งที่ถาม พูด และคิดเห็น

เมื่อคุณพิมพ์คำสั่งลงใน AI บนคลาวด์ ข้อความนั้นจะถูกเก็บไว้บนเซิร์ฟเวอร์ที่คุณไม่สามารถควบคุมได้ แต่ถ้าคุณเปลี่ยนไปใช้ AI ในเครื่อง? คำถามทางการแพทย์ ข้อมูลทางการเงิน เอกสารทางกฎหมาย และข้อมูลส่วนตัวอื่นๆ จะอยู่บนอุปกรณ์ของคุณ

สุดท้ายคือค่าใช้จ่าย แม้ว่าคุณจะสามารถใช้แชทบอท AI ยอดนิยมส่วนใหญ่ได้ฟรีและมีความสุข แต่คุณมักจะเจอข้อจำกัด บริษัท AI มักต้องการให้คุณอัปเกรดไปยังระดับถัดไปเพื่อปลดล็อกขีดจำกัดที่สูงขึ้น รุ่นล่าสุด และอื่นๆ แต่โมเดล AI ในท้องถิ่นหมายถึงไม่มีค่าธรรมเนียมสมาชิก ซึ่งหมายถึงเงินเพิ่ม 20 ดอลลาร์ในกระเป๋าของคุณทุกเดือน

ตอนนี้ ฉันได้ลองหลายตัวเลือกต่าง ๆ สำหรับการใช้งาน AI แบบท้องถิ่นบนสมาร์ทโฟนของคุณแล้ว และมีแอปสองสามตัวที่ทำงานได้ดีกว่าที่อื่น ๆ

หมายเหตุ: คุณไม่ได้รันโมเดล AI เต็มรูปแบบบนโทรศัพท์ของคุณ คุณกำลังรันสิ่งที่เรียกว่าโมเดลแบบควอนไทซ์ ซึ่งยังคงมีพลังมาก แต่จะไม่ทำลายสมาร์ทโฟนของคุณด้วยคำสั่งเพียงครั้งเดียว!

แกลเลอรี AI Edge ของ Google

เหมาะสำหรับการวิ่ง เจมมา

หนึ่งในวิธีที่ดีที่สุดในการใช้ AI ท้องถิ่นบนสมาร์ทโฟนของคุณคือผ่าน Google AI Edge Gallery ซึ่งสามารถใช้งานได้ทั้งบนอุปกรณ์ Android และ iOS

ในแง่ของการใช้งานและความง่ายในการใช้ AI Edge Gallery นั้นอยู่ในระดับสูงแน่นอน โดยมีตัวเลือกทุกอย่างจัดเรียงและอธิบายอย่างง่ายดาย โมเดล AI สามารถดาวน์โหลดได้ง่ายและจัดเรียงตามลำดับความเหมาะสมกับอุปกรณ์ของคุณ และแอปก็อธิบายความสามารถของแต่ละโมเดลภายใต้แท็กเช่น Ask Image หรือ AI Chat

AI Edge Gallery ดีเพราะมันให้คุณเข้าถึง Gemma 4 ซึ่งเป็นโมเดล AI ล่าสุดและดีที่สุดของ Google โดยไม่ต้องใช้บัญชี ดังนั้น ตัวอย่างเช่น คุณสามารถเปิด AI Edge Gallery เลือก AI Chat แล้วดาวน์โหลด Gemma-4-E2B-it ซึ่งรองรับการป้อนข้อมูลหลายโมเดล (เช่น เสียง ภาพ ข้อความ เป็นต้น)

ภายในไม่กี่นาที ขึ้นอยู่กับความเร็วในการดาวน์โหลดของคุณ คุณสามารถสนทนากับ AI แบบออฟไลน์เต็มรูปแบบบนสมาร์ทโฟนของคุณได้

นอกเหนือจากการสนทนาพื้นฐาน แอปนี้ยังมีทักษะของเอเจนต์ (Agent Skills) สำหรับเพิ่มประสิทธิภาพโมเดลด้วยเครื่องมือต่าง ๆ เช่น วิกิพีเดียและแผนที่เชิงโต้ตอบ, ห้องทดลองพรอมต์ (Prompt Lab) สำหรับควบคุมพารามิเตอร์อย่างละเอียด, Audio Scribe สำหรับการถอดข้อความบนอุปกรณ์, และ Ask Image สำหรับการสอบถามด้วยภาพหลายรูปแบบ โอ้ และอย่าลืม Tiny Garden ซึ่งเป็นเกมสวนที่คุณสามารถควบคุมผ่านคำสั่งข้อความและเสียง และเป็นมุมมองเล็ก ๆ ที่สนุกของสิ่งที่สามารถทำได้ด้วย AI

ข้อร้องเรียนจริงๆ เพียงอย่างเดียวของฉันกับ AI Edge Gallery คือ ณ เวลาที่เขียน ไม่มีฟังก์ชันจำการสนทนา เมื่อคุณปิดการสนทนา ข้อมูลก็จะหายไป นี่เป็นแอปที่ทรงพลังสำหรับ AI ในเครื่องบนสมาร์ทโฟนของคุณ แต่สำหรับผู้ที่ใช้งาน AI เป็นประจำ นี่เป็นปัญหาใหญ่

แชท MNN

ยอดเยี่ยมสำหรับรุ่นขนาดเล็ก

แอปที่สองที่นำ AI ในพื้นที่ไปยังสมาร์ทโฟนของคุณคือ MNN Chat ซึ่งเป็นแอปโอเพ่นซอร์สที่ทำให้การใช้งานโมเดล AI ขนาดเล็กบนอุปกรณ์ของคุณเป็นเรื่องง่ายจริง ๆ MNN Chat เหมาะกับสมาร์ทโฟนที่อยู่นอกช่วง "แฟลกชิป" มากกว่า โดยเน้นไปที่โมเดล AI ที่มีขนาดเล็กกว่า เช่น ครอบครัว Qwen

อย่างไรก็ตาม อย่าให้สิ่งนั้นทำให้คุณท้อใจที่จะลองใช้ เพราะโมเดล Qwen AI ยังคงยอดเยี่ยมสำหรับงานส่วนใหญ่ และเป็นจุดเริ่มต้นที่ดีสำหรับผู้ที่เพิ่งเริ่มใช้อุปกรณ์ AI ในท้องถิ่น (ไม่ว่าจะบนสมาร์ทโฟนหรือฮาร์ดแวร์อื่น ๆ)

อย่างไรก็ตาม คุณไม่ได้จำกัดอยู่เพียงแค่ Qwen คุณสามารถใช้เมนูของ MNN Chat เพื่อเลือกใช้ระหว่าง Thinking, Vision, Audio, AudioGen และประเภทโมเดลอื่น ๆ รวมถึงสลับระหว่างคลังโมเดล AI เช่น HuggingFace, ModelScope และ Modelers

แต่ในขณะที่ MNN Chat รู้สึกว่ามุ่งเน้นไปที่ผู้ใช้ที่มีความก้าวหน้าเล็กน้อย มันก็ยังใช้งานง่ายมาก คุณหาโมเดล AI คลิกดาวน์โหลด แล้วเริ่มสนทนา และที่สำคัญยิ่งกว่านั้น มันมีประวัติการแชท ดังนั้นคุณสามารถกลับไปยังการสนทนาของคุณและต่อเนื่องได้

หากคุณไม่แน่ใจ คุณสามารถใช้เครื่องมือการวัดประสิทธิภาพที่รวมอยู่ใน MNN Chat ซึ่งจะช่วยให้คุณเห็นแนวโน้มของการทำงานของโมเดลบนอุปกรณ์ของคุณ ค่า prefill และ decode token ต่อวินาทีที่สูงกว่าบ่งบอกถึงประสิทธิภาพที่ดีกว่าของโมเดลที่ถูกวัด

โมเดล AI ในท้องถิ่นจำเป็นต้องใช้ฮาร์ดแวร์และที่เก็บข้อมูล

แน่นอนว่า AI ในเครื่องบนสมาร์ทโฟนของคุณก็ไม่ได้ปราศจากข้อจำกัด ฉันได้ทำการทดสอบโมเดลเหล่านี้โดยใช้ Honor Magic V5 และ Nothing Phone 3 โทรศัพท์เหล่านี้มีความสามารถที่แตกต่างกันแต่ก็สามารถใช้งานได้ดี ทั้งคู่เปิดตัวในปี 2025

อุปกรณ์รุ่นเก่าที่มีฮาร์ดแวร์กำลังต่ำกว่า อาจมีปัญหามากขึ้น หากคุณกำลังใช้อุปกรณ์รุ่นเก่า MNN Chat น่าจะเป็นตัวเลือกที่ดีกว่าสำหรับ AI บนสมาร์ทโฟนในพื้นที่ เนื่องจากมีรายการโมเดล AI ที่เบาและครอบคลุมมาก คุณควรจะสามารถหาอะไรบางอย่างที่สมดุลระหว่างพลังงานและอายุแบตเตอรี่ได้ ใช้เครื่องมือวัดผลของมันเพื่อดูว่าอุปกรณ์ของคุณพร้อมสำหรับความท้าทายนี้หรือไม่

การเก็บข้อมูลเป็นอีกหนึ่งสิ่งที่ต้องพิจารณา โมเดลเองก็ใช้พื้นที่เก็บข้อมูลอย่างมาก — โมเดลที่มีความสามารถเพียงหนึ่งตัวสามารถใช้พื้นที่ตั้งแต่ 1GB จนถึงเกิน 4GB ดังนั้นถ้าโทรศัพท์ของคุณมีพื้นที่เหลือน้อยอยู่แล้ว คุณจะต้องคำนึงถึงเรื่องนี้ก่อนดาวน์โหลด

ข่าวดีคือ โมเดลที่มีการคำนวณเชิงปริมาณทำให้การรัน AI บนอุปกรณ์ท้องถิ่นบนสมาร์ทโฟนของคุณง่ายกว่าที่เคย และทั้ง Google AI Edge Gallery และ MNN Chat ถูกออกแบบโดยคำนึงถึงสิ่งนั้นโดยเฉพาะ