ฉันได้ลองใช้ทางเลือกแบบโอเพนซอร์ส 3 ตัวแทน LM Studio—นี่คืออันที่ฉันจะใช้ต่อ

LM Studio เป็นแอปที่ได้รับความนิยมสำหรับการรันโมเดลภาษาขนาดใหญ่ (LLMs) บนคอมพิวเตอร์ของคุณได้โดยตรง คุณสามารถดาวน์โหลดโมเดล โหลดมันใน LM Studio และเริ่มสนทนาได้ LM Studio ไม่ใช่ทางเลือกเดียว; ฉันได้ลองใช้ตัวเลือกโอเพ่นซอร์สสามตัว และแต่ละตัวก็มีประโยชน์ในแง่มุมที่แตกต่างกัน

Jan.ai เป็นทางเลือก LM Studio ที่ตรงที่สุด

ดาวน์โหลดโมเดลและเริ่มแชท

หากคุณกำลังมองหาทางเลือกที่เหมือนกับ LM Studio โดยตรง Jan.ai เป็นตัวเลือกที่ดีที่สุดในสามตัวที่ฉันได้ทดลอง มันรู้สึกเหมือนแอปเดสก์ท็อปจริงๆ; เมื่อฉันติดตั้ง มันจะดาวน์โหลดโมเดล Jan เริ่มต้นโดยอัตโนมัติ และฉันสามารถเริ่มแชทได้เหมือนกับที่ฉันทำกับ ChatGPT หรือ Claude

การตอบสนองครั้งแรกช้าเล็กน้อยเนื่องจากโมเดลกำลังโหลด แต่หลังจากนั้นการตอบสนองก็รวดเร็วพอสมควร แม้ว่าจะรันบน MacBook Air M2 ที่มี RAM เพียง 8GB โมเดลเริ่มต้นโดยรวมถือว่าดี แต่ก็รู้เรื่องเกี่ยวกับการใช้แอป Jan.ai น้อยมาก ซึ่งเป็นหนึ่งในสิ่งแรกที่ฉันอยากทราบ

ในขณะที่โมเดลเริ่มต้นก็เหมาะสำหรับการสนทนาทั่วไป คุณสามารถดาวน์โหลดและใช้งานโมเดลอื่น ๆ ได้ คุณสามารถเรียกดูรายชื่อโมเดลใน Hub ซึ่งมีลักษณะการทำงานคล้ายกับใน LM Studio ฉันมีปัญหาในการทำให้โมเดลบางตัวทำงานได้อย่างถูกต้อง โดยเฉพาะโมเดล MLX ที่ปรับให้เหมาะกับ Apple Silicon ไม่สามารถโหลดได้ ซึ่งหมายความว่าฉันต้องกลับไปใช้เวอร์ชันก่อนหน้าเพื่อให้มันทำงานได้

เช่นเดียวกับ LM Studio คุณสามารถเพิ่มคำสั่งที่กำหนดเองเพื่อกำหนดว่าหุ่นยนต์แชทควรตอบสนองอย่างไร ใน Jan.ai สิ่งนี้ทำได้โดยการสร้างผู้ช่วยที่มีคำสั่งที่กำหนดเองซึ่งคุณเรียกใช้งานภายในแชท หากคุณต้องการวิธีที่ค่อนข้างง่ายในการตั้งค่าหุ่นยนต์แชทในเครื่องของคุณเอง Jan.ai เป็นตัวเลือกที่ดี

Ollama เป็นตัวเลือกที่ดีที่สุดสำหรับเซิร์ฟเวอร์ที่บ้าน

มันเป็นโครงสร้างพื้นฐานมากกว่าที่จะเป็นแอป AI

Ollama เป็นสิ่งที่แตกต่างอย่างมากจาก Jan.ai หรือ LM Studio การเปิดแอปจะทำให้คุณเห็นอินเทอร์เฟซแชทบอท AI ที่คุ้นเคย แต่ก็สังเกตได้ว่าขาดคุณสมบัติที่แท้จริง เมนูมีสองตัวเลือก: แชทใหม่ และ เปิดใช้งาน และมีเมนูแบบเลื่อนลงในหน้าต่างแชทที่มีโมเดลดาวน์โหลดและคลาวด์เพียงเล็กน้อย

โมเดลที่สามารถดาวน์โหลดได้ทั้งหมดในรายการมีขนาดใหญ่เกินไปที่จะทำงานบน MacBook Air M2 ของฉันที่มี RAM 8GB ดังนั้นทันทีที่ติดตั้ง แอปจึงแทบไร้ประโยชน์สำหรับการใช้งาน LLM บนเครื่องของฉัน การจัดการโมเดลของแอปนั้นมีข้อจำกัด; หากคุณต้องการทำมากกว่านี้ คุณควรใช้ส่วนต่อประสานบรรทัดคำสั่งจะดีกว่า

คุณสามารถติดตั้งโมเดลอื่น ๆ ใน Terminal และใช้พวกมันในแอป Ollama หรือสนทนากับพวกมันโดยตรงใน Terminal แต่สิ่งนี้ไม่ใช่วัตถุประสงค์หลักของ Ollama มันไม่ได้ถูกออกแบบมาเป็นแอปแชทบอทหลัก ๆ; มันเป็นเครื่องมือสำหรับการรันและจัดการโมเดลภายในเครื่องที่คุณสามารถเข้าถึงผ่าน API ภายในเครื่องได้

ฉันสามารถรัน LLM แบบโลคอลบน Mac ของฉันโดยใช้ Ollama และให้แอปและบริการอื่น ๆ สื่อสารกับมันได้ ตัวอย่างเช่น ฉันสามารถใช้ LLM แบบโลคอลที่รันใน Ollama เป็นตัวแทนสนทนาใน Home Assistant ทำให้ผู้ช่วยเสียงของฉันมีความสามารถด้วย AI โดยที่ข้อมูลของฉันไม่ต้องออกจากบ้านเลย

AnythingLLM เหมาะสำหรับการทำงานกับเอกสาร

สร้างผู้ช่วยส่วนตัวสำหรับบันทึกและไฟล์ของคุณ

AnythingLLM เป็นอีกวิธีหนึ่งในการใช้ LLM ภายในเครื่อง จุดเน้นหลักของ AnythingLLM คือการช่วยให้คุณสร้างผู้ช่วยที่สามารถทำงานกับเอกสารและข้อมูลของคุณเอง ความสามารถหลักของมันรวมถึงการสร้างข้อมูลเสริมที่ดึงข้อมูลจากภายในเครื่อง (RAG) ซึ่งช่วยให้คุณสามารถอัปโหลดไฟล์ เช่น PDF, เอกสาร Word, ไฟล์ข้อความ และอื่น ๆ จากนั้นสนทนากับแชทบอทเกี่ยวกับเนื้อหาของไฟล์เหล่านั้น

ตัวอย่างเช่น ฉันได้อัปโหลดกฎของเกม Settlers of Catan แล้วจึงสามารถถามแชทบอตเกี่ยวกับคำถามต่าง ๆ เช่น ฉันจะได้กี่คะแนนชนะจากการมีทหารที่ใหญ่ที่สุด หรือฉันจะต้องใช้ทรัพยากรอะไรในการสร้างถนน และมันสามารถดึงข้อมูลจาก PDF ได้ ปัญหาคือ บนเครื่อง Mac ของฉัน การตอบสนองช้ามาก และนี่เป็นเพียงการค้นหาผ่าน PDF เดียวเท่านั้น หากมีเอกสารมากกว่านี้ มันจะกลายเป็นใช้งานไม่ได้อย่างรวดเร็วบนฮาร์ดแวร์ของฉัน

AnythingLLM สามารถใช้กับโมเดลที่อยู่บนคลาวด์ได้เช่นกัน และคุณสามารถผสมผสานโมเดลได้ เช่น ผมสามารถใช้ LLM ภายในเครื่องเพื่อแก้ไขข้อมูลส่วนบุคคลจากรายงานธนาคารของผม แล้วใช้โมเดลบนคลาวด์เพื่อวิเคราะห์มัน นอกจากนี้ยังมีความสามารถในการเก็บข้อมูลจากเว็บด้วย แม้ว่าตอนที่ผมพยายามให้มันหาข้อเสนอใหม่ ๆ ของเกมจาก Deku Deals มันก็พูดตรง ๆ เลยว่ามันทำไม่ได้

ยังมีผู้ช่วยแบบป๊อปอัพที่คุณสามารถเรียกใช้งานเมื่อใช้แอปใด ๆ ซึ่งจะถ่ายภาพหน้าจอของแอปที่คุณกำลังใช้อยู่เพื่อให้คุณสามารถถามคำถามเกี่ยวกับมันได้ บน MacBook Air ของฉัน มันช้าเกินกว่าจะใช้งานได้จริง ถ้าฉันมีฮาร์ดแวร์ที่ดีกว่านี้ ฉันก็จะเห็นว่า AnythingLLM อาจมีประโยชน์มาก แต่ Mac ของฉันไม่สามารถรับมือกับงานนี้ได้

ฉันจะยึดกับ Ollama

มันไม่ใช่ทางเลือกที่แท้จริงของ LM Studio

หลังจากให้ทั้งสามตัวนี้แข่งขันกันแล้ว ตัวที่ผมจะเลือกใช้คือ Ollama แม้ว่ามันอาจจะเป็นตัวที่แตกต่างจาก LM Studio มากที่สุดในแง่ของการโหลดโมเดลง่าย ๆ และเริ่มสนทนา แต่ก็เป็นตัวที่มีประโยชน์ที่สุดสำหรับสิ่งที่ผมต้องการ

มันให้คุณเข้าถึง API ของ LLM ได้โดยไม่ต้องเสียค่าใช้จ่าย ในขณะที่ฉันสามารถใช้โมเดลที่เบา ๆ ได้ แต่ก็ยังสามารถทำงานบางอย่างที่มีประโยชน์ได้ ตัวอย่างเช่น ฉันสามารถใช้มันในระบบอัตโนมัติของ n8n เพื่อทำความสะอาดข้อมูลที่ฉันส่งไปยังระบบอัตโนมัตก่อนที่จะถูกส่งไปยังฐานข้อมูล Notion โดยไม่ต้องกังวลว่าข้อมูลของฉันจะรั่วไหลออกไปนอกเครือข่ายท้องถิ่น

โมเดลภาษาขนาดใหญ่ท้องถิ่นเป็นพรด้านความเป็นส่วนตัว

ถ้าคุณมีฮาร์ดแวร์เพียงเล็กน้อย โมเดลภาษาในเครื่องของคุณจะไม่สามารถเทียบประสิทธิภาพกับโมเดลภาษาบนคลาวด์ที่ได้รับความนิยมได้ อย่างไรก็ตาม สิ่งที่คุณเสียไปในด้านพลังงาน คุณจะได้ในด้านความเป็นส่วนตัว