โหมดไม่มีหัวใหม่ของ LM Studio เปลี่ยนคอมพิวเตอร์เก่าใด ๆ ให้กลายเป็นเซิร์ฟเวอร์ AI ส่วนตัว

ฉันเคยหวังว่าฉันจะมีซูเปอร์คอมพิวเตอร์ที่ยอดเยี่ยมเพื่อที่ฉันจะได้รัน AI ของตัวเอง แต่แล้วฉันก็พบว่าฉันไม่จำเป็นต้องมีเหมือนนั้น เช่นเดียวกับโครงการ DIY อื่น ๆ คุณสามารถสร้างเซิร์ฟเวอร์ด้วยสิ่งที่คุณมีอยู่แล้ว; คุณแค่ต้องคิดนอกกรอบ ถ้าคุณมีคอมพิวเตอร์สำรอง สามารถหามาได้ หรือซื้อได้ในราคาถูก คุณก็จะใกล้ก้าวหนึ่งสู่การมีเซิร์ฟเวอร์ AI สิ่งที่ดียิ่งขึ้นคือ LM Studio ถูกสร้างขึ้นเพื่อทำให้เรื่องนี้ง่ายขึ้นสำหรับคุณ

คุณสามารถทำให้ประสิทธิภาพดีเยี่ยมจากอุปกรณ์ราคาถูกได้

ฉันไม่ได้ใช้เงินเลยก่อนที่จะทำสิ่งนี้

การตั้งค่าเซิร์ฟเวอร์ AI ส่วนตัวมักฟังดูเหมือนเป็นโครงการที่ต้องใช้งบประมาณสูง แต่ AI ไม่จำเป็นต้องแพง ซอฟต์แวร์สามารถทำงานได้ดีบนฮาร์ดแวร์ราคาถูกเพราะมันจัดการทรัพยากรของระบบได้ดีมากโดยให้คุณสามารถย้ายการประมวลผลไปยัง CPU เก่าหรือกราฟิกในตัว เมื่อคุณใช้ daemon แบบไม่มีหน้าต่างชื่อว่า llmster คุณจะรันเครื่องยนต์โมเดลภาษาหลักโดยไม่ต้องใช้อินเทอร์เฟซกราฟิก

สิ่งนี้ช่วยให้หน่วยความจำของระบบและรอบการประมวลผลสามารถใช้ไปกับงานจริงในการสร้างข้อความได้ คุณไม่จำเป็นต้องใช้เงินหลายพันดอลลาร์เพื่อซื้อคอมพิวเตอร์ใหม่เพื่อให้ได้สภาพแวดล้อมส่วนตัว แทนที่จะซื้อการ์ดกราฟิกเฉพาะที่มีประสิทธิภาพสูง คุณสามารถพึ่งพาฮาร์ดแวร์เก่า ๆ เครื่องของฉันราคา 200 ดอลลาร์สามารถรันโมเดล Qwen2.5-Coder-3B ได้ เพราะซอฟต์แวร์ไม่ต้องใช้ทรัพยากรมากในการทำงาน ซอฟต์แวร์สามารถทำงานร่วมกับการตั้งค่าต่าง ๆ ได้มากมายเพราะถูกสร้างขึ้นมาให้รันบนโปรเซสเซอร์ปกติและกราฟิกแบบรวม

ฉันซื้อคอมพิวเตอร์ของฉันมาหลายปีแล้ว และมันก็เก่าอยู่แล้วตั้งแต่แรก ดังนั้นคุณน่าจะเอาชนะเครื่องของฉันได้ด้วย Raspberry Pi ใดๆ โมเดล Qwen2.5-Coder-3B เป็นตัวเลือกที่ดีสำหรับงานเขียนโปรแกรม และขนาดของมันเหมาะกับเครื่องที่มีแรมจำกัด ด้วยการควอนไทซ์แบบสี่บิต ไฟล์โมเดลจะหดเหลือประมาณสองกิกะไบต์ ซึ่งหมายความว่ามีพื้นที่เหลือเพียงพอสำหรับหน้าต่างคอนเท็กซ์ของคุณโดยไม่ทำให้ระบบล่ม

มันไม่จำเป็นต้องใช้ GPU เฉพาะเพื่อให้คุณได้ความเร็วตอบสนองที่ดีสำหรับงานเขียนโค้ด คุณจะได้การสร้างโทเค็นที่เสถียรซึ่งสามารถทำงานได้เร็วกว่าความเร็วการอ่านธรรมชาติของคุณ ทำให้มันเป็นผู้ช่วยที่ดีในการร่างฟังก์ชัน อธิบายตรรกะ หรือจับข้อผิดพลาดทางไวยากรณ์ หากคุณตัดสินใจใช้พีซีเก่าของคุณ หนึ่งสิ่งที่ต้องคำนึงคือคุณจะไม่สามารถใช้มันเพื่ออย่างอื่นได้ตราบใดที่มันทำหน้าที่เป็นเซิร์ฟเวอร์ของคุณ

นี่เป็นการตัดสินใจที่ค่อนข้างร้ายแรง เมื่อฉันตัดสินใจที่จะทำสิ่งนี้ ฉันแน่ใจแล้วว่ารออย่างน้อยไม่กี่วันหลังจากเลือกคอมพิวเตอร์ที่จะใช้สำหรับเซิร์ฟเวอร์ แบบนั้นจะไม่มีความเสียดาย

คุณสามารถรันเซิร์ฟเวอร์ที่เงียบในเบื้องหลังได้

คุณไม่จำเป็นต้องเป็นแฮกเกอร์เพื่อที่จะมีเซิร์ฟเวอร์

การตั้งค่าอุปกรณ์ฮาร์ดแวร์เก่าของคุณให้ทำงานเป็นโปรเซสเซอร์พื้นหลังเฉพาะเริ่มต้นด้วยการได้ซอฟต์แวร์ที่ถูกต้อง คุณจำเป็นต้องดาวน์โหลดเวอร์ชันที่ถูกต้องของ LM Studio สำหรับระบบปฏิบัติการที่คุณใช้อยู่ เช่น Windows, macOS หรือ Linux แค่ให้แน่ใจว่าระบบปฏิบัติการที่คุณมีนั้นมีน้ำหนักเบาเพราะคุณไม่จำเป็นต้องใช้พื้นที่ CPU ที่สำคัญ

ถ้าคุณต้องการเวอร์ชันเก่าสำหรับพีซีของคุณ พวกมันไม่ได้ยากที่จะจัดการ ผมเองลองใช้สามเวอร์ชันก่อนที่จะยึดติดกับเวอร์ชันหนึ่ง นอกจากนี้ ให้แน่ใจว่าคุณมีวิธีการเชื่อมต่อพร้อมแล้ว

เมื่อคุณติดตั้งแอปพลิเคชันบนเครื่องเป้าหมายแล้ว คุณสามารถเปิดมันเพื่อค้นหาควบคุมเซิร์ฟเวอร์ได้ ควบคุมเหล่านี้อยู่ในแท็บนักพัฒนาหรือแท็บเซิร์ฟเวอร์ท้องถิ่น ขึ้นอยู่กับเวอร์ชันของแอปพลิเคชันของคุณ พื้นที่นี้เป็นที่ที่คุณจัดการกระบวนการเบื้องหลังที่จะเปลี่ยนฮาร์ดแวร์ให้เป็นเครื่องเฉพาะสำหรับงานประจำวันของคุณ และยังเป็นที่ที่คุณสามารถโหลดโมเดลที่ต้องการและเตรียมระบบให้รับคำขอนอกได้ คุณจะควบคุมสภาพแวดล้อมท้องถิ่นได้เต็มที่โดยไม่ต้องจ่ายค่าบริการคลาวด์ราคาแพง

เป้าหมายหลักที่นี่คือให้เครื่องจักรทำงานได้ด้วยตัวเองทั้งหมด การเปิดโหมด headless จะทำให้เครื่องจักรทำงานอยู่เบื้องหลังโดยไม่ต้องมีหน้าจอหรือคีย์บอร์ดต่ออยู่ ไม่ต้องกังวล เพราะยังมีตัวเลือกให้กลับเข้าไปแก้ไขสิ่งที่จำเป็นได้เสมอ

แอปพลิเคชันเดสก์ท็อปมีการตั้งค่าที่คุณสามารถเปิดหรือปิดเพื่อให้เซิร์ฟเวอร์ทำงานโดยอัตโนมัติเมื่อเครื่องเข้าสู่ระบบ เมื่อคุณทำเครื่องหมายในช่องนี้ หากคุณปิดแอปพลิเคชันหลัก มันจะย่อไปที่ถาดระบบในขณะที่บริการเบื้องหลังยังคงทำงานอยู่ คุณจะได้เซิร์ฟเวอร์เฉพาะที่ไม่รบกวนการทำงานของคุณ

อย่ากลัวที่จะทดลอง

คุณต้องการการตั้งค่าที่สร้างขึ้นมาเพื่อคุณโดยเฉพาะ

มีทางเลือกหนึ่งที่ฉันชอบใช้ ซึ่งก็คือ GPT4All มันมีข้อจำกัดน้อยกว่ามากและไม่รกมาก อย่างไรก็ตาม การขาดข้อจำกัดนั้นสมมติว่าคุณรู้ว่ากำลังทำอะไรอยู่ แม้ว่านี่จะเป็นวิธีที่ดีในการรู้สึกอิสระ แต่ควรทำในวิธีที่ถูกต้องก่อนแล้วค่อยทดลองจากตรงนั้น

นอกจากนี้ยังมีเดมอนแบบสแตนด์อโลนที่เรียกว่า llmster ซึ่งทำงานอย่างอิสระโดยไม่พึ่งพาอินเทอร์เฟซกราฟิก คุณสามารถตั้งค่าเดมอนนี้ให้เริ่มทำงานโดยอัตโนมัติเมื่อคอมพิวเตอร์เปิดเครื่อง ดังนั้นนี่จึงเป็นวิธีที่ดีในการจัดการเครื่องที่เก็บไว้ในตู้หรือชั้นใต้ดิน คุณสามารถปล่อยให้ฮาร์ดแวร์ทำงานต่อเนื่องโดยไม่ต้องใช้สภาพแวดล้อมเดสก์ท็อปแบบมองเห็นได้

โดยพื้นฐานแล้ว คุณสามารถเชื่อมต่อแล็ปท็อปหลักของคุณกับเซิร์ฟเวอร์และรับความช่วยเหลือในการเขียนโค้ดโดยไม่ต้องใช้ RAM ของคุณเอง คอมพิวเตอร์หลักของคุณยังคงเร็วเพราะคอมพิวเตอร์รองทำการคำนวณหนักทั้งหมด นี่คือวิธีที่ฉันตั้งค่าด้วยตัวเอง คุณสามารถตั้งค่า plugin ของตัวแก้ไขโค้ดเช่น Continue ให้เชื่อมต่อโดยตรงกับ endpoint ใหม่นี้ ทำให้คุณได้รับคำแนะนำการเติมเต็มอัตโนมัติและการตอบสนองแบบแชทภายในเครือข่ายท้องถิ่นของคุณเอง การเก็บโมเดลแบบออฟไลน์หมายความว่าไม่มีโค้ดแหล่งใดส่งไปยังผู้ให้บริการคลาวด์ภายนอก ซึ่งช่วยให้โครงการของคุณเป็นส่วนตัวและหลีกเลี่ยงค่าบริการสมัครสมาชิกรายเดือน

คุณเพียงแค่ต้องระมัดระวังทรัพยากรของระบบของคุณให้ดี การปรับที่สำคัญที่สุดที่คุณสามารถทำได้คือการตั้งค่าหน้าต่างบริบทที่เล็กลงสำหรับโมเดลของคุณ หน้าต่างบริบทกำหนดว่ามีประวัติการสนทนาและโค้ดมากแค่ไหนที่โมเดลสามารถจำได้ในครั้งเดียว เมื่อคุณเพิ่มความยาวบริบท แคชนี้จะเติบโตแบบเชิงเส้นและใช้ VRAM ที่มีอยู่ของคุณอย่างรวดเร็ว หากแคชเกินขีดจำกัดของการ์ดกราฟิกของคุณและล้นไปยังหน่วยความจำมาตรฐานของระบบ ระบบทั้งหมดจะทำงานช้าลง และความเร็วในการสร้างผลลัพธ์จะลดลงมาก

โดยการจำกัดหน้าต่างบริบทไว้เฉพาะสิ่งที่คุณต้องการสำหรับไฟล์หรือฟังก์ชันเฉพาะ คุณจะช่วยให้การใช้หน่วยความจำต่ำและหยุดความเร็วในการสร้างไม่ให้ลดลง

ปัญญาประดิษฐ์ไม่ได้มีไว้เพียงแค่สำหรับบริษัทเทคโนโลยีขนาดใหญ่

คุณไม่จำเป็นต้องใช้เงินจำนวนมากเมื่อคุณต้องการเซิร์ฟเวอร์ แม้แต่สำหรับ AI สิ่งที่คุณต้องมีคือคอมพิวเตอร์เก่าบางเครื่อง หรือต้องหาเจอระหว่างการต่อรองราคา ฉันไม่ต้องเสียเงินเลยกับพีซีทำงานที่ตอนนี้สามารถรัน LLM ได้อย่างง่ายดาย เพราะฉันมีเครื่องสำรองวางอยู่ เมื่อคุณทำเสร็จแล้ว คุณจะดีใจที่พีซีของคุณไม่จำเป็นต้องรันโปรแกรมเหล่านี้เองอีกต่อไป