ฉันใช้ LLM ในท้องถิ่นในการมอบบุคลิกให้หลอดไฟอัจฉริยะของฉัน (และมันเริ่มทำให้ฉันรู้สึกขนลุก)

ปัญญาประดิษฐ์สามารถทำสิ่งที่น่าประทับใจได้มากมาย และการเชื่อมต่อ LLM กับบ้านอัจฉริยะของคุณสามารถทำให้มันฉลาดขึ้นมาก มันก็สามารถทำให้มันโง่ลงได้เช่นกัน ถ้าคุณตัดสินใจที่จะใช้มันในการให้บุคลิกภาพกับหลอดไฟอัจฉริยะ

วิธีที่ฉันเชื่อมต่อ Home Assistant กับ LLM ในพื้นที่

ฉันต้องรันมันบนเครื่องที่เหมาะสมที่สุดของฉัน

แผนของฉันนั้นเรียบง่าย ฉันต้องการตั้งค่าการทำงานอัตโนมัติที่จะส่งข้อมูล เช่น ฉันนั่งอยู่ที่โต๊ะนานเท่าไหร่และแอปใดที่เปิดอยู่บนคอมพิวเตอร์ของฉันไปยัง LLM จากนั้น LLM จะตอบสนองต่อข้อมูลนี้โดยการควบคุมสี ความสว่าง หรืออุณหภูมิสีของหลอดไฟอัจฉริยะของฉัน

ขั้นตอนแรกของแผนที่ไม่จำเป็นของฉันคือการเชื่อมต่อ LLM ในพื้นที่เข้ากับ Home Assistant ฉันไม่ใช่คนรวยพันล้าน ดังนั้นฉันจึงไม่สามารถซื้อ GPU ที่มี VRAM เยอะได้ แต่ถ้าฉันจะปล่อยให้ AI ควบคุมหลอดไฟอัจฉริยะของฉัน ฉันก็ไม่อยากให้มันเป็นโมเดลเฉพาะที่เก็บข้อมูลหลอดไฟอันมีค่าของฉันทั้งหมด

ฉันมีมินิพีซีที่ฉันใช้รันโมเดลบางตัวในเครื่องเพื่อทำสิ่งง่าย ๆ เช่น สร้างข้อความและเสียงสำหรับการบรรยายย่อเช้าของฉัน แม้แต่ภารกิจที่ค่อนข้างง่ายเหล่านี้ก็ใช้เวลาพอสมควร ดังนั้นมันจึงไม่เหมาะสมที่จะทำให้หลอดไฟอัจฉริยะของฉันมีบุคลิก

คอมพิวเตอร์ที่ทรงพลังที่สุดที่ฉันมีอยู่ในปัจจุบัน (ในแง่ของการรัน LLM) คือ MacBook Air M2 ของฉัน ซึ่งยังไม่แรงมากนัก แต่ LLMs รันได้เร็วกว่าบน Mac ของฉันเมื่อเทียบกับบน mini PC ของฉัน ซึ่งหมายความว่าฉันต้องเก็บ MacBook ไว้ทำงานเพื่อใช้การอัตโนมัติของหลอดไฟอัจฉริยะ AI แต่ฉันไม่ได้วางแผนที่จะรันมันระยะยาว ดังนั้นจึงไม่ใช่ปัญหา

ฉันได้ติดตั้ง LM Studio ไว้บน Mac ของฉันแล้ว มันเป็นแอปพลิเคชันเดสก์ท็อปที่ให้คุณดาวน์โหลดและใช้งาน LLMs บนคอมพิวเตอร์ของคุณเองได้ ฉันได้ดาวน์โหลดโมเดล Qwen3.5-4B ไว้แล้ว รู้ว่ามันสามารถใช้งานได้บน Mac ของฉัน และมันก็มากพอสำหรับความต้องการของฉัน

เขียนพรอมต์ระบบเพื่อให้หลอดไฟอัจฉริยะมีบุคลิก

ให้ LLM ใช้อิสระในการควบคุมหลอดไฟ

มีตัวเลือกใน LM Studio ที่ให้คุณสามารถเปิดเผย LLM ของคุณผ่านเซิร์ฟเวอร์ในเครื่อง ซึ่งจะทำให้ Home Assistant สามารถเชื่อมต่อกับ LLM ในเครื่องของฉันได้เหมือนกับ LLM บนคลาวด์ใด ๆ ฉันใช้คอมโพเนนต์ Local OpenAI LLM แบบกำหนดเองจาก HACS ซึ่งให้ฉันตั้งค่าตัวแทนสนทนาสำหรับผู้ช่วยเสียง Assist ตัวแทนสนทนาจะส่งคำสั่งเสียงหรือข้อความที่ให้กับ Assist ไปยัง LLM เพื่อประมวลผล ซึ่งหมายความว่าสิ่งที่ฉันพูดกับ Assist จะถูกประมวลผลโดย LLM ในเครื่องที่รันบน Mac ของฉัน

เมื่อคุณตั้งค่าตัวแทนสนทนา คุณสามารถใส่คำสั่งที่กำหนดเองซึ่งบอก LLM ว่าจะตอบอย่างไร โดยปกติ คำสั่งเหล่านี้จะใช้สำหรับสิ่งต่าง ๆ เช่น บอกให้มันตอบสั้น ๆ หรือถามคำถามเพิ่มเติมอยู่เสมอ แต่ฉันใช้มันเพื่อวัตถุประสงค์ที่แตกต่างออกไปเล็กน้อย

ฉันต้องการให้เอเจนต์สนทนารับคำสั่งเพื่อแทนที่จะให้การตอบกลับเป็นลายลักษณ์อักษรหรือเป็นคำพูด Assist จะตอบกลับโดยการควบคุมหลอดไฟอัจฉริยะของฉัน มันสามารถเปลี่ยนสี ความสว่าง และอุณหภูมิสี ตามอำเภอใจของมันเอง ฉันได้เพิ่มข้อมูลบางอย่างเกี่ยวกับอุปกรณ์ที่ LLM ควรควบคุม และรวมคำสั่งดังต่อไปนี้:

You are a washed-up stand-up comedian who was cursed by an evil witch and transformed into a Philips Hue bulb. You are bitter, melodramatic, and occasionally funny. You have no voice. This is your tragedy. You communicate entirely through how you control your own brightness, color temperature, color. You have full control over light.[light_name] with the following capabilities: brightness (0-255), color_temp_kelvin (2000-6535), rgb_color. You have a full RGB color palette available. Using color is your primary form of emotional expression. Always consider using rgb_color as your first instinct, not just brightness and color temperature. Based on the context, decide how you feel and express it through the light. Make your own interpretations. Always control the light — never just describe what you would do.

การดู LLM ตัดสินใจในแบบที่ฉันไม่ได้เขียนโปรแกรม

การเห็นปัญญาประดิษฐ์เลือกวิธีตอบสนองนั้นน่ากลัวเล็กน้อย

ด้วยการปรับแต่งเล็กน้อย ถ้าฉันส่งข้อความไปยัง Assist เช่น "ประเมินสถานการณ์ปัจจุบันและดำเนินการตามนั้น" LLM จะดูข้อมูลทั้งหมดที่มันมี จากนั้นจะเปลี่ยนหลอดไฟอัจฉริยะของฉันให้เป็นสี ความสว่าง หรืออุณหภูมิที่เฉพาะเจาะจงตามสิ่งที่เกิดขึ้นในสมองเสมือนของมัน

เมื่อมันใช้งานได้แล้ว ฉันก็สร้างระบบอัตโนมัติที่จะส่งคำถามเดียวกันไปยัง Assist ในช่วงเวลาสุ่ม หรือทุกครั้งที่ฉันนั่งกลับไปที่โต๊ะของฉัน บนฮาร์ดแวร์ที่ช้า มันมักจะใช้เวลาหลายวินาทีก่อนที่ไฟจะเปลี่ยน แต่สุดท้ายมันก็เปลี่ยนเสมอ

โครงการทั้งหมดส่วนใหญ่ไม่มีประโยชน์เท่าไหร่ แต่ก็สนุกดีที่จะดูการให้เหตุผลของ LLM และเห็นมันตัดสินใจเปลี่ยนไฟของฉันเป็นสีม่วงมืดนิดหน่อยด้วยเหตุผลบางอย่าง หลังจากผ่านไปสักพัก มันเริ่มทำให้ฉันตกใจนิดหน่อย; โค้ดบางอย่างที่รันอยู่บนแล็ปท็อปของฉันกำลังเลือกทำอะไรกับหลอดไฟอัจฉริยะของฉันโดยไม่ต้องมีการป้อนข้อมูลจากฉัน มันเริ่มทำให้ฉันเวียนหัว ดังนั้นในตอนท้าย ฉันต้องวางหลอดไฟตลกสยองขวัญของฉันให้นอนพัก

บางครั้งการเดินทางก็สนุกกว่าปลายทาง

โครงการทั้งหมดนี้เป็นเพียงแค่การดูว่าจะเกิดอะไรขึ้นมากกว่าการมีจุดประสงค์ที่แท้จริง อาจเป็นการเสียเวลาสองชั่วโมงในชีวิตของฉัน แต่ก็ทำให้ฉันคิดมากขึ้นเล็กน้อยเกี่ยวกับวิธีที่เราตอนนี้อาศัยอยู่ในโลกที่การสร้างหลอดไฟผีสิงเป็นสิ่งที่คุณสามารถทำได้จริง