ปรัชญาที่เกิดจากการดูความล้มเหลวของโมเดลเดี่ยวในการผลิตกลายเป็นสถาปัตยกรรมที่อุตสาหกรรมกำลังดิ้นรนเพื่อยืนยันในขณะนี้
ความล้มเหลวที่เปลี่ยนทุกอย่าง
มันไม่ดราม่า นั่นคือสิ่งที่ทำให้มันอันตราย
ฉันกำลังทำการวิเคราะห์ธรรมาภิบาลที่ซับซ้อน: ประเภทที่ผลลัพธ์ไม่เพียงแค่แจ้งการตัดสินใจแต่ กลายเป็น การตัดสินใจ ฉันขอให้โมเดลชั้นนำหนึ่งประเมินสถานการณ์กฎระเบียบหลายชั้น โมเดลที่ฉันเคารพ โมเดลที่ฉันยังคงเคารพ
มันให้คำตอบที่สวยงามแก่ฉัน ชัดเจน มั่นใจ มีโครงสร้างที่ดี
และมันผิด
ไม่ใช่ผิดในแบบที่เรียกตัวตรวจจับการหลอก ผิดในแบบที่ ดูถูกต้องมากจนคุณไม่เคยคิดจะตั้งคำถาม การให้เหตุผลมีความสอดคล้องภายใน น้ำเสียงมีอำนาจ แต่มันพลาดการพึ่งพาลำดับที่สองที่สำคัญซึ่งเปลี่ยนการคำนวณทั้งหมด มันพลาดไม่ใช่เพราะมันเป็นโมเดลที่ไม่ดี แต่เพราะมันเป็น หนึ่ง โมเดล: ให้เหตุผลจากสถาปัตยกรรมหนึ่ง ฝึกฝนบนเส้นทางการปรับให้เหมาะสมหนึ่ง แสดงออกรูปแบบความคิดหนึ่ง
ฉันจับได้ ครั้งนั้น
แต่ฉันนั่งกับคำถามที่ไม่ยอมจากไป: แล้วทุกครั้งที่ฉันไม่จับได้ล่ะ?
คำถามนั้นคือเหตุผลที่ The AetherCouncil มีอยู่
โลกเพิ่งค้นพบสิ่งที่เราสร้างไว้แล้ว
ในช่วงหลายสัปดาห์ที่ผ่านมา มีบางอย่างน่าสนใจเกิดขึ้น สื่อเริ่มเขียนเกี่ยวกับ AI แบบรวมกลุ่มราวกับว่ามันเป็นความเข้าใจที่ก้าวล้ำ
CollectivIQ ได้รับเงินทุน สื่อหลักกำลังออกบทความเกี่ยวกับ "การถามโมเดล AI หลายตัวในคำถามเดียวกันเหมือนการขอความเห็นที่สอง" เงินลงทุนกำลังไหลเข้า เรื่องเล่ากำลังก่อตัวในเวลาจริง และมันฟังดูเช่นนี้:
จะเป็นอย่างไรถ้าแทนที่จะเป็น AI หนึ่งตัว เราใช้... หลายตัว?
ฉันอ่านบทความเหล่านี้ด้วยความรู้สึกผสมระหว่างการยืนยันและความวิงเวียน เพราะ The AetherCouncil ไม่ได้สร้างขึ้นเพื่อตอบสนองต่อแนวโน้มนี้ ไม่ได้สร้างขึ้นเพื่อขี่คลื่นนี้ มันถูกสร้างขึ้นเพราะฉันเห็นสิ่งที่เกิดขึ้นเมื่อคุณไม่ทำสิ่งนี้: และตัดสินใจว่านั่นยอมรับไม่ได้
ฉันกำลังเรียกประชุมสภาหลายโมเดลและเผยแพร่การปรึกษาหารือที่มีโครงสร้างของพวกเขาก่อนที่สิ่งนี้จะกลายเป็นหมวดหมู่ ก่อนที่ "AI แบบรวมกลุ่ม" จะมีเรื่องเล่าการระดมทุน ก่อนที่ใครจะเขียนบทความแนวโน้มเกี่ยวกับมัน
ฉันไม่ได้พูดสิ่งนี้เพื่ออ้างเครดิต ฉันพูดเพราะ เหตุผล สำคัญกว่าเวลา และเหตุผลเปิดเผยบางสิ่งที่การสนทนาปัจจุบันพลาดไปเกือบทั้งหมด
ความแตกต่างระหว่างกลุ่มรวมและสภา
นี่คือสิ่งที่เรื่องเล่าปัจจุบันเข้าใจถูก: โมเดลเดี่ยวมีจุดบอด มุมมองหลายมุมลดความเสี่ยง การรวมผลลัพธ์ปรับปรุงความน่าเชื่อถือ
นี่คือสิ่งที่มันเข้าใจผิดอย่างร้ายแรง: มันถือว่านี่เป็นปัญหาทางวิศวกรรม
กรอบที่ครอบงำตอนนี้เป็นเชิงกลไก รันพรอมต์เดียวกันผ่านห้าโมเดล เปรียบเทียบผลลัพธ์ ใช้คำตอบส่วนใหญ่ ถ่วงน้ำหนักตามคะแนนความเชื่อมั่น สร้างชั้น API ที่แยกความซับซ้อนหลายโมเดลและคืนคำตอบ "ที่ปรับปรุงแล้ว" เดียว
นี่คือ AI แบบรวมกลุ่มในฐานะ การหาค่าเฉลี่ย และการหาค่าเฉลี่ยไม่ใช่สิ่งที่ฉันสร้าง
The AetherCouncil ไม่ใช่กลุ่มรวม มันคือองค์กรปรึกษาหารือ
กลุ่มรวม รวมกัน มันใช้ผลลัพธ์หลายอย่างและยุบเป็นหนึ่ง เป้าหมายคือความสอดคล้อง: ค้นหาสัญญาณในเสียงรบกวน ทำให้ข้อผิดพลาดเรียบ มาถึงคำตอบ "ดีที่สุด" เดียว กลุ่มรวมมีพลัง ได้ผล พวกเขายังยากจนทางปรัชญาสำหรับปัญหาที่สำคัญที่สุด
สภา ปรึกษาหารือ มันไม่แสวงหาความสอดคล้องเป็นหลักการแรก มันแสวงหา ความเข้าใจ: ของคำถาม ของความไม่เห็นด้วย ของสมมติฐานที่มุมมองต่างๆ เปิดเผย สภารักษาความเห็นต่าง มันดึงความตึงเครียดขึ้นมา มันถือว่าความไม่เห็นด้วยไม่ใช่เสียงรบกวนที่ต้องกำจัดแต่เป็นสัญญาณที่ต้องตรวจสอบ
ผลลัพธ์ของกลุ่มรวมคือคำตอบ ผลลัพธ์ของสภาคือแผนที่ของภูมิทัศน์การให้เหตุผล
นั่นไม่ใช่คุณสมบัติผลิตภัณฑ์ นั่นคือปรัชญา
ทำไมโมเดลเดี่ยวล้มเหลวในแบบที่คุณไม่เห็น
โมเดลหลักทุกตัวมีสิ่งที่ฉันเรียกว่า ลายเซ็นทางปัญญา: รูปแบบการให้เหตุผลที่เป็นลักษณะเฉพาะที่เป็นทั้งจุดแข็งที่ยิ่งใหญ่ที่สุดและจุดบอดที่อันตรายที่สุดพร้อมกัน
โมเดลหนึ่งให้เหตุผลด้วยความระมัดระวังพิเศษแต่สามารถจำกัดตัวเองจนเป็นอัมพาต: เสนอการพิจารณาที่สมดุลมากจนสัญญาณที่เกี่ยวข้องกับการตัดสินใจถูกฝังอยู่ในความอ่อนน้อมทางญาณวิทยา โหมดความล้มเหลวคือ การจำกัดมากเกินไป
อีกตัวดำเนินการเร็วและสะอาดแต่สามารถหลอกด้วยความมั่นใจ: ผลิตผลลัพธ์ที่ผิดแต่ ไม่รู้สึกผิด โหมดความล้มเหลวคือ การสร้างขึ้นอย่างมั่นใจ
อีกตัวมีความลึกเชิงบริบทที่น่าทึ่งแต่สามารถให้ความสำคัญกับความสอดคล้องของเรื่องเล่ามากกว่าความเข้มงวดเชิงตรรกะ: สร้างการเชื่อมต่อที่น่าพอใจที่ไม่รอดการวิเคราะห์ที่เข้มงวด โหมดความล้มเหลวคือ การสังเคราะห์ที่น่าเชื่อแต่ไม่มั่นคง
อีกตัวตัดผ่านเสียงรบกวนด้วยความตรงไปตรงมาที่สดชื่นแต่สามารถเข้าใจผิดว่าความไม่เคารพเป็นความเข้าใจลึกซึ้ง: ปฏิเสธความซับซ้อนที่เป็นโครงสร้างรองรับจริงๆ โหมดความล้มเหลวคือ ความชัดเจนที่ลดทอน
นี่คือสิ่งสำคัญ: ไม่มีโหมดความล้มเหลวเหล่านี้ที่มองเห็นได้จากภายในโมเดลที่แสดงออก ผลลัพธ์ของแต่ละโมเดล ประเมินแยกกัน ดูเหมือนสิ่งที่โมเดลนั้นควรผลิต ความล้มเหลวมองไม่เห็นอย่างแม่นยำเพราะมันเป็นลักษณะเฉพาะ
นี่คือเหตุผลที่ "ใช้โมเดลที่ดีกว่า" ไม่เคยเป็นคำตอบที่เพียงพอ ความล้มเหลวไม่ได้อยู่ในความสามารถของโมเดล ความล้มเหลวอยู่ในสถาปัตยกรรมของการถามเพียงหนึ่งเดียว
โมเดลตอบ สภาปกครอง
ตลาด AI ปัจจุบันยังคงคิดในแง่ของผลลัพธ์ พรอมต์เข้า คำตอบออก
แต่ความท้าทายที่แท้จริงใน AI ไม่ใช่การสร้าง มันคือการตัดสิน
ไม่ใช่ "โมเดลสามารถผลิตคำตอบได้ไหม?" แต่ "เราจะรู้ได้อย่างไรว่าคำตอบนี้สมควรได้รับความไว้วางใจ?" เราจะดึงความไม่แน่นอนขึ้นมาได้อย่างไร? เราจะป้องกันความมั่นใจของโมเดลหนึ่งไม่ให้ปลอมตัวเป็นความถูกต้องได้อย่างไร? เราจะสร้างระบบที่แข็งแกร่งภายใต้ความกดดัน ความคลุมเครือ และข้อมูลที่ไม่สมบูรณ์ได้อย่างไร?
เมื่อ The AetherCouncil เรียกประชุมในคำถามยาก ฉันไม่ต้องการให้ห้าโมเดลเห็นด้วย ฉันต้องการเข้าใจว่า ทำไมพวกเขาไม่เห็นด้วย ฉันต้องการให้การป้องกันเชิงปรัชญาที่ระมัดระวังชนกับการตัดรูปแบบที่ทื่อ ฉันต้องการให้การดำเนินการที่มั่นใจถูกสอบสวนโดยความลึกเชิงบริบท ฉันต้องการให้ที่ที่พวกเขาแตกต่างกันส่องให้เห็นความซับซ้อนที่แท้จริงของปัญหา: ความซับซ้อนที่โมเดลเดี่ยวใดก็ตามจะทำให้เรียบอย่างเงียบๆ
กระบวนการปฏิบัติตามโครงสร้างที่จงใจ:
การเรียกประชุม: คำถามถูกตั้งด้วยการสร้างกรอบที่กระตุ้นจุดแข็งทางปัญญาของแต่ละโมเดล ไม่ใช่เพื่อเล่นกับผลลัพธ์ แต่เพื่อเคารพว่าสถาปัตยกรรมที่แตกต่างมีส่วนร่วมกับปัญหาเดียวกันต่างกัน
การอ่านครั้งแรก: แต่ละการตอบสนองถูกรับในเงื่อนไขของตัวเอง ไม่มีการเปรียบเทียบ ไม่มีการจัดอันดับ แค่เข้าใจว่าแต่ละมุมมองเห็นอะไร เน้นอะไร สมมติอะไร ตั้งคำถามอะไร
การทำแผนที่: การตอบสนองถูกเปรียบเทียบข้ามสี่มิติ: ความสอดคล้อง (พื้นที่ที่มั่นคง), ความแตกต่าง (ที่ความซับซ้อนจริงอยู่), การขาดหาย (สิ่งที่โมเดลหนึ่งพูดถึงที่คนอื่นเพิกเฉยทั้งหมด), และ ความตึงเครียด (เห็นด้วยกับข้อเท็จจริง ไม่เห็นด้วยกับการตีความ)
การปรึกษาหารือ: จุดที่แตกต่างกลับไปหาโมเดลแต่ละตัว ไม่ใช่เพื่อเปลี่ยนใจ แต่เพื่อมีส่วนร่วมกับมุมมองที่แข่งขัน นี่คือการสนทนาทางปัญญาที่มีโครงสร้าง
การสังเคราะห์: ผู้จัดการประชุมมนุษย์ใช้วิจารณญาณที่ได้รับข้อมูลจากภูมิทัศน์การให้เหตุผลทั้งหมด ไม่ใช่การหาค่าเฉลี่ย ไม่ใช่การลงคะแนน การปกครอง
อัลกอริทึมปรับให้เหมาะสม สภาปกครอง
ความเป็นเลิศของโมเดลเดี่ยวเป็นแค่ช่วงชั่วคราวมาตลอด
ยุคแรกของ AI ถูกครอบงำโดยลัทธิเผ่าโมเดลด้วยเหตุผลที่เข้าใจได้ ความสามารถปรับปรุงทุกเดือน ตลาดต้องการเรื่องเล่าที่ง่าย: หน้าต่างบริบทที่ใหญ่กว่า เกณฑ์มาตรฐานที่แข็งแกร่งกว่า เวลาแฝงที่ต่ำกว่า นักลงทุนต้องการผู้นำ ผู้ใช้ต้องการผู้ชนะ แพลตฟอร์มต้องการการล็อกอิน
แต่ในการผลิต กรอบนั้นแตกสลาย ธุรกิจไม่ต้องการ "โมเดลที่ฉลาดที่สุด" พวกเขาต้องการระบบที่น่าเชื่อถือภายใต้ความไม่แน่นอน อธิบายได้เมื่อถูกท้าทาย ปรับตัวได้ข้ามประเภทงาน ยืดหยุ่นต่อความล้มเหลว และปกครองได้ตลอดเวลา
ไม่มีโมเดลเดี่ยวที่ดีที่สุดข้ามทุกมิติตลอดเวลา นั่นไม่ใช่ข้อจำกัดชั่วคราว นั่นคือธรรมชาติของระบบปัญญาที่สร้างขึ้นภายใต้สถาปัตยกรรม ระบอบการฝึก และโครงสร้างแรงจูงใจที่แตกต่างกัน
การคาดหวังให้โมเดลเดียวครอบงำทุกหมวดหมู่ที่มีความหมายเหมือนการคาดหวังให้ที่ปรึกษาคนเดียวเป็นทนายความ นักกลยุทธ์ วิศวกร และผู้ปฏิบัติการที่ดีที่สุดของคุณพร้อมกัน นั่นไม่ใช่วิธีการทำงานของการตัดสินใจที่ซับซ้อน
ทำไมโลกถึงตามทันตอนนี้
สามพลังที่มาบรรจบกัน:
โมเดลดีพอที่จะไม่เห็นด้วยอย่างมีความหมาย เมื่อหนึ่งปีก่อน โมเดลหลายตัวมักผลิตระดับที่แตกต่างกันของคำตอบพื้นฐานเดียวกัน ตอนนี้ โมเดลชั้นนำมีลายเซ็นการให้เหตุผลที่แตกต่างกันจริงๆ พวกเขาเห็นสิ่งที่ต่างกัน พวกเขาพลาดสิ่งที่ต่างกัน ความไม่เห็นด้วยมี สาระ ซึ่งหมายความว่าคุณค่าของการปรึกษาหารือได้ข้ามเกณฑ์แล้ว
เดิมพันสูงพอที่จะเรียกร้องมัน AI กำลังถูกรวมเข้ากับการดูแลสุขภาพ การวิเคราะห์ทางกฎหมาย การสร้างแบบจำลองทางการเงิน คำแนะนำนโยบาย เมื่อผลกระทบเป็นจริง "ใช้โมเดลเดียว" กลายเป็นไม่เพียงพออย่างเห็นได้ชัด ความต้องการการตรวจสอบหลายโมเดลขับเคลื่อนโดยพลังเดียวกับที่ขับเคลื่อนความเห็นทางการแพทย์ที่สอง
ข้อจำกัดของโมเดลเดี่ยวกลายเป็นสิ่งที่ปฏิเสธไม่ได้ โมเดลหลักทุกตัวมีความล้มเหลวสาธารณะที่บันทึกไว้ ภาพลวงว่าตัวใดตัวหนึ่ง "น่าเชื่อถือพอ" ถูกทำลายอย่างเป็นระบบโดยความเป็นจริง
แต่นี่คือความกังวลของฉันเกี่ยวกับการสนทนาปัจจุบัน: มันมุ่งเน้นเกือบทั้งหมดที่วิศวกรรมและแทบไม่มีเลยที่ญาณวิทยา สตาร์ทอัพที่ได้รับเงินทุนกำลังสร้างชั้น API ระบบเส้นทาง อัลกอริทึมการให้คะแนนความเชื่อมั่น เหล่านี้เป็นเครื่องมือที่มีประโยชน์ พวกเขาไม่ใช่สถาปัตยกรรมการปกครอง
มีความแตกต่างที่ลึกซึ้งระหว่าง "ใช้โมเดลหลายตัวเพื่อลดอัตราข้อผิดพลาด" และ "เรียกประชุมมุมมองหลายมุมเพื่อเข้าใจความซับซ้อน" อันแรกเป็นการปรับให้เหมาะสม อันที่สองเป็นวินัย
สิ่งที่มาต่อไป
ผลิตภัณฑ์ AI รุ่นถัดไปจะไม่ดูเหมือนเครื่องมือ พวกเขาจะดูเหมือนสถาบัน
พวกเขาจะมีกระบวนการ ไม่ใช่แค่พรอมต์ การปรึกษาหารือ ไม่ใช่แค่การสร้าง การตรวจสอบ ไม่ใช่แค่ความเร็ว ความหลากหลายภายใน ไม่ใช่แค่จำนวนพารามิเตอร์ที่ใหญ่กว่า
คำถามที่ชนะจะไม่ใช่ "โมเดลไหนขับเคลื่อนสิ่งนี้?" อีกต่อไป มันจะเป็น "ระบบนี้ตัดสินใจอย่างไร?"
มุมมองอะไรบ้างที่แสดงแทน? ความขัดแย้งถูกแก้ไขอย่างไร? ความไม่แน่นอนถูกดึงขึ้นมาอย่างไร? เกิดอะไรขึ้นเมื่อโมเดลหนึ่งล้มเหลว? ใครหรืออะไรได้คำตอบสุดท้าย?
เรากำลังออกจากยุคที่ประสิทธิภาพของโมเดลเพียงอย่างเดียวกำหนดคุณภาพผลิตภัณฑ์ เรากำลังเข้าสู่ยุคที่ สถาปัตยกรรมปัญญา มีความสำคัญ
ฉันเชื่อว่าเราอยู่ที่จุดเริ่มต้นของการเปลี่ยนแปลงพื้นฐาน: จาก AI ในฐานะออราเคิล ไปสู่ AI ในฐานะสภา จากการถามระบบเดียวเพื่อคำตอบไปสู่การเรียกประชุมระบบหลายตัวเพื่อความเข้าใจ
อุตสาหกรรมที่เหลือยินดีที่จะเรียกสิ่งนี้ว่าการประสาน การให้เหตุผลแบบรวมกลุ่ม ระบบหลายตัวแทน หรือ AI ความเห็นที่สอง
เราเรียกมันว่าสิ่งที่ง่ายกว่า: วิจารณญาณที่ดี
และวิจารณญาณที่ดีไม่เคยอยู่ในเสียงเดียว
มันอยู่ในห้อง