การเรียนรู้ต้นไม้ตัดสินใจ เป็นโมเดลแบบใด?
ต้นไม้ตัดสินใจ
ในการเรียนรู้ของเครื่อง (machine learning) ต้นไม้ตัดสินใจ เป็นโมเดลทางคณิตศาสตร์ที่ใช้ทำนายประเภทของวัตถุโดยพิจารณาจากลักษณะของวัตถุ บัพภายใน (inner node) ของต้นไม้จะแสดงตัวแปร ส่วนกิ่งจะแสดงค่าที่เป็นไปได้ของตัวแปร ส่วนบัพใบจะแสดงประเภทของวัตถุ
ต้นไม้ตัดสินใจ
การใช้ ID3 สอนต้นไม้การตัดสินใจ การเรียนรู้เชิงลึก
นักวิจัยด้านการเรียนรู้ของเครื่องได้เสนอสถาปัตยกรรมการเรียนรู้หลายแบบบนหลักการของการเรียนรู้เชิงลึกนี้ ได้แก่ โครงข่ายประสาทเทียมแบบลึก (Deep Artificial Neural Networks) โครงข่ายประสาทเทียมแบบสังวัตนาการ (Convolutional Neural Networks) โครงข่ายความเชื่อแบบลึก (Deep Belief Networks) และโครงข่ายประสาทเทียมแบบวนซ้ำ (Recurrent Neural Network) ซึ่งมีการนำมาใช้งานอย่างแพร่หลายในทางคอมพิวเตอร์วิทัศน์ การรู้จำเสียงพูด การประมวลผลภาษาธรรมชาติ การรู้จำเสียง และชีวสารสนเทศศาสตร์ ไญยนิยม
ลักษณะที่เรียกว่าเป็นการเรียนรู้ทางปัญญาแบบไญยนิยม เกณฑ์วิธีต้นไม้แบบทอดข้าม
Spanning tree จะคำนวณตลอดว่า BPDU ที่ได้รับมานั้นถูกต้องหรือเปล่าได้รับจากเส้นทางเดิม Switch ตัวเดิมหรือเปล่า ถ้าหากว่าเส้นทางใดเสียหาย เท่ากับว่า port BPDU เปลี่ยนมันก็จะเข้า step เปลี่ยนสถานะเป็น Listening การเข้าสู่ Mode ต่างๆ ของ Spaning tree ต้องใช้เวลาประมาณ 15 วินาที ถ้าหากว่า Network เสียหายการส่งข้อมูลของ User อาจต้องรอถึง 50 วินาที จึงปรับปรุงไปเป็น Rapit Spanning tree คือ ลดสถานะบางอย่างออกไป ความสิ้นหวังอันเกิดจากการเรียนรู้
ความสิ้นหวังอันเกิดจากการเรียนรู้ () เป็นศัพท์เทคนิคทางจิตวิทยา เป็นภาวะของมนุษย์หรือสัตว์ที่เรียนรู้ที่จะประพฤติตนอย่างสิ้นหวัง แม้จะมีโอกาสที่จะหลีกเลี่ยงเหตุการณ์ที่ไม่พึงปรารถนาหรือเป็นอันตรายได้ ทฤษฎีความสิ้นหวังอันเกิดจากการเรียนรู้มีมุมมองว่าโรคซึมเศร้าและโรคทางจิตประสาทที่เกี่ยวข้องเป็นผลมาจากการไม่มีความสามารถควบคุมผลลัพธ์ของสถานการณ์ ความสิ้นหวังอันเกิดจากการเรียนรู้ทำให้สิ่งมีชีวิตที่ไม่แยแสและไม่อาจกำหนดผลแห่งพฤติกรรมของตนให้เป็นไปอย่างที่ควรเป็นได้  ต้นไม้สเคปโกท
ในวิทยาศาสตร์คอมพิวเตอร์ ต้นไม้สเคปโกท ()เป็นต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้ ค้นพบโดย และ ในกรณีแย่ที่สุด จะใช้เวลาค้นข้อมูล O ("log n") ใช้เวลาเพิ่มและลบข้อมูลโดยเฉลี่ย O ("log n") การแทนความรู้
ในการอ่านหัวข้อนี้ถ้าผู้อ่านมีความรู้เรื่องโมเดลเชิงวัตถุ (object-oriented model) จะสามารถเข้าใจได้ดี เพราะเราสามารถมองความรู้ให้อยู่ในรูปของวัตถุและความสัมพันธ์ระหว่างวัตถุได้ เทคโนโลยีการศึกษา
ปัจจัยที่กำหนดทิศทาง การเรียนรู้ที่ผู้เรียนเป็นศูนย์กลาง
การเรียนรู้ที่ผู้เรียนเป็นศูนย์กลาง หรือ การเรียนรู้โดยเน้นผู้เรียนเป็นสำคัญ () เป็นวิธีการซึ่งช่วยปลูกฝังให้ผู้เรียนรู้จักแสวงหาความรู้ด้วยตนเอง อันก่อให้เกิดทักษะการเรียนรู้ตลอดชีวิต โดยการเรียนรู้นี้จะช่วยเพิ่มบทบาทของผู้เรียนภายในห้องเรียน และลดบทบาทการบรรยายหน้าห้องเรียนลง ซึ่งผู้สอนจะปรับบทบาทจากการบรรยายเป็นหลักเป็นการเป็นผู้อำนวยความสะดวก โดยจะต้องเตรียมสภาพห้องเรียนและวิธีการสอนที่เอื้อต่อแนวคิดนี้ ซึ่งกระบวนการนี้จะช่วยให้มีพัฒนาการของผู้เรียนสูงที่สุด การเรียน
การเรียนรู้ หมายถึง การได้รับความรู้ พฤติกรรม ทักษะ คุณค่า หรือความพึงใจ ที่เป็นสิ่งแปลกใหม่หรือปรับปรุงสิ่งที่มีอยู่ และอาจเกี่ยวข้องกับการสังเคราะห์สารสนเทศชนิดต่าง ๆ ผู้ประมวลทักษะของการเรียนรู้เป็นได้ทั้งมนุษย์ สัตว์ และเครื่องจักรบางชนิด ความก้าวหน้าในการเรียนรู้เมื่อเทียบกับเวลามีแนวโน้มเป็นเส้นโค้งแห่งการเรียนรู้ (learning curve) ต้นไม้ตัดสินใจ
ID3 นั้นสร้างต้นไม้การตัดสินใจจากบนลงล่างด้วยการถามว่าลักษณะใด (ขอใช้คำว่าลักษณะแทนตัวแปรต้น) ควรจะเป็นรากของต้นไม้การตัดสินใจต้นนี้ และถามซ้ำๆไปเรื่อยๆเพื่อหาต้นไม้ทั้งต้นด้วยการเขียนโปรแกรมด้วยความสัมพันธ์แบบเวียนเกิด (English: recursion) โดยในการเลือกว่าลักษณะใดดีที่สุดนั้นดูจากค่าของลักษณะเรียกว่าเกนความรู้ (Information gain) ก่อนที่จะรู้จักเกนความรู้จะต้องนิยามค่าหนึ่งที่ใช้บอกความไม่บริสุทธิ์ของข้อมูลก่อน เรียกว่าเอนโทรปี (Entropy) โดยนิยามเอนโทรปีของต้นไม้การตัดสินใจในตัวในเซตของตัวอย่าง S คือ E (S) ดังนี้ ต้นไม้สเปลย์
ต้นไม้สเปลย์ () เป็นต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับตัวเอง (self-adjusting tree) ได้คือ สามารถปรับโครงสร้างทุกครั้งที่เรียกใช้บริการ ตั้งแต่การเพิ่ม การลบ หรือแม้กระทั่งการค้นหาเอง โดยจะนำปมต้นไม้ที่ถูกใช้บริการขึ้นมาเป็นรากแทน สำหรับต้นไม้สเปลย์ ถูกคิดค้นขึ้นโดย Daniel Sleator และ Robert Tarjan เกณฑ์วิธีต้นไม้แบบทอดข้าม
Spanning tree มันจะคุยกันโดยแต่ละตัวจะส่งข้อมูลเป็นชุดข้อมูลขนาดเล็ก ที่เรียกว่า Bridge Protocol Data Unit หรือ BPDU ทุกครั้งที่ส่ง BPDU มันจะบอกว่าตัวไหนคือ Root Bridge หรือใครคือ Root ID จากนั้นมันก็วิ่งไปที่ root ว่ามีค่า Cost เท่าไหร่ แล้วข้อมูล BPDU ใครเป็นคนส่งก็ดูจาก portที่มันส่ง BPDU มันก็จะบอกว่า Root Bridge คือตัวไหน และค่า Cost เท่าไหร่ ความจำเชิงกระบวนวิธี
ในปี ค.ศ. 2005 ดร. แท็ดล็อกผู้ได้รับปริญญาเอกในด้านการอ่านหนังสือ ได้เสนอแบบจำลองอีกอย่างหนึ่งที่เรียกว่า "วงจรการพยากรณ์" (Predictive Cycle) เพื่อสร้างความเข้าใจเกี่ยวกับการเรียนรู้ทักษะผ่านความจำเชิงกระบวนวิธี[7] การรู้จำแบบ
รูปแบบ (pattern) ในที่นี้หมายถึง รูปร่าง หรือ คุณลักษณะ ของวัตถุ ที่เราสนใจ โดยวัตถุนั้นอาจเป็น รูปธรรม หรือ นามธรรม ก็ได้ หรือจะเป็นรูปแบบ ที่กระจายบนพื้นที่ หรือ เปลี่ยนแปลงตามเวลา ก็ได้คำ การแบ่งประเภท (classification) และ การแบ่งกลุ่ม (clustering) นี้ในทางวิทยาการคอมพิวเตอร์ จะใช้ในความหมายที่เฉพาะเจาะจง โดย การแบ่งประเภท คือ การแยกแบบมีผู้สอน และ การแบ่งกลุ่ม คือ การแยกแบบไม่มีผู้สอน ความจำเชิงกระบวนวิธี
ในแบบจำลองของฟิตต์ส (ปี คศ. 1954) ในระยะนี้ เราจะทำความเข้าใจว่า ทักษะที่ต้องการนั้นประกอบด้วยอะไรบ้าง ความใส่ใจเป็นสิ่งที่สำคัญในการเรียนรู้ทักษะในระยะนี้ คือ เราต้องแยกส่วนทักษะที่ต้องการจะเรียน แล้วทำความเข้าใจว่าส่วนต่าง ๆ เหล่านี้มาประกอบกันเพื่อที่จะทำงานนี้ด้วยทักษะที่ถูกต้องได้อย่างไร วิธีที่แต่ละคนจัดระเบียบส่วนต่าง ๆ เหล่านี้เรียกว่า schema ซึ่งมีความสำคัญต่อการให้ทิศทางแก่การเรียนรู้ และกระบวนการที่แต่ละคนจะเลือก schema เป็นสิ่งที่อธิบายได้โดย metacognition (ความรู้เรื่องเกี่ยวกับการรู้ หรือประชานเกี่ยวกับประชาน)[5][6] ต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้
โครงสร้างข้อมูลที่นิยมในการอิมพลีเมนต์ต้นไม้ลักษณะนี้ยกตัวอย่างเช่น ต้นไม้เอวีแอล, ต้นไม้แดงดำ, ต้นไม้สเปลย์ เป็นต้น การเรียนรู้แบบมีผู้สอน
การเรียนรู้แบบมีผู้สอน () เป็นเทคนิคการเรียนรู้ของเครื่องซึ่งสร้างฟังก์ชันจากข้อมูลสอน () ข้อมูลสอนประกอบด้วยวัตถุเข้า (มักจะเป็น เวกเตอร์) และผลที่ต้องการ ผลจากการเรียนรู้จะเป็นฟังก์ชันที่อาจจะให้ค่าต่อเนื่อง (จะเรียกวิธีการว่า การถดถอย -- regression) หรือ ใช้ทำนายประเภทของวัตถุ (เรียกว่า การแบ่งประเภท -- classification) ภารกิจของเครื่องเรียนรู้แบบมีผู้สอนคือการทำนายค่าของฟังก์ชันจากวัตถุเข้าที่ถูกต้องโดยใช้ตัวอย่างสอนจำนวนน้อย (training examples -- คู่ของข้อมูลเข้าและผลที่เป็นเป้าหมาย) โดยเครื่องเรียนรู้จะต้องวางนัยทั่วไป (generalize) จากข้อมูลที่มีอยู่ไปยังกรณีที่ไม่เคยพบอย่างมีเหตุผล (ดู ) ต้นไม้ตัดสินใจ
การหลีกเลี่ยงการจำกัดอยู่กับตัวอย่างที่นำมาสอนมากเกินไป (overfit) ของต้นไม้การตัดสินใจ ฮิวริสติกในการประเมินและการตัดสินใจ
นักประชานศาสตร์ชาวอเมริกันเฮอร์เบิร์ต ไซมอนดั้งเดิมเป็นผู้เสนอว่า การตัดสินใจของมนุษย์ต้องอาศัยฮิวริสติก 
โดยใช้แนวความคิดจากวิทยาศาสตร์คอมพิวเตอร์ 
ในต้นคริสต์ทศวรรษ 1970 นักจิตวิทยาแดเนียล คาฮ์นะมัน และอะมอส ทเวอร์สกี้ แสดงฮิวริสติก 3 ประเภทที่เป็นฐานของการตัดสินใจโดยรู้เองที่ใช้อย่างกว้างขวาง
งานวิจัยเหล่านี้ จุดชนวนโปรแกรมงานวิจัยเกี่ยวกับ ฮิวริสติกและความเอนเอียง (Heuristics and Biases) 
ซึ่งศึกษาการตัดสินใจในชีวิตจริงของมนุษย์ และศึกษาสถานการณ์ที่การตัดสินใจเหล่านี้ใช้ไม่ได้ คือไม่สมเหตุผล
งานวิจัยในแนวนี้ได้คัดค้านไอเดียว่า มนุษย์เป็นสัตว์ที่กระทำตามเหตุผล
และได้ให้ทฤษฎีเกี่ยวกับการประมวลสารสนเทศ (information processing) ที่สามารถอธิบายวิธีการที่มนุษย์ใช้ในการประเมินผลหรือการตัดสินใจ
เป็นแนวงานวิจัยที่เริ่มมีความสนใจในระดับสากลในปี ค.ศ. 1974 ด้วยบทความที่พิมพ์ในวารสาร "Science" มีชื่อว่า "Judgment Under Uncertainty: Heuristics and Biases (การประเมินภายใต้ความไม่แน่ใจ ฮิวริสติกและความเอนเอียง)" 
ซึ่งได้กลายเป็นแนวทางของทฤษฎีเกี่ยวกับการตัดสินใจที่มีทั้งหมดในปัจจุบัน พื้นที่สงวนชีวมณฑลสวนสัก-ห้วยทาก
สมควรคงไว้ซึงระบบนิเวศที่สมบูรณ์ เป็นแหล่งศึกษาการเปลี่ยนแปลงธรรมชาติ ตลอดจนการศึกษาการเปลี่ยนแปลงของธรรมชาติ ตลอดจน เป็นการศึกษารูปแบบการใช้ที่ดินตามจารีต ประเพณีของท้องถิ่น นอกจากนี้ พื้นที่แห่งนี้ยังเป็นต้นน้ำลำธารที่สำคัญของแม่น้ำยม เป็นแหล่งผลิตเมล็ดพันธุ์ไม้หลายชนิด โดยเฉพาะเมล็ดไม้สัก เป็นป่าสาธิตในด้านการทำป่าไม้ในอดีต (ปัจจุบัน ได้ดำเนินการตามโครงการ ป่าต้นแบบเพื่อการจัดการป่าไม้แบบยั่งยืน) เป็นสถานที่ฝึกอบรมผู้บริหารและนักวิจัยป่าไม้ และยังเป็นแหล่งศึกษาวิจัยเพื่อเป็นต้นแบบ ในการสนับสนุนการพัฒนาระดับท้องถิ่นระดับชาติและระดับโลก ต้นไม้ตัดสินใจ
G a i n ( S , A ) = E ( S ) − ∑ v = v a l u e ( A ) | S v | | S | E ( S v ) {\displaystyle Gain(S,A)=E(S)-\sum _{v=value(A)}{\frac {|S_{v}|}{|S|}}E(S_{v})} ต้นไม้สเปลย์
ซึ่งการจัดการหมุนปมนั้นจะแตกต่างกันขึ้นอยู่กับรูปแบบการไหลนั้นคือ ศึกษาสำนึก
โดยส่วนใหญ่ เราสามารถสร้างและยกตัวอย่างปัญหาเป็นพิเศษให้กับวิธีแบบศึกษาสำนึก และเป็นกรณีที่ทำให้วิธีแบบศึกษาสำนึกให้คำตอบที่ผิด หรือทำงานอย่างเชื่องช้าได้ แต่อย่างไรก็ตาม เนื่องจากโครงสร้างของปัญหาตัวอย่างนั้นเป็นกรณีที่พิเศษมากๆ ซึ่งโดยทั่วไปแล้วมีโอกาสเกิดขึ้นได้น้อย หรือ อาจไม่เกิดขึ้นเลย ดังนั้นเราจึงพบเห็นการนำวิธีแบบศึกษาสำนึกไปใช้แก้ปัญหาในโลกจริงอยู่ทั่วไป การสืบเชื้อสายร่วมกัน
ทั่วไปแล้ว ต้นไม้เยี่ยงนี้จะสร้างโดยใช้การเปรียบเทียบทางสัณฐานวิทยา เช่น รูปร่างที่ปรากฏ สภาพของเอ็มบริโอ เป็นต้น แต่เร็ว ๆ นี้ ก็ยังสามารถสร้างต้นไม้ด้วยข้อมูลโมเลกุล คือเทียบความคล้ายความต่างของลำดับยีนและลำดับโปรตีน วิธีการเหล่านี้ทั้งหมดแสดงผลที่คล้ายกันถึงแม้ความแตกต่างของยีนจะไม่มีผลต่อสัณฐานรูปร่างภายนอก ความเข้ากันได้ของต้นไม้ที่สร้างโดยข้อมูลต่าง ๆ จึงเป็นหลักฐานที่เข้มแข็งของการสืบทอดเชื้อสายร่วมกันที่เป็นมูล[20] ต้นไม้คาร์ทีเซียน
แนวคิดนี้ถูกนำมาใช้โดย Seidel & Aragon (1996) ซึ่งแนะนำให้ใช้ตัวเลขสุ่มเป็นลำดับความสำคัญ โครงสร้างข้อมูลที่เกิดจากการเลือกแบบสุ่มนี้เรียกว่า treap เนื่องจากมีการรวมโครงสร้างการค้นหาแบบไบนารีและคุณลักษณะกองกองไบนารี แทรกเข้าไปใน treap อาจทำได้โดยการใส่กุญแจใหม่เป็นใบของต้นไม้ที่มีอยู่เลือกลำดับความสำคัญของมันแล้วดำเนินการดำเนินการหมุนเวียนต้นไม้ตามเส้นทางจากโหนดไปยังรากของต้นไม้เพื่อซ่อมแซมการละเมิดใด ๆ ทรัพย์สินกองที่เกิดจากการแทรกนี้; การลบในทำนองเดียวกันสามารถทำได้โดยจำนวนคงที่ของการเปลี่ยนแปลงไปยังต้นไม้ตามด้วยลำดับของการหมุนตามเส้นทางเดียวในต้นไม้ ต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้
ต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้มีประโยชน์อย่างมากสำหรับโครงสร้างข้อมูลที่ต้องการเรียงลำดับอยู่ตลอดเวลา (เมื่อใส่ข้อมูลใหม่เข้าไปก็สามารถใส่ได้อย่างรวดเร็ว) ตัวอย่างเช่นแถวคอยลำดับความสำคัญ หรือนำมาใช้เป็นแถวลำดับแบบจับคู่หรือพจนานุกรม โดยใส่แต่ละคู่ (คีย์-ข้อมูล) ลงไปในต้นไม้แล้วเรียงลำดับตามค่าคีย์ ดังที่ได้กล่าวมาจะเห็นได้ว่าลักษณะคุณประโยชน์ของต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้นั้นจะคล้ายคลึงกับตารางแฮช แอลฟาโกะ
โครงข่ายประสาทได้รับการฝึกเพื่อคาดการณ์การเลือกเดินของตัวแอลฟาโกะเองและเป็นฝ่ายชนะเกม โครงข่ายประสาทนี้ช่วยเพิ่มพลังของการคำนวณแบบการค้นหาต้นไม้ ส่งผลให้มีการเลือกเดินมีคุณภาพสูงขึ้น และการเล่นด้วยตัวเองที่แข็งแกร่งขึ้นในการทำซ้ำครั้งต่อไป การเริ่มต้นแบบ"ตาบูลาราซา" ซึ่งเป็นแอลฟาโกะโปรแกรมใหม่ของพวกเขาได้บรรลุประสิทธิภาพเหนือมนุษย์ ด้วยการเป็นฝ่ายชนะ 100 ต่อ 0 เกมจากการพบกับรุ่นเผยแพร่ก่อนหน้า แอลฟาโกะเป็นฝ่ายล้มแชมป์ ความจำ
มีการใช้เทคนิค Habituation (แปลว่า การเกิดความเคยชิน ซึ่งเป็นรูปแบบการเรียนรู้ที่สิ่งมีชีวิตลดหรือระงับการตอบสนองต่อสิ่งเร้าหลังจากที่สิ่งเร้าปรากฏซ้ำ ๆ กัน) และเทคนิค operant conditioning (แปลว่า การปรับพฤติกรรมโดยตัวดำเนินการ ซึ่งเป็นรูปแบบการรเรียนรู้ที่พฤติกรรมมีการเปลี่ยนไปเพราะการกระทำที่มีมาก่อนและผลของการกระทำนั้น) เพื่อประเมินความจำโดยรู้จำ
และ deferred imitation (การให้เลียนแบบมีการรอ) กับ elicited imitation (การให้เลียนแบบโดยชักจูง) เพื่อประเมินความจำโดยระลึก ต้นไม้ตัดสินใจ
Mitchell, Tom. Machine Learning. McGraw-Hill, 1997, p. 52-80. ต้นไม้ตัดสินใจ
การเข้ากันมากเกินไปของข้อมูลเกิดได้ดังตัวอย่างด้านบน ในตอนแรกต้นไม้ยังว่างเปล่าแล้วค่อยๆมีบัพเพิ่มมากขึ้นเรื่อยๆตามขั้นตอนวิธีการ ID3 ทำให้ความถูกต้องของข้อมูลในชุดที่นำมาเรียนรู้นั้นมากขึ้นเรื่อยๆตามลำดับ เมื่อพิจารณาความถูกต้องในข้อมูลจริงก็เพิ่มขึ้นด้วยเช่นกัน แต่เมื่อจำนวนบัพเพิ่มขึ้นถึงจุดหนึ่งความถูกต้องในข้อมูลจริงกลับลดลง เรียกเหตุการณ์นี้ว่าการเข้ากันมากเกินไป อาจเกิดจากการที่มีบางตัวแปรต้นที่ต้นไม้การตัดสินใจนำมาพิจารณาที่ไม่เกี่ยวข้อง หรือเกี่ยวข้องน้อยมากกับตัวแปรตาม เมื่อนำตัวแปรนี้มาพิจารณาด้วยจึงเกิดการแบ่งส่วนของข้อมูลเพิ่มจึ้นโดยไม่จำเป็น ทำให้เกิดเหตุการณ์ที่เรียกว่าการเข้ากันมากเกินไปขึ้น ซึ่งมีกระบวนการการแก้ไขเหตุการณ์นี้ได้ด้วยสองวิธีคือ การเรียนรู้ของเครื่อง
ศาสตร์ด้านการเรียนรู้ของเครื่องเติบโตไปพร้อมๆกับปัญญาประดิษฐ์ ในความจริงนั้น การเรียนรู้ของเครื่องมีมาตั้งแต่ยุคแรกๆของปัญญาประดิษฐ์ นักวิทยาศาสตร์หลายคนสนใจการสร้างเครื่องจักรที่สามารถเรียนรู้จากข้อมูลได้ จึงเริ่มทดลองวิธีการหลายๆอย่าง ที่เด่นชัดสุดคือ โครงข่ายประสาทเทียม และในเวลาต่อมา ได้มีการคิดค้นโมเดลเชิงเส้นทั่วไปจากหลักการทางสถิติศาสตร์ ไปจนถึงการพัฒนาวิธีการให้เหตุผลตามหลักความน่าจะเป็น โดยเฉพาะในการประยุกต์ด้านการวินิจฉัยโรคอัตโนมัติ ปรากฏการณ์การวางกรอบ
มีงานศึกษาหลายงานที่แสดงว่า หนุ่มสาวจะทำการตัดสินใจที่มีความเอนเอียงน้อยกว่าผู้ใหญ่อายุมาก เพราะว่า พวกเขาตัดสินใจโดยตีความตามรูปแบบของเหตุการณ์ และสามารถใช้กลยุทธ์การตัดสินใจที่ดีกว่า ที่ต้องใช้ทรัพยากรทางประชาน เช่นทักษะต่าง ๆ ที่ต้องใช้ความจำใช้งาน (working-memory) เทียบกับผู้ใหญ่อายุมาก ผู้จะทำการตัดสินใจอาศัยปฏิกิริยาที่เกิดขึ้นทันทีต่อการได้หรือการเสีย[10] การเรียนรู้ของเครื่อง
การเรียนรู้บางอย่างโดยเฉพาะการเรียนรู้แบบไม่มีผู้สอนนั้นพยายามจะค้นหาการแทนข้อมูลขาเข้าที่ดีขึ้นเมื่อมีชุดข้อมูลฝึก ตัวอย่างของการเรียนรู้ด้วยการแทนนี้ได้แก่ การวิเคราะห์องค์ประกอบหลักและการแบ่งกลุ่มข้อมูล อัลกอริทึมการเรียนรู้ด้วยการแทนมักจะเปลี่ยนข้อมูลไปในรูปแบบที่มีประโยชน์แต่ยังคงรักษาสารสนเทศของข้อมูลเอาไว้ มักใช้ในกระบวนการเตรียมข้อมูลก่อนจะแบ่งประเภทข้อมูลหรือพยากรณ์ ตัวอย่างอื่นของการเรียนรู้ด้วยการแทนได้แก่ การเรียนรู้เชิงลึก ขั้นตอนวิธีมินิแมกซ์
ในการเลือกค่าเสียโอกาสนั้น ต้นไม้ค้นหาจะทำการค้นค่าเสียโอกาสที่สูงที่สุดมาจากใบ (leaf node) และตัดสินว่าเส้นทางนั้นเป็นเส้นทางที่ดีที่สุด สังเกตว่าเกมที่มีความซับซ้อนสูงอย่างหมากรุกหรือโกะจะไม่สามารถบันทึกทุกความเป็นไปได้ของทั้งเกมได้ทั้งหมดตั้งแต่ต้นเกม เพราะจะต้องบันทึกเยอะมาก หากแต่พอจะอ่านล่วงหน้าไปก่อนได้หลายตาเพื่อหาความได้เปรียบที่มากที่สุดไปเรื่อยๆจนไปจบที่ค่าอนันต์หรือลบอนันต์ นิเวศวิทยา
ในโมเดลของการเลือกแบบ "r/K" ตัวแปรแรก "r" เป็นอัตราที่แท้จริงของการเพิ่มขึ้นตามธรรมชาติของขนาดของประชากรและตัวแปรที่สอง "K" เป็นขีดความสามารถในการรองรับประชากร สายพันธุ์ที่แตกต่างกันมีวิวัฒนาการด้านกลยุทธ์ของประวัติศาสตร์ชีวิตที่แตกต่างกันซึ่งกระจายไปตามความต่อเนื่องระหว่างแรงการเลือกทั้งสองนี้ สายพันธุ์ที่ถูกเลือกแบบ "r" เป็นสายพันธ์หนึ่งที่มีอัตราการเกิดสูง การลงทุนของพ่อแม่อยู่ในระดับต่ำ และอัตราของการเสียชีวิตก่อนโตเต็มที่ที่สูง วิวัฒนาการจะพอใจกับความสามารถมีบุตรในอัตราที่สูงของสายพันธุ์ที่ถูกเลือกแบบ "r" แมลงและสายพันธ์บุกรุกหลายชนิดจะแสดงออกถึงลักษณะทางพันธุกรรมที่ถูกเลือกแบบ "r" ในทางตรงกันข้ามสายพันธุ์ที่ถูกเลือกแบบ "K" มีอัตราการเกิดในระดับต่ำ การลงทุนของพ่อแม่ให้กับลูกในวัยหนุ่มสาวในระดับสูง และอัตราการตายในบุคคลที่เป็นผู้ใหญ่ในระดับต่ำ มนุษย์และช้างเป็นตัวอย่างของการแสดงลักษณะสายพันธุ์ที่ถูกเลือกแบบ "K" รวมถึงการมีอายุยืนยาวและมีประสิทธิภาพในการแปลงทรัพยากรให้มากขึ้นสำหรับลูกหลานไม่มากนัก กาลานุกรมต้นไม้
กล่าวว่า - สถานที่ที่เหมาะสมที่จะเป็นแหล่งศึกษากาลานุกรมต้นไม้นั้น สามารถถูกกำหนดและเลือกได้ทั้งนี้อยู่บนพื้นฐานแนวคิดที่ว่า ควรเป็นบริเวณที่มีต้นไม้ที่มีชุดของวงเติบโตที่ตอบสนองต่อความแปรผันของสภาพสิ่งแวดล้อมที่จะศึกษา ยกตัวอย่างเช่น ต้นไม้ที่จะตอบสนองเป็นการเฉพาะต่อสภาวะที่แห้งแล้งปกติจะพบได้ในที่ที่มีปริมาณน้ำฝนจำกัด ตัวอย่างเช่น บริเวณพื้นที่หินโผล่ หรือบนสันเขา ดังนั้นนักกาลานุกรมต้นไม้ผู้ที่สนใจสภาพภูมิอากาศที่แห้งแล้งในอดีตควรเสนอเก็บตัวอย่างต้นไม้ที่มีการเจริญเติบโตในพื้นที่ที่รู้ว่ามีความจำกัดในแหล่งน้ำ ต้นไม้ที่เจริญเติบโตในพื้นที่ต่ำหรือพื้นที่มีความชุ่มชื้นสูงจะให้ชุดของวงเติบโตที่ตอบสนองต่อปริมาณน้ำฝนที่ตกน้อย นักกาลานุกรมต้นไม้ต้องเลือกพื้นที่ที่จะตอบสนองสูงสุดต่อสิ่งกระตุ้นทางสิ่งแวดล้อมที่กำลังจะศึกษา ความปรารถนาหรือความเชื่อที่อยู่เหนือเหตุผล
แบบจำลองที่ใช้ผ่าน ๆ มา เป็นการประมวลข้อมูลไปตามลำดับชั้น ซึ่งอธิบายการประมวลผลทางตาระยะต้น ๆ ว่า เป็นไปในทางเดียว คือ ผลการเห็นที่ประมวลจะส่งไปยังระบบความคิด (conceptual system) แต่ระบบความคิดจะไม่มีผลต่อกระบวนการทางตา[16] แต่ในปัจจุบันนี้ ผลงานวิจัยปฏิเสธแบบจำลองนี้ และบอกเป็นนัยว่า ข้อมูลความคิดสามารถมีผลโดยตรงต่อการประมวลผลทางตาชั้นต้น ๆ ไม่ใช่เป็นเพียงแค่สร้างความโน้มเอียงให้กับระบบการรับรู้เท่านั้น[15] ต้นไม้แบบบี
ต้นไม้แบบบีมีข้อได้เปรียบมากกว่าการทำงานด้วยวิธีอื่นๆ เมื่อเวลาที่ใช้สำหรับการเข้าถึงปมมากกว่าเวลาที่เข้าถึงภายในปม เนื่องจากความสูญเสียที่ใช้ไปสำหรับการเข้าถึงปม อาจทำให้ลดลงไปด้วยการดทำงานหลายอย่างภายในปม สิ่งนี้มักเกิดขึ้นเมื่อปมเก็บในหน่วยความจำสำรอง เช่น ตัวขับดิสก์ การทำให้จำนวนของปมลูกของแต่ละปมภายในมีจำนวนมากที่สุด ทำให้ความสูงของต้นไม้ลดลง และจำนวนการเข้าถึงปมที่ทำให้สูญเสียประสิทธิภาพการทำงานลดลง การทำให้ต้นไม้กลับสู่สภาวะสมดุลใหม่จึงเกิดขึ้นไม่บ่อยครั้ง จำนวนปมลูกที่มากที่สุดขึ้นกับสารสนเทศที่เก็บสำหรับปมลูกแต่ละปม และขนาดของบล็อกดิสก์ที่เต็ม หรือขนาดที่คล้ายคลึงกันในหน่วยความจำสำรอง ในขณะที่ต้นไม้แบบบี 2-3 อธิบายได้ง่ายกว่า ต้นไม้แบบบีในทางปฏิบัติที่ใช้หน่วยความจำสำรองต้องการจำนวนปมลูกในการปรับปรุงประสิทธิภาพ ต้นไม้แบบที
ในสาขาวิชาวิทยาการคอมพิวเตอร์ ต้นไม้แบบที (T-tree) เป็นโครงสร้างข้อมูลประเภท ต้นไม้ทวิภาค ที่ถูกใช้เป็น ฐานข้อมูลหน่วยความจำหลัก () เช่น , , , และ Kairos ต้นไม้ตัดสินใจ
หยุดการโตของต้นไม้ก่อนจะเริ่มโอเวอร์ฟิต ให้ต้นไม้โอเวอร์ฟิตแล้วนำมาตัดแต่งภายหลัง (post-pruning) การเรียนรู้เชิงลึก
การเรียนรู้เชิงลึก เป็นสาขาของการเรียนรู้ของเครื่องที่
กล่าวคือ การเรียนรู้เชิงลึกประกอบไปด้วย (1) หน่วยประมวลผลแบบไม่เป็นเชิงเส้นหลายๆชั้น (2) แต่ละชั้น จะเรียนรู้การแทนฟีเจอร์ อาจจะเป็นแบบมีผู้สอนหรือไม่มีผู้สอนก็ได้ ทั้งนี้ โครงสร้างในแต่ละชั้นของการเรียนรู้เชิงลึกจะขึ้นอยู่กับปัญหาที่ต้องการจะแก้ไข อาจจะเป็น hidden layer ของโครงข่ายประสาทเทียม หรือหน่วยประมวลผลตรรกะที่ซับซ้อนก็ได้ หรืออาจจะเป็นโนดใน deep generative model อย่างเช่น โครงข่ายความเชื่อแบบลึก (Deep Belief Networks) หรือเครื่องจักรโบลทซ์มันน์เชิงลึก (Deep Boltzmann Machines) ก็ได้ ต้นไม้เซกเมนต์
1. แบบสอบถาม ลักษณะบุคลิกภาพใหญ่ 5 อย่าง
ตามงานวิจัยในปี 2011 ความเปิดรับประสบการณ์สัมพันธ์กับสไตล์การเรียนรู้ เช่น การวิเคราะห์โดยสังเคราะห์และการเรียนเป็นระบบ ที่บ่อยครั้งนำไปสู่ความสำเร็จทางการเรียนและการได้เกรดที่สูงกว่า
และเพราะว่า ความพิถีพิถันและความเปิดรับประสบการณ์ เป็นตัวพยากรณ์สไตล์การเรียนทั้ง 4 นี่แสดงนัยว่า บุคคลที่มีลักษณะต่าง ๆ เช่น วินัย ความมุ่งมั่น และความอยากรู้อยากเห็น มีโอกาสสูงกว่าที่จะใช้วิธีการเรียนทั้ง 4 อย่าง
ความพิถีพิถันและความยินยอมเห็นใจ สัมพันธ์กับสไตล์การเรียนทั้ง 4 อย่าง เทียบกับ neuroticism ที่สัมพันธ์ในเชิงผกผันกับสไตล์ทั้ง 4
นอกจากนั้นแล้ว ความสนใจต่อสิ่งภายนอกและความเปิดรับประสบการณ์ สัมพันธ์กับการประมวลแบบขยายเพิ่มเท่านั้น และ ความเปิดรับประสบการณ์โดยลำพังมีสหสัมพันธ์กับความสำเร็จการศึกษาที่ดี ต้นไม้ตัดสินใจ
การเรียนรู้ต้นไม้ตัดสินใจ (English: decision tree learning) ถูกคิดค้นโดย Dr.Dome และ Dr.JA เป็นวิธีหนึ่งที่จะประมาณฟังก์ชันที่มีค่าไม่ต่อเนื่อง (discrete-value function) ด้วย แผนผังต้นไม้ อาจประกอบด้วยเซตของกฎต่างๆแบบ ถ้า-แล้ว (if-then) เพื่อให้มนุษย์สามารถอ่านแล้วเข้าใจการตัดสินใจของต้นไม้ได้ ต้นไม้ตัดสินใจ
การเรียนรู้ของเครื่อง การเรียนรู้แบบมีผู้สอน การแบ่งประเภทข้อมูล ต้นไม้สเปลย์
จุดเด่นของต้นไม้สเปลย์ที่ชัดเจนคือการปรับให้ปมที่เพิ่งถูกใช้บริการขึ้นมาเป็นราก แม้กระทั่งบริการการค้น ซึ่งทำให้การค้นหาข้อมูลที่เพิ่งค้นไปใหม่ๆ นั้นรวดเร็วขึ้น ซึ่งตั้งสมมติฐานที่ว่า ธรรมชาติของการค้นข้อมูลโดยทั่วไป ข้อมูลที่ถูกค้นไม่ได้มีความถี่การค้นเท่ากันหมด แต่ข้อมูลใดที่ถูกค้นเยอะๆ ก็จะมีโอกาสถูกค้นบ่อยๆด้วย ดังนั้นการทำให้ข้อมูลที่ค้นบ่อยๆไปอยู่ตำแหน่งบนๆ ของ splay tree ก็จะทำให้การค้นในอนาคตรวดเร็วมากขึ้นความเร็วที่ใช้ในการทำงานขึ้นอยู่กับว่าข้อมูลที่จะค้นหานั้น ถูกใช้บ่อยหรือไม่ ถ้าถูกใช้บ่อยจะค้นหาได้อย่างรวดเร็ว ถึงอย่างไรก็ดี เนื่องจากต้นไม้ถูกทำให้ค่อนข้างเตี้ย การเข้าถึงข้อมูลโดยถัวเฉลี่ยเมื่อใช้บริการนานๆและข้อมูลหลายๆตัวไม่ซ้ำกัน จะใช้เวลา"โดยถัวเฉลี่ย"เป็น O(log n) ต้นไม้ตัดสินใจ
S {\displaystyle S} คือตัวอย่างที่ประกอบด้วยชุดของตัวแปรต้นและตัวแปรตามหลายๆกรณี E {\displaystyle E} คือเอนโทรปีของตัวอย่าง A {\displaystyle A} คือตัวแปรต้นที่พิจารณา value (A) คือเซตของค่าของ A ที่เป็นไปได้ S v {\displaystyle S_{v}} คือตัวอย่างที่ A มีค่า v ทั้งหมด ต้นไม้เซกเมนต์
ช่วงผลรวมที่กำหนด โครงสร้างข้อมูลเซตไม่มีส่วนร่วม
ในป่าไม้เซตไม่มีส่วนร่วมจะกำหนดให้ตัวแทนของแต่ละเซตคือจุดยอดที่เป็นรากของต้นไม้ ดังนั้นการดำเนินการ"ค้นหา" ก็คือการกระโดดสูงขึ้นไปเรื่อย ๆ จนกว่าจะเจอราก ส่วนการ"ยูเนียน"ก็คือการดำเนินการ"ค้นหา"กับต้นไม้ทั้งสองต้นเพื่อหารากของต้นไม้ทั้งสอง และนำรากของต้นไม้หนึ่งไปต่อกับรากของต้นไม้อีกต้น อาจเขียนเป็นรหัสเทียมออกมาได้ดังนี้ ต้นไม้แบบทอดข้าม
ต้นไม้ทอดข้าม หรือ ต้นไม้แผ่ทั่ว () หมายถึง กราฟย่อยซึ่งมีลักษณะเป็นต้นไม้และมีทุกจุดยอดของกราฟเป็นจุดยอดทุกจุดของต้นไม้ด้วย การหาต้นไม้ทอดข้ามในกราฟใดๆ โดยเฉพาะต้นไม้ทอดข้ามน้อยสุด เป็นปัญหาที่พบบ่อยในวิทยาการคอมพิวเตอร์รูปแบบหนึ่ง ต้นไม้บีเค
ตัวอย่างเช่น ใช้เป็นตัวตรวจสอบการสะกดหรือเมื่อค้นหาคำค้นหาแบบ "คลุมเครือ" จุดมุ่งหมายคือการกลับมาเช่น "seek" และ "peek" ถ้าฉันค้นหา "aeek" สิ่งที่ทำให้เป็นต้นไม้บีเค ก็คือพวกเขาใช้ปัญหาที่ไม่มีทางออกที่ชัดเจนนอกเหนือจากการค้นหาแบบ > และนำเสนอวิธีการที่เรียบง่ายและสง่างามเพื่อเร่งการค้นหาอย่างมาก เกณฑ์วิธีต้นไม้แบบทอดข้าม
เกณฑ์วิธีต้นไม้แบบทอดข้าม () หรือ เอสทีพี เป็นตัวช่วยในการหาเส้นทาง หรือ Spanning Tree Protocol หน้าที่ของมันคือ ช่วยป้องกันการเกิด loop ได้ และก็ช่วยเสริมให้มีเส้นทางสำรอง เช่น สมมุติว่าเรามีจุดหมายปลายทางอยู่จุดหนึ่งแล้วเส้นทางนี้เกิดมีปัญหาทำให้ระบบใช้งานไม่ได้เลย ก็ทำให้ระบบทั้งหมดมีปัญหาไปด้วย ตัว Spanning Tree มันก็จะมีระบบช่วยป้องกันไม่ให้ระบบหยุดการทำงาน ถ้าเส้นทางหนึ่งมีปัญหาก็สามารถไปใช้เส้นทางอื่นได้ Redundancy ของ Spanning Tree มันทำให้ระบบมีเสถียรภาพ เพราะใช้ตลอดเวลาก็ไม่ Down ถึงแม้เส้นทางใดเส้นทางหนึ่งใช้ไม่ได้ก็ตาม Spanning tree ก็จะมีเส้นทางขึ้นมาใช้แทนโดยรวมทำให้มีเสถียรภาพมากขึ้นเพื่อป้องกันการเกิดลูป (loop) ในเน็ตเวิร์ก (network) อุปกรณ์สวิทช์ (switch) ทั้งหมดในเน็ตเวิร์ก จะต้องแลกเปลี่ยนข้อมูลระหว่างกัน เพื่อกำหนดจุดอ้างอิงเดียวกันในการป้องกันลูป ซึ่งจุดอ้างอิงที่ว่านี้เรียกว่ารูทบริดจ์ (หรือรูทสวิตช์ Root Switch)
ในกระบวนการเลือกรูทบริดจ์นี้สวิตช์ทุกตัวจะอาศัยบริดจ์ไอดี ซึ่งเป็นค่าเฉพาะตัวของสวิทช์แต่ละตัวเป็นเงื่อนไขในการเลือก โดยค่าบริดจ์ไอดีมีขนาด 8 ไบต์ (byte) แบ่งออกเป็น 2 ส่วนได้แก่ ศึกษาสำนึก
สำหรับปัญหาเส้นทางสั้นที่สุด (s) นั้น วิธีแบบศึกษาสำนึกจะกำหนดให้ "การศึกษาสำนึก" เป็น ฟังก์ชันศึกษาสำนึก , formula_1 อยู่บนปม (s) ของต้นไม้สำหรับค้น (), ซึ่งทำงานโดยการประมาณค่าของวิถี() สั้นที่สุดหรือมีค่าน้อยสุด จากปมปัจจุบันไปยังปมเป้าหมาย () วิธีการศึกษาสำนึกใช้ใน เช่น การค้นหาของที่ดีที่สุดเชิงละโมบ หรือ และ การค้นหาเอสตาร์ สำหรับเป็นผู้เลือกหรือตัวตัดสินใจเลือกปมที่ดีที่สุดก่อนการค้นหาปมต่อไป. การค้นหาของที่ดีที่สุดเชิงละโมบ (Greedy best-first search) จะเลือกปมที่มีค่าน้อยที่สุดสำหรับฟังก์ชันศึกษาสำนึก ส่วน เอสตาร์ (A*) จะค้นหาปมที่มีค่าน้อยที่สุดจากสมการ formula_2, โดยที่ฟังก์ชัน formula_3 คือ ค่าที่แท้จริง (exact cost) สำหรับเส้นทางจาก สถานะกำหนดเริ่มต้น (initial state) มายังสถานะปัจจุบัน. และโดยที่ฟังก์ชัน formula_1 จะส่งค่าประมาณการศึกษาสำนึกที่ยอมรับได้ นั่นคือ ถ้าฟังก์ชัน formula_1 เป็นค่าประมาณที่ไม่เคยประมาณมากกว่าค่าจริงจนถึงเป้าหมาย (goal) — สำหรับกรณีนี้เอสตาร์ (A*) ได้มีการพิสูจน์แล้วว่าได้ผลเฉลยที่เหมาะที่สุดเสมอ () การปรับตัวเป็นสัตว์เลี้ยง
การปรับตัวเป็นสัตว์เลี้ยง (หรือ การทำให้เชื่อง) หรือ การปรับตัวเป็นไม้เลี้ยง
เป็นทฤษฎีวิทยาศาสตร์เกี่ยวกับความสัมพันธ์แบบพึ่งพาอาศัยกันระหว่างพืชหรือสัตว์ กับมนุษย์ผู้มีอิทธิพลในการดูแลรักษาและการสืบพันธุ์ของพวกมัน
เป็นกระบวนการที่ประชากรสิ่งมีชีวิตเปลี่ยนแปลงพันธุกรรมผ่านรุ่นโดยการคัดเลือกพันธุ์ (selective breeding) เพื่อเน้นลักษณะสืบสายพันธุ์ที่เป็นประโยชน์ต่อมนุษย์ โดยมีผลพลอยได้เป็นความเคยชินของสิ่งมีชีวิตต่อการพึ่งมนุษย์ ทำให้พวกมันสูญเสียความสามารถในการดำรงชีวิตอยู่ตามธรรมชาติ ระเบียบวิธีแบบวิทยาศาสตร์
เมื่อคาดคะเนคำตอบว่า "แสงแดดทำให้ต้นหญ้าเจริญงอกงาม ดังนั้นต้นหญ้าที่ถูกแสงแดดจะเจริญงอกงาม ส่วนต้นหญ้าที่ไม่ถูกแสงแดดจะไม่เจริญงอกงามหรือเฉาตายไป" ดังนั้นในขั้นนี้จะเป็นขั้นที่จะตรวจสอบว่า คำตอบที่เราคาดคะเนไว้นี้จะถูกต้องหรือไม่ โดยอาจออกแบบการทดลองได้ดังนี้
นำต้นหญ้า (หรือพืชชนิดอื่นก็ได้เช่นถั่วเขียวที่ต้องเหมือนกันทั้ง 2 กลุ่มชุดการทดลอง) ปลูกในทีมีแสงแดด ส่วนอีกหนึ่งกลุ่มปลูกใช้สังกะสีมาครอบไว้ไม่ให้ได้รับแสงแดด (จัดชุการทดลองและชุดควบคุมให้เหมือนกันทุกประการยกเว้นการได้รับแสงแดด กับไม่ได้รับแสงแดด) ทำการควบคุมทั้งปริมาณน้ำที่รดทั้ง 2 กลุ่มนี้เท่าๆ กัน ประมาณ 2 สัปดาห์ ทำการสังเกตและบันทึกผลนำข้อมูลที่ได้มาวิเคราะห์หาค่าเฉลี่ยความสูงของต้นหญ้า หรือการนำจำนวนใบของต้นหญ้า ซึ่งเราพบว่าต้นหญ้าที่ได้รับแสงแดดจะเจริญเติบโตงอกงามดีส่วนต้นหญ้าที่ไม่ได้รับแสงแดดจะมีสีเหลืองหรือสีขาวซีด และไม่งอกงาม จากนั้นก็สรุปผลการทดลอง ต้นไม้แบบที
เหตุผลหลักน่าจะเป็นเพราะว่าสมมติฐานแบบเดิมที่บอกว่าอัตราการเข้าถึงแคชและหน่วยความจำหลักเท่ากันใช้ไม่ได้อีกต่อไป เนื่องจากในปัจจุบันอัตราการเข้าถึงแคชจะเร็วกว่าหน่วยความจำหลักมาก ต้นไม้ (โครงสร้างข้อมูล)
ต้นไม้เน้นการทำงานอย่างรวดเร็วโดยการตัดทอนกิ่งที่ไม่สนใจ เช่นต้นไม้ค้นหาแบบทวิภาคที่สามารถไล่ไปตามกิ่งของต้นไม้ ทำให้อย่างมากที่สุด การค้นหาก็จะผ่านจำนวนข้อมูลเท่ากับความสูงของต้นไม้ ซึ่งความสูงของต้นไม้ที่น้อยที่สุดเป็น O (log n) จึงทำให้บริการที่เร็วที่สุดเป็น O (log n) อย่างไรก็ตาม หากจัดการไม่เหมาะสม ความสูงของต้นไม้อาจยืดเป็น O (n)ได้ส่งผลให้บริการช้า จึงต้องมีการจำกัดความสูงและคงสมดุลของต้นไม้ให้เหมาะสม
การแวะผ่านต้นไม้ (tree traversal) หมายถึงการทำงานผ่านต้นไม้ใดๆ เช่นการไล่พิมพ์สมาชิก การสร้างแถวลำดับเก็บทุกสมาชิกของต้นไม้ ฯลฯ ที่จำเป็นต้องผ่านสมาชิกทุกๆตัวในต้นไม้ ซึ่งการเรียงลำดับการแวะผ่านต้นไม้จำเป็นต้องใช้ความสัมพันธ์เวียนเกิด การแวะผ่านต้นไม้มีสามแบบดังต่อไปนี้ เกณฑ์วิธีต้นไม้แบบทอดข้าม
ถ้า Switch มันตรวจสอบพบว่ามีการเปลี่ยนแปลงอะไรเกิดขึ้นภายใน Switch และถ้ามันมีค่า cost พอที่จะเปลี่ยนสถานะมาเป็น Designated port มันก็จะทำการเปลี่ยนสถานะจาก Blocking ไปจนถึง Forward port ตามสถานการณ์นั้นๆ port ที่ Blocking จะไม่ส่ง User ของมัน แต่จะมีการส่ง BPDU ส่งไปให้ Port ที่ Block แต่ข้อมูลของ User ไม่ส่ง ถ้าเกิด หายไปหรือเริ่มมีการผิดปกติ มันก็จะเปลี่ยนจาก มาเป็นทันที ถ้า หายไปในช่วงระยะเวลาหนึ่งมันก็จะเปลี่ยนเป็น ประมาณ 15 วินาที ถ้ามัน Listening แล้ว port นี้ต้องเปลี่ยนตัวเองไปอีก และมันก็จะเข้าสู่ Mode Learning มันก็จะดูว่ามีอะไรเกิดขึ้น ถ้าเกิดว่ายังไม่ได้รับ BPDU เข้ามามันก็จะ Learning ทันที ข้อมูลที่ส่งเข้ามาหาตัวมันก็จะเก็บที่ Mac Table ทันที เพื่อที่จะเก็บเป็นข้อมูลตั้งต้น พอผ่านมา 15 วินาทีมันก็จะเข้าสู่ Mode Forwarding ทันที Forward เป็นการส่งข้อมูล User ตามปกติ ต้นไม้คาร์ทีเซียน
หากลำดับความสำคัญของแต่ละคีย์ถูกเลือกแบบสุ่มและอิสระเมื่อคีย์ถูกแทรกลงในต้นไม้ต้นไม้คาร์ทีเซียนที่เป็นผลลัพธ์จะมีคุณสมบัติเหมือนกับต้นไม้การค้นหาแบบไบนารีแบบสุ่มต้นไม้คำนวณด้วยการแทรกคีย์ในการปรับเปลี่ยนแบบสุ่มที่เลือกเริ่มต้น จากต้นไม้ที่ว่างเปล่าโดยการแทรกแต่ละอันจะทำให้โครงสร้างของต้นไม้เดิมไม่เปลี่ยนแปลงและแทรกโหนดใหม่เป็นใบของต้นไม้ ต้นไม้การค้นหาแบบไบนารีแบบสุ่มได้รับการศึกษามานานแล้วและเป็นที่รู้จักกันดีว่าเป็นต้นไม้ที่มีการค้นหา (มีความลึกของลอการิทึมสูงมาก) พฤติกรรมที่ดีเช่นเดียวกันนำไปสู่ ​​treaps นอกจากนี้ยังมีความเป็นไปได้ที่อารากอนและซีริดแนะนำให้เปลี่ยนโหนดที่เข้าถึงได้บ่อยๆซึ่งทำให้พวกเขาก้าวไปสู่รากเหง้าของการทรมานและเร่งการเข้าใช้งานในอนาคตสำหรับคีย์เดียวกัน การเรียนรู้แบบไม่มีผู้สอน
การเรียนรู้แบบไม่มีผู้สอน () เป็นเทคนิคหนึ่งของการเรียนรู้ของเครื่อง โดยการสร้างโมเดลที่เหมาะสมกับข้อมูล การเรียนรู้แบบนี้แตกต่างจากการเรียนรู้แบบมีผู้สอน คือ จะไม่มีการระบุผลที่ต้องการหรือประเภทไว้ก่อน การเรียนรู้แบบนี้จะพิจารณาวัตถุเป็นเซตของตัวแปรสุ่ม แล้วจึงสร้างโมเดลความหนาแน่นร่วมของชุดข้อมูล การทำไม้
การตัดไม้เฉพาะที่มีมูลค่าสูงและทิ้งไม้ที่มีมูลค่าต่ำกว่า โดยมักเป็นต้นที่เป็นโรคหรือผิดรูปผิดส่วน มักเรียกว่าเป็น การเลือกชั้นคุณภาพสูง (high grading) บางครั้งเรียก การทำไม้ระบบเลือกตัด (selective logging) และมักสับสนกับการเลือกตัด (selection cutting) การปฏิบัติจัดการขึ้นกับการทำสัดส่วนต้นไม้ โครงสร้างข้อมูลเซตไม่มีส่วนร่วม
ป่าไม้เซตไม่มีส่วนร่วมเป็นโครงสร้างข้อมูลซึ่งจะใช้โครงสร้างข้อมูลต้นไม้ในการแทนแต่ละเซต และโครงสร้างข้อมูลต้นไม้นี้ก็จะจัดเก็บโดยใช้รูปแบบ Spaghetti stack กล่าวคือแต่ละจุดยอดจะโยงไปยังพ่อของตัวมัน ป่าไม้เซตไม่มีส่วนร่วมได้มีการคิดค้นโดย 
Bernard A. Galler และ Michael J. Fischer ใน พ.ศ. 2507 โดยที่การวิเคราะห์ประสิทธิภาพของโครงสร้างข้อมูลนี้อย่างละเอียดตามมาหลังจากนั้นหลายปี ลักษณะบุคลิกภาพใหญ่ 5 อย่าง
เมื่อใช้ทั้ง 4 สไตล์ในการเรียน แต่ละอย่างก็น่าจะทำให้เรียนได้เก่งขึ้น
แบบจำลองนี้ยืนยันว่า นักเรียนนักศึกษาจะพัฒนาสไตล์การเรียนเป็นแบบประมวลข้อมูลอย่างตื้น ๆ (agentic/shallow processing) โดยมีจุดมุ่งหมายเพื่อให้สอบได้ดี หรือเป็นแบบประมวลข้อมูลอย่างลึกซึ้ง (reflective/deep processing)
ผู้ที่ประมวลข้อมูลอย่างลึก บ่อยครั้งพิถีพิถัน เปิดรับความคิด และสนใจสิ่งภายนอกมากกว่า เปรียบเทียบกับผู้ประมวลข้อมูลอย่างตื้น ๆ
การประมวลข้อมูลอย่างลึก สัมพันธ์กับวิธีการเรียนที่เหมาะสม (คือเป็นการเรียนอย่างเป็นระบบ) และความสามารถที่ดีกว่าในการวิเคราะห์ข้อมูล (การวิเคราะห์โดยสังเคราะห์และแบบขยายเพิ่ม) เทียบกับผู้ประมวลข้อมูลอย่างตื้น
หน้าที่หลักของสไตล์การเรียน 4 อย่างนี้ เป็นดังต่อไปนี้ ต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้
formula_1 อันดับสัตว์ฟันแทะ
นอกจากนี้แล้วหนูบ้านอาจจะมีกระบวนการทางปัญญา (metacognition) ซึ่งหมายถึงการตระหนักถึงการเรียนรู้ของตัวเองและตัดสินใจด้วยความรู้ที่มีหรือไม่มี โดยความคิดนี้สนับสนุนโดยผลการทดลองเกี่ยวกับการตัดสินใจของหนูบ้านเกี่ยวกับการเลือกหน้าที่ที่ง่ายกว่าและมีรางวัลสูง ซึ่งทำให้หนูเป็นสัตว์ที่สองหลังจากสัตว์อันดับวานรที่มีความสามารถนี้ แต่ทว่าผลการทดลองนี้มีข้อโต้แย้งอยู่เป็นจะนวนมากเนื่องจากหนูทดลองอาจจะเพียงทำตามที่ทฤษฎีการวางเงื่อนไขด้วยการกระทำ (operant conditioning principles) หรือโมเดลเศรษฐศาสตร์พฤติกรรม หนูบ้านใช้ความสามารถในการเรียนรู้สังคมในสถานการณ์หลายอย่างโดยเฉพาะการแสวงหาอาหารที่ชอบ การเรียนรู้ของเครื่อง
การเรียนรู้แบบเสริมกำลัง พิจารณาว่า "เอเยนต์" ควรจะมี "การกระทำ" ใดใน "สิ่งแวดล้อม" เพื่อที่จะได้ "รางวัล" สูงสุด อัลกอริทึมของการเรียนรู้แบบเสริมกำลังนี้พยายามจะหา "นโยบาย" ที่เชื่อมโยง "สถานะ" ของโลกเข้ากับการกระทำที่เอเยนต์ควรจะทำในสถานะนั้นๆ การเรียนรู้แบบเสริมกำลังนี้มีความแตกต่างไปจากการเรียนรู้แบบมีผู้สอนตรงที่ว่า คอมพิวเตอร์จะไม่รู้เลยว่าอะไรถูกอะไรผิด กล่าวคือ ไม่มีการบอกอย่างชัดเจนว่าการกระทำใดยังไม่ดี ต้นไม้ตัดสินใจ
เมื่อพิจารณาเอนโทรปีแล้วจะเห็นว่าเอนโทรปีจะมีค่าอยู่ระหว่าง 0 กับ 1 โดยจะมีค่าเป็นศูนย์เมื่อทุกๆกรณีมีผลลัพธ์เพียงแบบเดียว เช่น ใช่ทั้งหมด หรือ ไม่ใช่ทั้งหมด และจะมีค่ามากขึ้นเมื่อเริ่มมีค่าที่แตกต่างกันมากขึ้น หรือจะพูดอีกนัยหนึ่งก็คือเอนโทรปีจะมีค่ามากขึ้นหากข้อมูลไม่บริสุทธิ์ และจะตัดสินใจได้ว่าผลลัพธ์จะเป็นอะไรเมื่อเอนโทรปีเป็น 0 เท่านั้น การหาค่าเหมาะสุดอย่างตอบสนอง
การค้นหาค่าเหมาะสุดอย่างตอบสนองนั้นสนับสนุนการผสมผสานกันระหว่างวิธีการการเรียนรู้ของเครื่องจักรภายใต้วิธีทางสัญลักษญ์(sub-symbolic machine learning)และการศึกษาสำนึกด้วยวิธีการค้นหา(search heuristics) เพื่อร่วมกันแก้ปัญหาการค้นหาค่าเหมาะสุดที่ซับซ้อน คำว่า "อย่างตอบสนอง" นั้น หมายถึงพร้อมเสมอที่จะตอบสนองต่อเหตุการณ์ระหว่างการค้นหา ทั้งประวัติในการค้นหาและความรู้ต่างๆที่เก็บสะสมมาในขณะที่เคลื่อนตัวผ่านพื้นที่โครงแบบนั้นถูกใช้ในการปรับตัวเองอย่างอัตโนมัติ ซึ่งขั้นตอนวิธีการนี้ได้ถูกสร้างขึ้นมาเพื่อให้มีความยืนหยุ่นต่อการจัดการกับปัญหาที่แตกต่างในระหว่างการค้นหา หรือกล่าวโดยสรุปว่ามันมีความมสามารถในการปรับตัวอย่างอัตโนมัติโดยการตัดสินใจจากประสบการณ์ในอดีตนั่นเอง
ในโลกแห่งความเป็นจริงนั้น คนต้องพบเจอกับปัญหาในชีวิตประจำวันมากมาย เรามักเลือกตัดสินปัญหาหลายๆอย่างโดยยึดจากการสังเกตและเรียนรู้ประสบการณ์ที่ผ่านมาในอดีตเป็นแนวทางในการแก้ไขและพัฒนา นอกจากนี้สมองของคนมีการเรียนรู้ที่รวดเร็วทำให้ในบางครั้งที่ตัดสินใจทำอะไรไปแล้ว ก็สามารถต้องเปลี่ยนแผนกลางครันเมื่อเห็นว่าเราเดินมาผิดทางและมีทางที่น่าจะได้ผลดีกว่าทางปัจจุบัน ด้วยพฤติกรรมของคนนี้เองเป็นแบบอย่างให้เกิดขึ้นตอนวิธีนี้ขึ้น เพราะในโลกของการแก้ปัญหาทางคอมพิวเตอร์นั้นก็มีวิธีการค้นหาคำตอบมากมายผ่านปริภูมิการค้นหา(search space)เช่นเดียวกัน ทำให้เกิดการเพิ่มวิธีการเรียนรู้ของเครื่อง(machine learning)ไปสู่การค้นหาค่าเหมาะสุดอย่างตอบสนอง ปัญญาประดิษฐ์
การจัดหมวดหมู่หรือกลุ่มนี้สามารถสอนกันได้หลายแบบ ไม่ว่าจะใช้วิธีการทางสถิติหรือทางการเรียนรู้ของเครื่อง วิธีการที่นิยมใช้ได้แก่ โครงข่ายประสาทเทียม วิธีเคอร์เนล support vector machine ขั้นตอนวิธีการค้นหาเพื่อนบ้านใกล้สุด k ตัว โมเดลผสมแบบเกาส์ การจัดหมวดหมู่แบบเบย์ใหม่ และต้นไม้การตัดสินใจ ประสิทธิภาพของแต่ละเครื่องมือนั้นขึ้นอยู่กับงานที่ทำแต่ละงานและคุณสมบัติของข้อมูลที่เข้ามา โดยทั่วไปแล้ว ไม่มีเครื่องมือใดที่ทำหน้าที่ได้ดีที่สุดบนทุกปัญหา การเรียนรู้ของเครื่อง
การเรียนรู้ต้นไม้ตัดสินใจ ใช้ต้นไม้ตัดสินใจในการสร้างโมเดลที่พยากรณ์ได้ ซึ่งจะเชื่อมโยงข้อมูลสังเกตการณ์เข้ากับข้อมูลปลายทาง ต้นไม้ 2–3–4
ตัวเลข 2 3 และ 4 บอกถึงรูปแบบของ node ที่ใช้ใน tree มี 3 แบบ ดังนี้ ต้นไม้ตัดสินใจ
ID3 (Examples, Target_Attribute, Attributes) ต้นไม้ค้นหาแบบทวิภาคที่มีโครงสร้างปรับสมดุลเองได้
การดำเนิการกับต้นไม้ค้นหาแบบทวิภาคส่วนใหญ่ไม่ว่าจะเป็นการค้นหาข้อมูล การใส่ข้อมูล การลบข้อมูล ประสิทธิภาพของการดำเนินการนั้นล้วนขั้นอยู่กับความสูงของต้นไม้ ดังนั้นการรักษาให้ต้นไม้นั้นมีประสิทธิภาพในการดำเนินการดี นั่นคือการลดความสูงของต้นไม้ลงเท่าที่จะทำได้ โดยต้นไม้ทวิภาคที่มีความสูง h จะมีปมได้ไม่เกิน 2+2+···+2 = 2-1 ปม หากต้นไม้มี n ปม และมีความสูง h จะได้ว่า: การเรียนรู้ของเครื่อง
การเรียนรู้ของเครื่อง () เป็นสาขาหนึ่งของปัญญาประดิษฐ์ที่พัฒนามาจากการศึกษาการรู้จำแบบ เกี่ยวข้องกับการศึกษาและการสร้างอัลกอริทึมที่สามารถเรียนรู้ข้อมูลและทำนายข้อมูลได้ อัลกอริทึมนั้นจะทำงานโดยอาศัยโมเดลที่สร้างมาจากชุดข้อมูลตัวอย่างขาเข้าเพื่อการทำนายหรือตัดสินใจในภายหลัง แทนที่จะทำงานตามลำดับของคำสั่งโปรแกรมคอมพิวเตอร์ ต้นไม้ตัดสินใจ
ในบางกรณีข้อมูลที่มีให้มีบางตัวขาดหายไป เช่น การวิเคราะห์โรคของผู้ป่วยอาจต้องใช้ผลเลือดในการวิเคราะห์ แต่ไม่สามารถหามาได้ จึงอาจต้องประมาณผลเลือดโดยการประมาณวิธีหนึ่งคือการใช้ผลเลือดที่คนส่วนใหญ่เป็นมากที่สุดซึ่งถูกใช้โดย Mingers (1989) หรืออีกวิธีคือการวิเคราะห์อัตราส่วนซึ่งถ่วงน้ำหนักการตัดสินใจในแต่ละอย่างด้วยสถิติที่ผ่านมา วิธีนี้ถูกนำมาใช้ใน C4.5 โดย Quinlan (1993) ด็อม
การจัดข้อมูลในรูปแบบด็อมนั้นใช้แผนภูมิต้นไม้ในการบอกความสัมพันธ์ระหว่างวัตถุแต่ละชิ้น อย่างไรก็ตาม ด็อมมีจุดอ่อนในเรื่องประสิทธิภาพเมื่อต้องประมวลผลเอกสารขนาดใหญ่ ซึ่งด็อมจำเป็นต้องอ่านเอกสารให้ครบทั้งหมดก่อน จึงจะเริ่มประมวลผล ข้อเสียนี้จึงเกิดการออกแบบ SAX ที่ใช้วิธีอ่านเอกสารทีละส่วนแทน ความเอนเอียงโดยการมองในแง่ดี
Egocentric thinking (ความคิดมีตนเป็นศูนย์กลาง) หมายถึงการที่เรารู้ข้อมูลและความเสี่ยงของตนเอง พอที่จะสามารถใช้ในการประเมินและการตัดสินใจ
แต่ว่า แม้ว่าเราจะมีข้อมูลมากเกี่ยวกับตนเอง เรากลับไม่มีข้อมูลเกี่ยวกับผู้อื่น
ดังนั้น เมื่อจะทำการตัดสินใจ เราต้องใช้ข้อมูลอื่นที่เรามี เช่นข้อมูลเกี่ยวกับกลุ่ม ใช้เพื่อที่จะเรียนรู้เกี่ยวกับผู้ที่เป็นเป้าหมายมากยิ่งขึ้น 
นี้อาจจะมีความสัมพันธ์กับความเอนเอียงประเภทนี้ เพราะว่า แม้ว่าเราจะสามารถใช้ข้อมูลที่มีเกี่ยวกับตน แต่เรากลับมีความยากลำบากในการเข้าใจข้อมูลที่ถูกต้องเกี่ยวกับผู้อื่น 
ความคิดมีตนเป็นศูนย์กลางเช่นนี้พบได้บ่อยครั้งกว่าในเด็กวัยรุ่นและเด็กมหาวิทยาลัย ที่มักจะคิดถึงตนเองมากกว่าผู้อื่นโดยรวม ๆ ต้นไม้ 2–3
การค้นหารายการในโครงสร้าง 2-3 จะคล้ายกับการค้นหารายการในโครงสร้างการค้นหาแบบไบนารี ( binary search tree)  เนื่องจากมีการสั่งองค์ประกอบข้อมูลในแต่ละโหนดจะมีการค้นหาฟังก์ชันการค้นหาไปยัง subtree ที่ถูกต้องและในที่สุดจะเป็นโหนดที่ถูกต้องซึ่งประกอบด้วยรายการดังกล่าว ต้นไม้ตัดสินใจ
Examples คือตัวอย่างที่นำมาสอน Target_Attribute คือตัวแปรตาม Attribute คือตัวแปรต้น ต้นไม้ค้นหาแบบทวิภาค
ต้นไม้ค้นหาแบบทวิภาค () เป็นโครงสร้างข้อมูล ซึ่งใช้โครงสร้างต้นไม้ในการทำต้นไม้ค้นหาแบบทวิภาคต่างจากต้นไม้แบบทวิภาคตรงที่ส่วนของต้นไม้ด้านซ้ายของข้อมูลใดๆ จะน้อยกว่าข้อมูลนั้น และส่วนของต้นไม้ด้านขวาของข้อมูลใดๆ จะมากกว่าข้อมูลนั้นเสมอ ต้นไม้ค้นหาแบบทวิภาคสร้างขึ้นมาเพื่อให้เติมลบ หรือหาได้ง่าย สำหรับข้อมูลที่เปรียบเทียบกันได้ 
ต้นไม้ค้นหาแบบทวิภาคมักใช้ในการทำโครงสร้างข้อมูลชนิดอื่นๆต่อไป ต้นไม้ตัดสินใจ
ซึ่งแบบแรกนั้นในทางปฏิบัติเป็นไปได้ยากกว่าแบบที่สองเพราะเราไม่รู้ว่าเมื่อไรควรจะหยุดการเจริญเติบโตของต้นไม้ จึงใช้วิธีที่สองมากกว่าซึ่งในวิธีที่สองนี้เริ่มต้นจะแบ่งตัวอย่าง (Example) ออกเป็น 3 ส่วนด้วยกันคือ ต้นไม้ตัดสินใจ
เมื่อตัวแปรต้นมีค่าต่อเนื่องจำเป็นที่จะต้องมีการแบ่งค่าต่อเนื่องออกมาเป็นช่วงๆแบบไม่ต่อเนื่อง ซึ่งไม่ต่อเนื่องทำให้สามารถประมวลผลได้ด้วยต้นไม้การตัดสินใจ แต่หากต้องการข้อมูลนำเขาและส่งออกที่ต่อเนื่องจริงๆจำเป็นที่จะต้องใช้วิธีอื่นๆ เช่น ข่ายงานประสาทเทียม (Neural Network) ต้นไม้ตัดสินใจ
เกนความรู้ (Information Gain) ต้นไม้บีเค
ต้นไม้บีเค ( หรือ ) เป็นโครงสร้างข้อมูลแบบต้นไม้ซึ่งออกแบบมาเพื่อค้นหาสตริงที่ใกล้เคียงกับสตริง ใช้ในการตรวจสอบตัวสะกดตามระยะห่าง ระหว่างคำสองคำซึ่งโดยทั่วไปแล้วจะมีจำนวนการเปลี่ยนแปลงที่ต้องทำเพื่อเป็นการเปลี่ยนเป็นคำอื่น อันดับสัตว์ฟันแทะ
ความรู้เกี่ยวกับความฉลาดของสัตว์ฟันแทะมีความก้าวหน้ามากขึ้นเนื่องจากการนำหนูหริ่งบ้านและหนูบ้านมาเป็นสัตว์ทดลอง หนูบ้านมีอคติทางการตัดสินใจ โดยการประมวลผลข้อมูลจะเปลี่ยนแปลงขึ้นอยู่กับสภาวะทางจิตใจ ตัวอย่างเช่นเมื่อหนูทดลองถูกฝึกให้ตอบสนองต่อโทนเสียงเฉพาะโดยการกดคันโยกเพื่อรับรางวัลและกดคันโยกอื่นเมื่อได้ยินอีกโทนเสียงเพื่อหลีกเลี่ยงการถูกไฟฟ้าช็อต หนูทดลองตัวนั้นจะต่อสอบสนองต่อเสียงที่อยู่ระหว่างโทนเสียงทั้งสองโดยการกดคันโยกที่ได้รับรางวัลมากกว่าเมื่อหนูตัวนั้นได้ถูกจักจี้ (สิ่งที่หนูชอบ) การทดลองนี้ชี้ให้เห็นถึงความสัมพันธ์ระหว่างสภาวะจิตใจที่ดีและการตัดสินใจเมื่อพบเจอสถานการณ์ที่ไม่แน่นอนของสัตว์ทดลอง เกมกลยุทธ์
เกือบทุกเกมกลยุทธ์ต้องตัดสินใจด้วยการคิดแบบต้นไม้ตัดสินใจ และมักจะใช้การรับรู้สถานการณ์ในระดับสูง ต้นไม้ตัดสินใจ
ID3 สามารถมองได้ว่าเป็นการค้นหาสมมติฐาน (hypothesis) จากสเปซของสมมติฐานทั้งหมด (hypothesis space) โดยที่สมมติฐานทั้งหมดคือต้นไม้การตัดสินใจทั้งหมดที่เป็นไปได้จากลักษณะต่างๆที่กำหนดมา ID3 ค้นหาต้นไม้จากรูปแบบง่ายไปสู่รูปแบบที่ซับซ้อน (simple-to-complex) ทั่วสเปซดังรูปด้านบน เริ่มจากต้นไม้ที่ว่างเปล่า และใส่รายละเอียดไปเรื่อยๆเพื่อให้สอดคล้องกับชุดข้อมูลที่นำมาเรียนรู้มากยิ่งขึ้น ฟังก์ชันที่บอกแนวทางการเติบโตของต้นไม้คือเกนความรู้ เมื่อมอง ID3 ในมุมมองของการค้นหาแล้ว สามารถวิเคราะห์ประสิทธิภาพและข้อจำกัดได้ดังนี้ ต้นไม้ตัดสินใจ
ต้นไม้ตัดสินใจนี้ใช้ทำนายว่าจะเล่นกีฬาหรือไม่ โดยพิจารณาจากลักษณะอากาศของวันนั้น โดยวัตถุที่ต้องการทำนายประเภท ประกอบด้วยลักษณะหรือตัวแปร 3 ตัว ได้แก่ ทัศนียภาพ ความชื้น และ กระแสลม ดังนั้น ถ้ากำหนดวันวันหนึ่งมีคุณลักษณะแสดงเป็นเวกเตอร์ เช่น [สภาพอากาศ=แดดออก, ความชื้น=สูง] การทำนายว่าจะเล่นกีฬาหรือไม่ จะเริ่มจากบัพราก โดยทดสอบค่าตัวแปร "สภาพอากาศ" ซึ่งมีค่าเท่ากับ "แดดออก" จึงไปทดสอบค่าตัวแปร "ความชื้น" ในบัพถัดไป ทำให้ได้ประเภทของวันนี้คือ "ไม่เล่นกีฬา" ต้นไม้ตัดสินใจ
ในปัจจุบันนั้นมีการพัฒนาขั้นตอนวิธี (English: algorithm) ในการสอน (training) ต้นไม้การตัดสินใจมากมาย ซึ่งส่วนมากมาจากวิธีพื้นฐานวิธีหนึ่งซึ่งเป็นการค้นหาแบบละโมภ (English: greedy search) จากบนลงล่าง (top-down) ชื่อว่า ID3 ซึ่งถูกพัฒนาโดย John Ross Quinlan ในปี 1986 ธุรกิจอัจฉริยะ
ธุรกิจอัจฉริยะกับระบบสนับสนุนการตัดสินใจเกี่ยวข้องกันอย่างไร ต้นไม้ตัดสินใจ
จะเห็นว่าหากเกนความรู้ของ A ยิ่งมากแสดงว่าหลังจากแบ่งตัวอย่าง S ด้วย A แล้วในแต่ละชุดที่แบ่งได้จะมี Entropy เข้าใกล้ศูนย์มากยิ่งขึ้น ทำให้ใกล้ที่จะตัดสินใจได้มากขึ้น เกนความรู้จึงเป็นค่าที่ดีที่จะบอกความดีของตัวแปรต้นที่นำมาพิจารณา ต้นไม้และ–หรือ
ต้นไม้ (อังกฤษ: Tree) เป็น แบบชนิดข้อมูลนามธรรม ประเภทหนึ่ง มีลักษณะการเรียงเป็นกิ่งก้านสาขาแตกแขนงออกไป จะไม่มีวงวน (loop) โยงในสมาชิกตัวต่างๆ โดยสมาชิกจะถูกเก็บไว้ในประเภทข้อมูลชนิดวัตถุ (Object) หรือโครงสร้าง (Structure) เรียกว่าปม (node) ซึ่งจะมีตัวแปรซึ่งเก็บตัวชี้ (Pointer) ไปยังปมอื่นๆได้ต้นไม้ถูกใช้ในการจัดการข้อมูลที่เปรียบเทียบกันได้ (comparable) อย่างรวดเร็วเช่น ตัวเลข หรือ การเรียงลำดับความสำคัญของข้อมูล เช่น การคำนวณที่มีวงเล็บ เป็นต้น ต้นไม้ตัดสินใจ
ส่วนเรียนรู้สำหรับต้นไม้ (training set) ในส่วนนี้จะนำไปผ่านกระบวนการเรียนรู้ต่างๆ เช่น ID3 เพื่อให้ต้นไม้เจริญเติบโต ส่วนปรับปรุงต้นไม้ให้ถูกต้องยิ่งขึ้น (validating set) ในส่วนนี้จะทำไปผ่านการตัดแต่งเพื่อหลีกเลี่ยงการโอเวอร์ฟิตของสมมติฐาน ส่วนทดสอบ (test set) ในส่วนนี้จะบอกประสิทธิภาพของต้นไม้ว่าดีเท่าใด การแบ่งประเภทข้อมูล
ในวิทยาการคอมพิวเตอร์ การแบ่งประเภทข้อมูล () เป็นปัญหาพื้นฐานของการเรียนรู้แบบมีผู้สอน โดยปัญหาคือการทำนายประเภทของวัตถุจากคุณสมบัติต่าง ๆ ของวัตถุ ซึ่งการเรียนรู้แบบมีผู้สอนจะสร้างฟังก์ชันเชื่อมโยง ระหว่างคุณสมบัติของวัตถุ กับประเภทของวัตถุจากตัวอย่างสอน แล้วจึงใช้ฟังก์ชันนี้ทำนายประเภทของวัตถุที่ไม่เคยพบ เครื่องมือหรือขั้นตอนวิธีที่ใช้สำหรับการแบ่งประเภทข้อมูลเช่น โครงข่ายประสาทเทียม ต้นไมตัดสินใจ ต้นไม้ค้นหาแบบทวิภาค
จุดเด่นของต้นไม้ค้นหาแบบทวิภาคคือการเอาออก นำเข้า และการเรียงลำดับของข้อมูลอยู่ตลอดเวลา และการค้นหาแบบ
ทวิภาค (binary search) ทำให้ตัดออกได้เป็นส่วนๆ และใช้เวลาโดยเฉลี่ย O(log n)ความเร็วในการทำงานส่วนมากยังเป็น O(log n) เนื่องจากมีการค้นหาเป็นการค้นหาแบบทวิภาค ซึ่งตัดสิ่งที่เป็นไปไม่ได้ออกครึ่งหนึ่ง ทำให้ทำงานได้รวดเร็ว แต่บางกรณี ที่ต้นไม้ยาว (ยาวสุดคือต่อกันเป็นรายการโยง)
เช่นนี้อาจทำให้ต้นไม้ทำงานช้า ไม่สามารถการันตีประสิทธิภาพได้ นำไปสู่แนวคิดการทำต้นไม้เอวีแอลต่อไป โครงสร้างข้อมูลเซตไม่มีส่วนร่วม
วิธีแรก เรียกว่า "union by height" ใช้แนวคิดว่าให้นำต้นไม้ที่มีความสูงต่ำกว่าไปต่อต้นไม้ที่มีความสูงมากกว่าเสมอเหมือนแนวคิดของ "weighted-union heuristic" ด้วยวิธีนี้จะทำให้ต้นไม้มีความสูงเพิ่มขึ้นก็ต่อเมื่อนำต้นไม้ที่มีความสูงเท่ากันพอดีมายูเนียนกัน และความสูงจะเพิ่มเพียงแค่ 1 ด้วย ดังนั้นเนื่องจากสามารถมีการ"ยูเนียน"ได้เพียง log "n" ครั้ง ความสูงของต้นไม้จึงเป็น log "n" ด้วย ส่งผลให้การดำเนินการทั้ง"ค้นหา" และ"ยูเนียน" ในแต่ละครั้งใช้เวลา O(log "n") สามารถเขียนเป็นรหัสเทียมได้ดังนี้ ต้นไม้ 2–3
ในกรณีของ BB tree ให้ลบค่าลบก่อนเพื่อตัดสินว่าสภาพของต้นไม้ 2-3 tree มีความพึงพอใจหรือไม่ หากค่าการลบเป็นใบที่มีสององค์ประกอบให้ลบค่านั้นออก ในกรณีอื่น ๆ จะมีการดำเนินการโดยการคำนวณค่ามัธยฐานกับ parent หลังจากลบและทำซ้ำการผสมผสานกับพี่น้องของผู้ปกครองหากเด็กอายุสั้น
แทรกทำงานโดยการค้นหาตำแหน่งที่เหมาะสมของคีย์และเพิ่มที่นั่น ถ้าโหนดกลายเป็น 4 โหนดโหนดจะถูกแบ่งออกเป็น 2 โหนดและคีย์กลางจะถูกย้ายไปยังพาเรนต์ แผนภาพแสดงให้เห็นถึงกระบวนการ ต้นไม้ตัดสินใจ
เมื่อเราสามารถบอกความดีของตัวแปรต้นได้จึงสามารถนำไปช่วยในการหาต้นไม้การตัดสินใจด้วย ID3 ได้โดยมีกระบวนการดังนี้ ต้นไม้ 2–3–4
  - ถ้าไม่ใช่ลงไปที่ child node ของ node นั้น และเริ่มทำ step 1 ใหม่