มารู้จักกับ Stream หมายถึงการประมวลผลสตรีมเป็นเทคโนโลยีข้อมูลจำนวนมากมายมหาศาล ใช้เพื่อค้นหากระแสข้อมูลอย่างสม่ำเสมอรวมทั้งค้นหาข้อจำกัดอย่างเร็วภายในช่วงเวลาอันสั้นภายหลังจากได้รับข้อมูล เวลาสำหรับในการตรวจค้นจะนาๆประการตั้งแต่ไม่ลลิวินาทีจนกระทั่งนาที เป็นต้นว่า คุณสามารถใช้การประเมินผลสตรีมเพื่อรับการแจ้งเตือนเมื่ออุณหภูมิถึงจุดที่ทำให้เป็นน้ำแข็งรวมทั้งค้นหาสตรีมข้อมูลที่ได้มาจากเซ็นเซอร์อุณหภูมิ
มีการเรียกชื่อต่างๆดังเช่นว่า การวิเคราะห์แบบเรียลไทม์ การวิเคราะห์การสตรีม การประมวลผลสถานะการณ์ที่สลับซับซ้อน การวิเคราะห์การสตรีมแบบเรียลไทม์ และก็การประมวลผลเรื่อง ในสมัยก่อนมีสิ่งที่แตกต่างบางประการ แม้กระนั้นปัจจุบันนี้ อุปกรณ์ (เฟรมเวิร์ก) กำลังเดินทางมาบรรจบกันภายใต้การประมวลผลสตรีมระยะ (มองปริศนา Quora หนังไทย นี้สำหรับรายการกรอบงานแล้วก็ส่วนท้ายที่สุดของเนื้อหานี้สำหรับความเป็นมา)
Apache Storm เป็นที่นิยมในฐานะ “เทคโนโลยีซึ่งสามารถสร้างผลสรุปได้เร็วขึ้นในตอนที่เป็นเทคโนโลยีอย่าง Hadoop” แล้วก็ถัดมาถูกเอาไปใช้เป็นเทคโนโลยีข้อมูลจำนวนมากมายมหาศาล ปัจจุบันนี้มีผู้สมัครมากไม่น้อยเลยทีเดียว สล็อต
ร่วมกับการเรียนของเครื่องแล้วก็การประมวลผลการสตรีมแบบไม่มีเซิร์ฟเวอร์ ดูเหมือนกับว่าจะเป็นเยี่ยมในประเด็นที่รุนแรงที่สุดในขณะนี้ บริษัทมากหมายกำลังนำเครื่องไม้เครื่องมือประเมินผลสตรีมล่าสุดมาใช้ ผู้ให้บริการกำลังเปิดตัวสินค้าประเมินผลสตรีมที่ดียิ่งขึ้นแล้วก็มีคุณภาพเพิ่มขึ้น รวมทั้งสิ่งที่ต้องการสำหรับมือโปรก็มากขึ้น
เนื้อหานี้จะเสนอแนะคุณเกี่ยวกับเบื้องต้นของการประมวลผลสตรีม ลำดับแรก ฉันจะชี้แจงว่าเพราะเหตุใดก็เลยควรมีการประมวลผลสตรีมและก็การทำงานด้านใน ต่อแต่นี้ไปจะชี้แจงแนวทางสร้างแอปพลิเคชันการประมวลผลสตรีมแบบกระจัดกระจายที่ง่ายและก็ปรับขนาดได้ คุณสามารถทำเป็นทั้งหมดทั้งปวงด้วยรหัสน้อยกว่า 40 บรรทัด คาสิโนออนไลน์
การประมวลผลสตรีมเป็นหัวข้อขนาดใหญ่ ด้วยเหตุดังกล่าวเนื้อหานี้จะเน้นย้ำที่ส่วนการจัดการข้อมูลเป็นหลัก แล้วก็การประมวลผลระดับสูงจะเอ๋ยถึงในบทความแยกต่างหาก เพื่อบทความมีคุณประโยชน์มากเพิ่มขึ้น พวกเรากำลังเอ่ยถึง AWS Kinesis ซึ่งเป็นโซลูชันการประมวลผลสตรีมของ Amazon แต่ว่าพวกเรายังหมายคือเทคโนโลยีโอเพ่นซอร์สยอดฮิตอื่นๆเพื่อคุณได้มุมมองที่กว้างขึ้น
เพื่อทำความเข้าใจว่าเพราะเหตุใดการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองแนวทางการประมวลผลข้อมูลก่อนหน้านี้ที่ผ่านมา ในวิถีทางที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งผองถูกเก็บเอาไว้ในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย และก็แอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับในการคำนวณ เพราะเครื่องไม้เครื่องมือการประมวลผลแบบกางตช์ถูกทำขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับช่วงปัจจุบัน ดังเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่อย่างสม่ำเสมอ เพื่อประเมินผล slotxo
เพื่อทำความเข้าใจว่าเพราะเหตุไรการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองกรรมวิธีประมวลผลข้อมูลก่อนหน้าที่ผ่านมา ในหนทางก่อนหน้าที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งสิ้นถูกเก็บไว้ภายในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย แล้วก็แอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับการคำนวณ เพราะเหตุว่าวัสดุการประมวลผลแบบกางตช์ถูกผลิตขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับขณะปัจจุบัน ดังเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่อย่างสม่ำเสมอ เพื่อประเมินผล
ข้อมูลจำนวนมากมายมหาศาลได้สร้างค่าของข้อมูลเชิงลึกที่ได้รับจากการประมวลผลข้อมูล ข้อมูลเชิงลึกดังที่กล่าวถึงมาแล้วมิได้ถูกผลิตขึ้นในลักษณะเดียวกันทั้งสิ้น ข้อมูลเชิงลึกอะไรบางอย่างมีค่ามากยิ่งกว่าโดยทันทีภายหลังที่เกิดขึ้น รวมทั้งค่าจะต่ำลงอย่างเร็วเมื่อเวลาผ่านไป บาคาร่า การสตรีมช่วยทำให้กำเนิดเหตุการณ์ดังที่ได้กล่าวมาแล้วข้างต้นรวมทั้งชอบให้ข้อมูลเชิงลึกเร็วขึ้น ด้านในไม่ลลิวินาทีถึงวินาทีของทริกเกอร์
ข้างล่างนี้เป็นเหตุผลรองบางประการสำหรับในการใช้การประเมินผลสตรีม
เหตุผลที่ 1: ข้อมูลอะไรบางอย่างเกิดขึ้นตามธรรมชาติเป็นกระแสของเรื่องราวที่ไม่สิ้นสุด สำหรับเพื่อการประเมินผลแบบกรุ๊ป คุณจำเป็นต้องบันทึกข้อมูล หยุดเก็บข้อมูลในบางจุด และก็ประมวลผลข้อมูล แล้วหลังจากนั้นคุณจำเป็นต้องรันชุดงานต่อไป แล้วหนักใจเกี่ยวกับการรวมที่ครอบคลุมหลายชุด ตรงกันข้าม การสตรีมจะจัดแจงสตรีมข้อมูลที่ไม่สิ้นสุดได้อย่างงดงามแล้วก็เป็นธรรมชาติ คุณสามารถตรวจค้นแบบ สำรวจคำตอบ มองระดับการจุดโฟกัสหลายระดับ และก็มองข้อมูลที่ได้มาจากสตรีมหลายรายการพร้อมได้อย่างไม่ยากเย็น
การสตรีมจะปรับตามข้อมูลอันดับเวลาแล้วก็ตรวจแบบอย่างเมื่อเวลาผ่านไป เป็นต้นว่า ถ้าเกิดคุณกำลังมานะค้นหาความยาวของเซสชันเว็บไซต์ในสตรีมที่ไม่จบไม่สิ้น (นี่เป็นแบบอย่างของการพยายามค้นหาลำดับ) คาสิโนออนไลน์ บางเซสชันแบ่งได้เป็นสองชุด ซึ่งทำให้เรียกใช้เป็นกรุ๊ปได้ยาก การประมวลผลสตรีมสามารถจัดแจงสิ่งนี้ได้โดยง่าย
ถ้าหากคุณถอยหนึ่งก้าว ชุดข้อมูลที่สม่ำเสมอที่สุดเป็นข้อมูลอันดับเวลา ดังเช่น เซ็นเซอร์การจราจร เซ็นเซอร์สุขภาพ บันทึกธุรกรรม แล้วก็บันทึกกิจกรรม ข้อมูล IoT แทบจะทั้งหมดเป็นข้อมูลอันดับเวลา ด้วยเหตุดังกล่าวก็เลยสมควรที่จะใช้โมเดลการเขียนโปรแกรมที่เหมาะสมกับธรรมชาติ
เหตุผลที่ 2: สำหรับในการประเมินผลแบบกรุ๊ป ข้อมูลจะถูกเก็บและก็ประเมินผลพร้อม แม้กระนั้นสำหรับการประเมินผลแบบสตรีม ข้อมูลจะถูกประเมินผลครั้งใดก็ตามใส่ข้อมูล โดยเหตุนั้นการประมวลผลก็เลยถูกกระจัดกระจายไปตามช่วง ด้วยเหตุดังกล่าว การประมวลผลแบบสตรีมสามารถดำเนินงานบนอุปกรณ์น้อยกว่าการประมวลผลแบบกางตช์ นอกนั้น UFABET การประมวลผลแบบสตรีมยังช่วยทำให้ประเมินผลการค้นหาข้อมูลคร่าวๆโดยมีข้อจำกัดการโหลดอย่างมีระบบ เพราะฉะนั้น การประมวลผลสตรีมก็เลยเหมาะสมกับกรณีการใช้แรงงานที่คำตอบอย่างคร่าวๆก็พอเพียงแล้ว
เหตุผลที่ 3: ข้อมูลอาจมีขนาดใหญ่และไม่สามารถบันทึกได้ การสตรีมช่วยทำให้คุณสามารถประมวลผลข้อมูลแบบม้าไฟขนาดใหญ่และก็เก็บเฉพาะบิตที่เป็นประโยชน์แค่นั้น สล็อต
เหตุผลที่ 4: ท้ายที่สุด มีข้อมูลการสตรีมเยอะมากๆ (ธุรกรรมของลูกค้า กิจกรรม การเยี่ยมเยียนดูเว็บ อื่นๆอีกมากมาย) ที่เติบโตเร็วขึ้นในกรณีการใช้แรงงาน IoT (เซ็นเซอร์ทุกจำพวก) การสตรีมเป็นต้นแบบที่เป็นธรรมชาติเพิ่มขึ้นเรื่อยๆสำหรับในการคิดรวมทั้งการเขียนโปรแกรมกรณีการใช้แรงงานกลุ่มนี้
แม้กระนั้น การประมวลผลสตรีมก็ไม่ใช่วัสดุสำหรับกรณีการใช้แรงงานทั้งปวงเหมือนกัน กฎกล้วยๆอย่างหนึ่งเป็นการสตรีมนั้นไม่สบายถ้าเกิดวิธีการอยากได้ข้อมูลที่บริบูรณ์หลายทีหรือถ้าหากมีการเข้าถึงแบบสุ่ม (มีความคิดว่าเป็นชุดข้อมูลแผนภูมิ) กรณีการใช้แรงงานที่สำคัญอย่างหนึ่งที่ขาดสำหรับในการสตรีมเป็นอัลกอริธึมการเล่าเรียนของเครื่องสำหรับโมเดลการฝึกอบรม ในทางตรงกันข้าม แม้ขั้นตอนสามารถทำได้ด้วยทางข้อมูลเดียว หรือถ้าหากเป็นแนวทางการข้างในชั่วครั้งชั่วคราว (กรรมวิธีมีลัษณะทิศทางที่จะเข้าถึงข้อมูลที่ล้ำสมัย) ก็เหมาะกับการสตรีม
ถ้าหากคุณอยากได้สร้างแอปที่ประมวลผลข้อมูลการสตรีมแล้วก็ทำตกลงใจแบบเรียลไทม์ คุณสามารถใช้วัสดุหรือสร้างของคุณเองได้ คำตอบขึ้นกับความสลับซับซ้อนที่คุณคิดแผนจะประเมินผล ระดับของการปรับขนาด ความน่าไว้ใจแล้วก็คงทนถาวรต่อจุดบกพร่องที่คุณอยากได้ และก็อื่นๆ JOKER GAMING
ถ้าคุณอยากได้สร้างแอปด้วยตนเอง ให้วางกิจกรรมในประเด็นตัวรับส่งข้อความ (ActiveMQ, RabbitMQ, Kafka ฯลฯ) เขียนรหัสเพื่อรับกิจกรรมจากหัวข้อคนกลาง (สตรีมเปลี่ยนเป็นสตรีม) และก็จัดแจงคำตอบ . ฉันจะเผยแพร่ไปยัง รหัสดังกล่าวข้างต้นเรียกว่านักแสดง
แม้กระนั้น แทนที่จะเข้ารหัสเหตุการณ์ข้างต้นตั้งแต่ต้น คุณสามารถย่นเวลาได้โดยใช้เฟรมเวิร์กการประมวลผลสตรีม ตัวประเมินผลสตรีมเรื่องราวช่วยทำให้คุณเขียนตรรกะสำหรับผู้แสดงแต่ละคน เชื่อมต่อดารา แล้วก็เชื่อมต่อขอบกับแหล่งข้อมูล เรื่องราวสามารถส่งโดยตรงไปยังตัวประเมินผลสตรีมหรือผ่านคนกลาง
ตัวประเมินผลสตรีมเหตุดำเนินการที่ยากโดยการรวบรวมข้อมูล ส่งข้อมูลไปยังดาราหนังแต่ละคน ตรวจตราการจัดการเป็นลำดับที่ถูก เก็บคำตอบ ปรับขนาดภายใต้ภาระหน้าที่ที่เอาจริงเอาจัง แล้วก็การจัดการกับความผิดพลาด แบบอย่าง อาทิเช่น Storm, Flink รวมทั้ง Samza ถ้าหากคุณอยากได้สร้างแอปด้วยวิธีแบบนี้ ให้ตรวจทานคู่มือผู้ใช้แต่ละฉบับ
ตั้งแต่ปี 2016 แนวความคิดใหม่ที่เรียกว่า Streaming SQL ได้เกิดขึ้น (มองบทความ Streaming SQL 101 สำหรับข้อมูลอื่นๆ) ภาษาที่ผู้ใช้สามารถเขียน SQL ตัวอย่างเช่น เคียวรีที่ค้นหาข้อมูลการสตรีม เรียกว่าภาษา “streaming SQL” ภาษา SQL สตรีมมิ่งมากมายกำลังเติบโต
รองรับ SQL มานานกว่า 5 ปีในโครงงานต่างๆได้แก่ WSO2 Stream Processor และก็ SQL Streams JOKER
Apache Storm เพิ่มการรอคอยงรับการสตรีม SQL ในปี 2559
Apache Flink ได้เพิ่มการรอคอยงรับการสตรีม SQL ตั้งแต่ปี 2016
Apache Kafka เพิ่มการรอคอยงรับ SQL (ซึ่งพวกเขาเรียกว่า KSQL) ในปี 2560
Apache Samza เพิ่มการรอคอยงรับ SQL ในปี 2560
ภาษา Streaming SQL ช่วยทำให้นักปรับปรุงสามารถรวมการค้นหาข้อมูลแบบสตรีมลงในแอพของพวกเขาได้อย่างเร็ว ด้านในปี 2018 สตรีมโปรเซสเซอร์ส่วนมากจะรองรับการประมวลผลข้อมูลผ่านภาษา SQL สำหรับเพื่อการสตรีม
ทำความเข้าใจว่า SQL จับคู่กับสตรีมอปิ้งไร สตรีมกำลังย้ายข้อมูลตาราง ตรึกตรองตารางที่ไม่สิ้นสุดซึ่งมีข้อมูลใหม่ปรากฏขึ้นเมื่อเวลาผ่านไป สตรีมเป็นตารางดังกล่าวข้างต้น หนึ่งทะเบียนหรือแถวในสตรีมเรียกว่าสถานะการณ์ อย่างไรก็แล้วแต่ มีสคีมาแล้วก็ดำเนินงานราวกับแถวฐานข้อมูล การเสวนาของ Tyler Akidau ที่ Strata เป็นแหล่งข้อมูลที่ดีสำหรับการทำความเข้าใจแนวความคิดพวกนี้
อย่างแรกที่คุณจำต้องรู้เรื่องเกี่ยวกับ SQL สตรีมเป็น แทนที่ตารางด้วยสตรีม
เมื่อคุณสร้างแบบสำรวจ SQL คุณจะค้นหาข้อมูลที่จัดเก็บเอาไว้ภายในฐานข้อมูล แม้กระนั้น เมื่อคุณสร้างการค้นหาข้อมูล SQL แบบสตรีม คุณไม่เฉพาะแต่เขียนลงในข้อมูลในอนาคตเพียงแค่นั้น แต่ว่ายังรวมทั้งข้อมูลเดี๋ยวนี้ด้วย ด้วยเหตุนั้น การสตรีมแบบสำรวจ SQL ไม่สิ้นสุด โน่นคือปัญหาไหม? ไม่ คำตอบของการค้นหากลุ่มนี้เป็นสตรีม ด้วยเหตุนี้มันก็เลยใช้งานได้ เมื่อเหตุตรงกันรวมทั้งเรื่องราวเอาต์พุตพร้อมใช้งานโดยทันที เรื่องราวจะถูกวางในสตรีมเอาต์พุต
สตรีมแสดงถึงเรื่องทั้งสิ้นซึ่งสามารถผ่านช่องสัญญาณแบบลอจิคัลและไม่จบ อาทิเช่น ถ้าเกิดหม้อละอองน้ำของคุณมีเซ็นเซอร์อุณหภูมิ คุณสามารถแสดงเอาต์พุตจากเซ็นเซอร์เป็นสตรีมได้ อย่างไรก็แล้วแต่ SQL แบบเริ่มแรกจะจับ ประเมินผล และก็เขียนข้อมูลที่จัดเก็บไว้ภายในตารางฐานข้อมูล แต่ว่าการค้นหาข้อมูลข้างต้นจะสะสมสตรีมข้อมูลเมื่อมีการเพิ่มและก็สร้างสตรีมข้อมูลเป็นเอาต์พุต ได้แก่ สมมุติว่ามีสถานะการณ์ในกระแสหม้อละอองน้ำทุกๆ10 นาที แบบสำรวจตัวกรองจะสร้างเรื่องในสตรีมผลสรุปเมื่อเรื่องตรงกับตัวกรอง
ด้วยเหตุนี้ คุณสามารถสร้างแอปของคุณได้ดังต่อไปนี้: ส่งสถานะการณ์โดยตรงหรือผ่านคนกลางไปยังตัวประเมินผลสตรีม แล้ว คุณสามารถใช้ “Streaming SQL” เพื่อเขียนส่วนการสตรีมของแอปได้ ท้ายที่สุด ระบุค่าจ้างประเมินผลสตรีมให้ปฏิบัติงานตามผล ซึ่งทำเป็นโดยการเรียกใช้บริการเมื่อตัวประเมินผลสตรีมทริกเกอร์ หรือโดยการเปิดเผยแพร่สถานะการณ์ไปยังหัวข้อคนกลางเพื่อยอมรับฟังหัวข้อ
มีเฟรมเวิร์กการประมวลผลสตรีมเยอะแยะ
ฉันเสนอแนะ WSO2 Stream Processor (WSO2 SP) ที่ฉันช่วยสร้าง คุณสามารถนำเข้าข้อมูลที่ได้มาจาก Kafka, คำร้องขอ HTTP, โบรกเกอร์เนื้อความ และก็ค้นหาสตรีมข้อมูลโดยใช้ภาษา “Streaming SQL” WSO2 SP เป็นโอเพ่นซอร์ที่ประชุมยใต้ลิขสิทธิ์ Apache มีเซิร์ฟเวอร์ผลิตภัณฑ์สิ่งของเครื่องใช้เพียงแต่สองเครื่องแค่นั้นซึ่งสามารถให้ความพร้อมเพรียงใช้งานสูงแล้วก็จัดแจงจำนวนงาน 100K + TPS มันสามารถปรับขนาดเป็น TPS นับล้านบน Kafka และก็รองรับการประยุกต์ศูนย์ข้อมูลหลายตัว
อ่านเรื่องถัดไป >> ควรรู้ Photoshop
อัพเดทล่าสุด : 17 มิถุนายน 2021 (ข้อมูลล่าสุดปี 2021)