หลักสูตรอบรม Big Data Engineering with Hadoop & Ecosystem in Action – 101

Posted on Posted in Training-H-Item

  “ วันนี้ Sale Engineer , Pre-Sale บริษัทคุณพร้อมเสนอขาย และ เข้าใจ Big Data Solution แล้วหรือยัง ? ”       “ วันนี้ Implementer บริษัทคุณเข้าใจเทคนิคระบบ Software ของ Big Data & Ecosystem และ ติดตั้งเป็นแล้วหรือยัง ? ”      “ วันนี้ Developer บริษัทคุณสามารถเชื่อมต่อระบบ และ นำเข้า-ส่งออกข้อมูล ระหว่าง Big Data & Ecosystem แล้วหรือยัง ? ”   ถ้าคำตอบคือยังเลย!!!!      หน่วยงานคุณกำลังจะตกขบวน Big […]

นักวิทยาศาสตร์ข้อมูลจะจัดกระบวนท่าเพื่อเริ่มต้นเล่น Big Data Processing ด้วย Apache Hive กันอย่างไรดี

Posted on Leave a commentPosted in Big Data

“นักวิทยาศาสตร์ข้อมูลจะจัดกระบวนท่าเพื่อเริ่มต้นเล่น Big Data Processing ด้วย Apache Hive กันอย่างไรดี”             เราเริ่มได้ยินกันบ่อยขึ้นเรื่องของการนำ Apache Hive ไปใช้งานงานกับการจัดการข้อมูลขนาดใหญ่ทั้งทางด้านของเครื่องมือวิเคราะห์ข้อมูล ( Data Analytic ) ที่เล่นกับข้อมูลได้ด้วยภาษาที่ใช้เรียกข้อมูลที่คล้ายภาษา SQL               หลังจากที่เราเข้าไปศึกษา Hive กันลึกๆแล้วก็พบว่าปัจจุบัน ( 5 พ.ย. 2559 ) Hive มีการพัฒนาการไปเยอะมากกว่าการเป็นตัวกลางในการใช้งาน HDFS สำหรับเก็บข้อมูลและเรียกข้อมูลให้เป็นโครงสร้างแบบตารางแบบ RDBMS ที่จัดการกับข้อมูลด้วยรูปแบบภาษา SQL             ปัจจุบัน Hive กำลังก้าวไปถึงการเป็น NoSQL ในอีกรูปแบบหนึ่งที่มีโครงสร้างระบบไฟล์ข้อมูลแบบ Columnar  มีโหมดการจัดการ Transaction Control  มีการทำ Index ข้อมูล และ มีการ Optimize Join Table ให้ได้ประสิทธิภาพการประมวลผลข้อมูลขนาดใหญ่มากๆๆได้เร็วขึ้นอีกด้วย […]

แบ่งปัน VM Image สำเร็จรูป สำหรับ Big Data Processing ด้วย Apache Hive ครับ

Posted on Leave a commentPosted in Big Data

     ตะลุย Big Data กันต่อที่ Data Processing ด้วย Apache Hive  ก็เลยลงมือทำติดตั้งลงบน VirtualBox ที่ติดตั้งไว้ให้แล้วทั้ง Hadoop & Hive พร้อมให้เล่นทันที ก่อนที่จะปล่อยบทความการติดตั้งและใช้งาน Apache Hive  ดาวน์โหลดที่แชร์ไว้ด้านด้านนี้ได้เลยครับ OS:  user:auoychai / password:123456 ขั้นตอนการ Start-Stop Hadoop หรือ การติดตั้ง  ตามรายละเอียด ฟรี!เรียนติดตั้ง Hadoop บน AWS Step-by-Step ด้านล่างนี้เช่นกันจ้าา.. ตัว Hive ที่ติดตั้งไว้แล้วเป็น Hive2 ที่จัดการ Table metadata หรือ Metastore ติดตั้งไว้กับ MySQL ครับ VM Image แชร์ไว้ให้ที่นี่นะครับ : VM Image […]

เริ่มต้น Big Data ด้วย การติดตั้ง Hadoop แบบ Step-by-Step กัน

Posted on Leave a commentPosted in Big Data, Hadoop

      บทความกลุ่มการศึกษาเรื่องของ Big Data ด้วยการใช้งาน Hadoop นี้เกิดจากความตั้งใจที่อยากให้ท่านที่กำลังสนใจอยากใช้งาน Hadoop ได้เข้าใจการทำงาน Hadoop เพื่อการติดตั้ง Hadoop เป็นอย่างแท้จริง และ รวมถึงมีแนวทางการแก้ปัญหากรณีที่องค์กรนำ Hadoop Distribution ตัวใดตัวหนึ่งมาใช้งานแล้วเกิดปัญหาในการติดตั้ง       รายละเอียดในบทความนี้ เราจะเริ่มจากการเห็นภาพเชิงระบบนิเวศน์(Ecosystem)ของ Big Data และ Hadoop Enterprise เพื่อสรุปให้เห็นว่าถ้าจะอิมพลีเมนท์ในองค์กรจะต้องจัดองค์ประกอบซอฟต์แวร์ ตามบทบาทหน้าที่อย่างไรบ้าง และ        เราจะได้รู้หลัการทำงานของ Hadoop ว่า Hadoop ทำงานอย่างไรเพื่อจะได้เห็นภาพทั้งการควบคุมการจัดเก็บข้อมูลและภาพหน่วยประมวลผลข้อมูลที่ทำงานร่วมกันกับ Hadoop  และ       สุดท้าย เราจะได้ความเข้าใจในการกระบวนการติดตั้ง Hadoop ด้วยการเรียนรู้การติดตั้ง Hadoop แบบดิบๆโดยใช้ Apache Hadoop เพื่อจะได้เห็นภาพไฟล์ที่ควบคุมการทำงานของ Hadoop ที่เป็น Configuration ไฟล์ว่าแต่ละไฟล์ควบคุมการทำงาน Hadoop อย่างไร สำหรับส่งต่อก้าวถัดไปการนำ Hadoop […]

การติดตั้ง Hadoop แบบ Step-by-Step สำหรับก้าวแรกของ Big Data Engineering

Posted on Leave a commentPosted in Big Data

      เราผ่านการทำความเข้าใจกับ Hadoop Architecture มาแล้ว จากบทความ “เรียนรู้ Hadoop และ การติดตั้ง Hadoop แบบ Step-by-Step กัน” จากนี้ไปเราจะเริ่มทำการติดตั้ง Apache Hadoop แบบ Cluster กัน  เพื่อให้ทุกคนมีกำลังใจว่าเราเริ่มทำได้แล้วและเป็นการฝึกแบบง่ายๆไปสู่สิ่งที่ยากขึ้น เราจะทำกัน 2 ขั้นตอนคือ 1). ทำแบบ Single Node ที่ใช้เครื่องเดียว  และ 2). ติดตั้งแบบ Multi Node แบบ 3 เครื่อง   ถ้าหาเราสามารถติดตั้งแบบ Single Node ได้แล้วปรับ Parameter ใน Configuration file อีกนิดหน่อยก็จะสามารถ Run Hadoop Multi Node ได้แล้ว       ดั้งนั้นขั้นตอนการเตรียมการติดตั้งจากนี้จะใช้ได้สำหรับการติดตั้งทั้ง 2 แบบ […]

เรียนรู้การลงทะเบียนใช้งาน Amazon Web Service ฟรี เพื่อเป็นเครื่องมือสำหรับฝึก Big Data กัน

Posted on Leave a commentPosted in Big Data

      อุปสรรคอย่างหนึ่งสำหรับคนที่อยากฝึกปฏิบัติการใช้งาน Big Data ก็คือชุด Software Big Data หรือ Hadoop Ecosystem ต้องการ Environment หรือ เครื่องคอมพิวเตอร์ที่จะติดตั้งแบบคุณสมบัติสูงทั้ง CUP , RAM หรือ Harddisk และหากต้องการจำลองเสมือนจริงที่เป็นการทำงานแบบ Cluster เพื่อกระจายการทำงานยิ่งต้องการเครื่องคอมพิวเตอร์หลายๆเครื่องตามไปด้วย         ความต้องการคุณสมบัติเครื่องคอมพิวเตอร์สูงๆเหล่านี้ทำให้เป็นเรื่องยากมากที่เราจะสามารถใช้ Notebook หรือ PC ใช้งานประจำวันของเรามาติดตั้งและทดลองใช้งานได้ แต่อุปสรรคเหล่านี้สามารถแก้ได้ด้วยการไปหา Cloud Computing สักเจ้ามาใช้งาน       Amazon Web Service (AWS) เป็นตัวเลือกหนึ่งที่น่าสนใจที่จะเรียนรู้เพื่อทดลองใช้งาน Big Data หรือเป็นเครื่องมือสำหรับพัฒนาหรือติดตั้งระบบงานทั่วไปที่เราพัฒนา และ ที่สำคัญเราสามารถใช้งานได้ฟรี 12 เดือนสำหรับแพคเกจทดลองใช้งาน AWS ซึ่งก็เพียงพอสำหรับการนำมาเป็นเครื่องมือสำหรับทดลองปฏิบัติการ Big Data   เอาล่ะ! เรามาเริ่มเรียนรู้การใช้งาน AWS ในระดับทั่วไปกันครับ ขั้นตอนการใช้งาน AWS […]