Blog@Wellform
สรุปสิ่งสำคัญๆของการติดตั้ง Cloudera Big Data Platform แบบ Enterprise
ด้วยความที่ครึ่งปีหลังนี้เรามีภาระกิจต้องไปช่วยบริษัท ZyGen ที่เป็นผู้ให้บริการอิมพลีเมนท์ SAP Solution และ BI บน SAP และ Power BI รวมถึงการสนับสนุนผู้เชี่ยวชาญด้าน SAP ไปช่วยงานลูกค้าองค์ที่สำนักงานลูกค้า สำหรับภาระกิจนี้คือการสร้าง Data Science Team ทั้งส่วนของงาน Big Data Engineer และ Data Scientist และ รวมถึงทำภาพงานฝั่ง Business ที่จะกลั่นเป็นบริการใหม่ในด้าน Big Data พร้อมกับการไปช่วยทีม Sale ...
การติดตั้ง Hadoop แบบ Multi-Node ( Hadoop Cluster Installation )
หลังจากที่เราได้โอกาสไปเป็นวิทยากรอบรม Big Data with Hadoop ที่เป็นโครงการพัฒนาบุคลากรด้านผู้พัฒนา ผู้ผลิต สนับสนุนโครงการโดย สำนักงานส่งเสริมเศรษฐกิจดิจิทัล (DEPA) แล้วติดค้างการติดตั้ง Hadoop Cluster ไว้เพราะว่าเวลาในชั้นอบรมไม่พอเนื่องจากต้องเรียนกันให้ครอบคลุมถึง Software ตัวอื่นใน Ecosystem เราก็เลยต้องมาตามชดใช้กันใน Blog นี้กันนะ เอาล่ะเราเริ่มด้วยความต่อเนื่องจาก ...
เรามาใช้ Oracle SQL Develper เรียกข้อมูลจาก Apache Hive ในกระบวนทำ Data Processing กัน
การใช้งาน Big Data / Hadoop Technology ด้วย Apache Hive ในการวิเคราะห์ข้อมูล การเรียกข้อมูล ( Query ) ด้วยคำสั่ง Query เพื่อตรวจสอบข้อมูลบางอย่าง หรือ ทดสอบคำสั่ง Query เพื่อดูผลลัพธ์ว่าถูกต้องตามลอจิกที่กำหนดไว้หรือไม่ก่อนที่จะนำไปอิมพลีเมนท์จริงๆในกระบวนอัตโนมัติของ Data Integration Tool เป็นสิ่งที่จำเป็น ความต้องการปฏิบัติงานลักษณะนี้โดยปกติสำหรับการใช้งาน Hadoop Ecosystem แบบ Open ...
ทำความเข้าใจ Apache Hive Table สำหรับการทำ Big Data Analytic กันสักหน่อย
“ทำความเข้าใจ Apache Hive Table สำหรับการทำ Big Data Analytic กันสักหน่อย” เราผ่านการทดลองเล่นข้อมูลกับ Hive กันมาบ้างแล้วทั้งจากบทความก่อนหน้านี้ หรือ บางคนอาจจะเคยลองเล่นตามบทความของต่างประเทศ สำหรับการสร้าง Hive DB การโหลดข้อมูลเข้า Hive Table หรือ การทดลองเรียกข้อมูลด้วย HQL เรามาบันทึกคุณสมบัติของ Hive Table เพื่อสรุปความเข้าใจใน Hive Table สำหรับการใช้งานด้าน Big Data Analytic กันสักหน่อย การสร้าง ...
นักวิทยาศาสตร์ข้อมูลจะจัดกระบวนท่าเพื่อเริ่มต้นเล่น Big Data Processing ด้วย Apache Hive กันอย่างไรดี
“นักวิทยาศาสตร์ข้อมูลจะจัดกระบวนท่าเพื่อเริ่มต้นเล่น Big Data Processing ด้วย Apache Hive กันอย่างไรดี” เราเริ่มได้ยินกันบ่อยขึ้นเรื่องของการนำ Apache Hive ไปใช้งานงานกับการจัดการข้อมูลขนาดใหญ่ทั้งทางด้านของเครื่องมือวิเคราะห์ข้อมูล ( Data Analytic ) ที่เล่นกับข้อมูลได้ด้วยภาษาที่ใช้เรียกข้อมูลที่คล้ายภาษา SQL หลังจากที่เราเข้าไปศึกษา Hive กันลึกๆแล้วก็พบว่าปัจจุบัน ( ...
การใช้งานและการติดตั้ง Apache Hive สำหรับ Big Data Processing
โลกของ Big Data เราจะเจอกับลักษณะของข้อมูลที่นำเข้าระบบเก็บและประมวลผลข้อมูลของ Big Data ที่หลากหลายลักษณะทั้งข้อมูลแบบมีโครงสร้างมาแต่ต้นขณะที่นำเข้าข้อมูลเช่นมาจากข้อมูลระบบปฏิบัติงานของระบบงานต่างๆ( Operation Data ) ซึ่งอยู่ในรูปแบบตารางข้อมูล 2 มิติ หรือ ข้อมูลที่ไม่มีโครงสร้างตายตัวเช่นข้อมูลเนื้อหาจากเว็บไซด์ต่างๆ ไฟล์ข้อมูลในรูปแบบต่างๆ รูปภาพ ...
แบ่งปัน VM Image สำเร็จรูป สำหรับ Big Data Processing ด้วย Apache Hive ครับ
ตะลุย Big Data กันต่อที่ Data Processing ด้วย Apache Hive ก็เลยลงมือทำติดตั้งลงบน VirtualBox ที่ติดตั้งไว้ให้แล้วทั้ง Hadoop & Hive พร้อมให้เล่นทันที ก่อนที่จะปล่อยบทความการติดตั้งและใช้งาน Apache Hive ดาวน์โหลดที่แชร์ไว้ด้านด้านนี้ได้เลยครับ OS: user:auoychai / password:123456 ขั้นตอนการ Start-Stop Hadoop หรือ การติดตั้ง ตามรายละเอียด ฟรี!เรียนติดตั้ง Hadoop บน AWS Step-by-Step ด้านล่างนี้เช่นกันจ้าา.. ตัว Hive ที่ติดตั้งไว้แล้วเป็น Hive2 ...
เริ่มต้น Big Data ด้วย การติดตั้ง Hadoop แบบ Step-by-Step กัน
บทความกลุ่มการศึกษาเรื่องของ Big Data ด้วยการใช้งาน Hadoop นี้เกิดจากความตั้งใจที่อยากให้ท่านที่กำลังสนใจอยากใช้งาน Hadoop ได้เข้าใจการทำงาน Hadoop เพื่อการติดตั้ง Hadoop เป็นอย่างแท้จริง และ รวมถึงมีแนวทางการแก้ปัญหากรณีที่องค์กรนำ Hadoop Distribution ตัวใดตัวหนึ่งมาใช้งานแล้วเกิดปัญหาในการติดตั้ง รายละเอียดในบทความนี้ เราจะเริ่มจากการเห็นภาพเชิงระบบนิเวศน์(Ecosystem)ของ Big Data ...
การติดตั้ง Hadoop แบบ Step-by-Step สำหรับก้าวแรกของ Big Data Engineering
เราผ่านการทำความเข้าใจกับ Hadoop Architecture มาแล้ว จากบทความ "เรียนรู้ Hadoop และ การติดตั้ง Hadoop แบบ Step-by-Step กัน" จากนี้ไปเราจะเริ่มทำการติดตั้ง Apache Hadoop แบบ Cluster กัน เพื่อให้ทุกคนมีกำลังใจว่าเราเริ่มทำได้แล้วและเป็นการฝึกแบบง่ายๆไปสู่สิ่งที่ยากขึ้น เราจะทำกัน 2 ขั้นตอนคือ 1). ทำแบบ Single Node ที่ใช้เครื่องเดียว และ 2). ติดตั้งแบบ Multi Node แบบ 3 เครื่อง ถ้าหาเราสามารถติดตั้งแบบ Single Node ...
เปิดบริการเครื่องคอมพิวเตอร์บน AWS เตรียมไว้สำหรับเล่น Hadoop กัน
ตัวบริการหนึ่งของ AWS ที่เยี่ยมมากๆสำหรับการใช้เป็น Environment สำหรับการฝึก Big Data คือ EC2 บทความนี้เราจะมาเรียนรู้การบริการ EC2 การสร้าง Virtual Server แบบ Linux OS สำหรับใช้ติดตั้ง Hadoop และ ทบทวนคำสั่งของ Linux ที่จำเป็นสัก 2-3 คำสั่ง โดยทั้งหมดจากนี้เราจะหาคำตอบและวิธีการเพื่อให้มี Environment สำหรับการฝึกปฏิบัติ Big Data ในประเด็นต่างๆเหล่านี้กัน EC2 คืออะไร ฟังก์ชั่นสำคัญของ EC2 สำหรับสร้าง ...
เรียนรู้การลงทะเบียนใช้งาน Amazon Web Service ฟรี เพื่อเป็นเครื่องมือสำหรับฝึก Big Data กัน
อุปสรรคอย่างหนึ่งสำหรับคนที่อยากฝึกปฏิบัติการใช้งาน Big Data ก็คือชุด Software Big Data หรือ Hadoop Ecosystem ต้องการ Environment หรือ เครื่องคอมพิวเตอร์ที่จะติดตั้งแบบคุณสมบัติสูงทั้ง CUP , RAM หรือ Harddisk และหากต้องการจำลองเสมือนจริงที่เป็นการทำงานแบบ Cluster เพื่อกระจายการทำงานยิ่งต้องการเครื่องคอมพิวเตอร์หลายๆเครื่องตามไปด้วย ...
เกล็ดผลึก Agile Project Management
คำว่า Agile เราเริ่มได้ยินกันหนาหูมาก ช่วงเลยเลยตามอัพเดทกันเรื่องของการบริหารโครงการแบบ Agile มาดูกันสั้นๆครับว่าแนวคิดทั่วไปในเกล็ดการบริหารโครงการแบบ Agile เขามองอะไรที่สำคัญแบบทั่วๆไปกันบ้าง Team Performance In hight-performance teams, ” the leaders managed the principles, and principles managed the team “ บางทีมบางโครงการแพ้ชนะวัดกันได้ที่การจัดสมดุลย์ความยืดหยุ่นกับความคงตัว ...