AWS- এ ম্যাজিকবিট থেকে ডেটা ভিজ্যুয়ালাইজ করা: 5 টি ধাপ

2024 লেখক: John Day | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-30 07:56

ম্যাজিকবিটের সাথে সংযুক্ত সেন্সর থেকে সংগৃহীত ডেটা MQTT এর মাধ্যমে AWS IOT কোর -এ প্রকাশ করা হবে যাতে রিয়েল টাইমে গ্রাফিক্যালি ভিজুয়ালাইজ করা যায়। আমরা এই প্রকল্পে ডেভেলপমেন্ট বোর্ড হিসেবে ম্যাজিকবিট ব্যবহার করছি যা ESP32 এর উপর ভিত্তি করে। অতএব যে কোন ESP32 উন্নয়ন বোর্ড এই প্রকল্পে ব্যবহার করা যেতে পারে।

সরবরাহ:

ম্যাজিকবিট

ধাপ 1: গল্প

এই প্রকল্পটি MQTT এর মাধ্যমে আপনার ম্যাজিকবিট ডিভাইসটিকে AWS ক্লাউডের সাথে সংযুক্ত করার বিষয়ে। MQTT এর মাধ্যমে প্রেরিত ডেটা AWS পরিষেবা ব্যবহার করে ক্লাউডে বিশ্লেষণ এবং দৃশ্যমান হয়। চল শুরু করা যাক

প্রথমে আপনাকে AWS কনসোলে গিয়ে সাইন ইন করতে হবে। শেখার উদ্দেশ্যে আপনি AWS দ্বারা দেওয়া বিনামূল্যে স্তর বিকল্পটি ব্যবহার করতে পারেন। এই প্রকল্পের জন্য এটি যথেষ্ট হবে।

এটি সহজ করার জন্য আমি প্রকল্পটিকে দুটি বিভাগে ভাগ করব।

এটি আমাদের প্রকল্পের প্রথম পর্যায় হতে চলেছে। প্রথম পর্যায়ের শেষে S3 বালতিতে তথ্য সংরক্ষণ করা হবে।

AWS পরিষেবা যা প্রথম বিভাগে ব্যবহার করা হবে,

• কিনেসিস ফায়ারহোজ
• AWS আঠালো
• AWS S3

প্রথমে AWS Kinesis সার্ভিসে নেভিগেট করুন।

নিচের চিত্র অনুযায়ী Kinesis Data Firehose নির্বাচন করুন এবং Create এ ক্লিক করুন।

তারপর আপনি একটি Firehose পরিষেবা তৈরির ধাপ 1 নির্দেশ করা হবে। একটি ডেলিভারি স্ট্রিমের নাম ইনপুট করুন এবং ডাইরেক্ট পুট বা অন্যান্য সোর্স নির্বাচন করুন। পরবর্তী ক্লিক করুন।

ধাপ 2 উইন্ডোতে সবকিছু ডিফল্ট হিসাবে ছেড়ে দিন এবং পরবর্তী ক্লিক করুন। AWS আঠালো পরিষেবা তৈরির পরে আমরা এই ধাপটি সম্পাদনা করতে ফিরে আসব।

ধাপ 3 এ একটি S3 বালতি নির্বাচন করুন যদি আপনি এটি আগে তৈরি করে থাকেন। অন্যথায় তৈরি করুন এবং একটি বালতি তৈরি করুন ক্লিক করুন। S3 উপসর্গ বিভাগে dest/ এবং ত্রুটি উপসর্গের মধ্যে ত্রুটি/ লিখুন। আপনি উপরের দুটির জন্য যে কোন নাম লিখতে পারেন। কিন্তু সহজতার জন্য আমরা একটি সাধারণ নাম দিয়ে চালিয়ে যাব। আপনার পছন্দের বালতির ভিতরে dest নামে একটি ফোল্ডার তৈরি করতে ভুলবেন না। পরবর্তী ক্লিক করুন।

ধাপ 4 এ রিয়েল টাইম ডেটা ট্রান্সফারের জন্য ন্যূনতম বাফার সাইজ এবং বাফার ব্যবধান নির্বাচন করুন। অনুমতি বিভাগে IAM roleKinesisFirehoseServiceRole তৈরি বা আপডেট করুন নির্বাচন করুন। সবকিছু ডিফল্ট রাখুন। পরবর্তী ক্লিক করুন।

পরবর্তী বিভাগে আপনার করা পরিবর্তনগুলির পর্যালোচনা দেখানো হবে। ঠিক আছে ক্লিক করুন। তারপর আপনি একটি কার্যকরী Kinesis Firehose হবে।

আপনি যদি সফলভাবে ফায়ারহোজ পরিষেবা তৈরি করেন তবে আপনি এরকম কিছু পাবেন।

ধাপ 2: ফায়ারহোজ এবং এস 3 বালতি পরীক্ষা করা

ফায়ারহোজ এবং S3 বালতি সঠিকভাবে কাজ করছে তা পরীক্ষা করার জন্য, কনসোলে IOT কোর নির্বাচন করুন। আপনাকে এইরকম একটি পৃষ্ঠায় পরিচালিত করা হবে। নিয়ম চয়ন করুন এবং একটি নিয়ম তৈরি করুন।

AWS IOT নিয়ম কি?

এটি এমকিউটিটি থেকে প্রাপ্ত কোনও ডেটা একটি নির্দিষ্ট পরিষেবাতে ফরওয়ার্ড করতে ব্যবহৃত হয়। এই উদাহরণে আমরা Kinesis Firehose- কে এগিয়ে দেব।

নিয়মের জন্য একটি নাম চয়ন করুন। নিয়ম এবং প্রশ্ন বিবৃতি যেমন আছে তেমন ছেড়ে দিন। এটি আমাদের বলে যে আইওটি/টপিকের বিষয়ে প্রকাশিত যেকোনো কিছু এই নিয়মের মাধ্যমে কিনেসিস ফায়ারহোজে পাঠানো হবে।

বিভাগের অধীনে এক বা একাধিক অ্যাকশন সেট করুন অ্যাকশন যোগ করুন ক্লিক করুন। আমাজন কিনেসিস ফায়ারহোজ স্ট্রীমে একটি বার্তা পাঠান নির্বাচন করুন। কনফিগার নির্বাচন করুন। তারপর আগে তৈরি ফায়ারহোজ স্ট্রীমের নাম নির্বাচন করুন। তারপর একটি ভূমিকা তৈরি করুন ক্লিক করুন এবং একটি ভূমিকা তৈরি করুন। এখন আপনি AWS এ সফলভাবে একটি ভূমিকা তৈরি করেছেন।

আপনি যে কোনো বার্তা Kinesis Firehose এর মাধ্যমে S3 বালতিতে পাঠাবেন।

মনে রাখবেন ফায়ারহোজ ডেটা পাঠায় যখন এর বাফার ভরা হয় বা বাফারের ব্যবধান শেষ হয়। সর্বনিম্ন বাফারের ব্যবধান 60 সেকেন্ড।

এখন আমরা প্রকল্পের দ্বিতীয় অংশে যেতে পারি। এটি আমাদের ডেটাফ্লো ডায়াগ্রাম হবে।

ধাপ 3: AWS আঠালো কনফিগার করা

কেন আমাদের AWS আঠালো এবং AWS এথেনা দরকার?

S3 বালতিতে সংরক্ষিত ডেটা সরাসরি AWS কুইকসাইটে ইনপুট হিসেবে ব্যবহার করা যাবে না। প্রথমে আমাদের টেবিল আকারে ডেটা সাজাতে হবে। এর জন্য আমরা উপরের দুটি পরিষেবা ব্যবহার করি।

AWS গ্লুতে যান। পাশের টুল বারে ক্রলার নির্বাচন করুন। তারপর Add Crawler সিলেক্ট করুন।

প্রথম ধাপে আপনার ক্রলার জন্য একটি নাম লিখুন। পরবর্তী ক্লিক করুন। পরবর্তী ধাপে এটি ডিফল্ট হিসাবে ছেড়ে দিন। তৃতীয় ধাপে আপনার নির্বাচিত S3 বালতিতে প্রবেশ করুন। পরবর্তী উইন্ডোটি ডিফল্ট হিসাবে ছেড়ে দিন। পঞ্চম উইন্ডোতে কোন IAM ভূমিকা লিখুন। পরবর্তী ধাপে পরিষেবাটি চালানোর ফ্রিকোয়েন্সি বেছে নিন।

ড্রপ ডাউন বক্সে কাস্টম নির্বাচন করা এবং ন্যূনতম সময় বেছে নেওয়া বাঞ্ছনীয়।

পরবর্তী ধাপে ডাটাবেস যোগ করুন এবং তারপর পরবর্তী ক্লিক করুন। শেষ ক্লিক করুন।

এখন আমাদের তৈরি করা AWS আঠার সাথে আমাদের Kinesis Firehose কে সংহত করা উচিত।

আমাদের তৈরি AWS Kinesis firehose এ যান এবং সম্পাদনা ক্লিক করুন।

বিভাগে স্ক্রোল করুন রেকর্ড ফরম্যাট রূপান্তর করুন এবং সক্রিয় নির্বাচন করুন।

Apache Parquet হিসেবে আউটপুট ফরম্যাট বেছে নিন। বাকি বিবরণের জন্য আপনার তৈরি করা আঠালো ডাটাবেসের বিবরণ পূরণ করুন। ডাটাবেজে একটি টেবিল তৈরি করতে হবে এবং এই বিভাগে নাম যুক্ত করতে হবে। সংরক্ষণ করুন ক্লিক করুন।

ধাপ 4: AWS এথেনা কনফিগার করা

আপনার তৈরি করা ডাটাবেস এবং ডেটা টেবিল নির্বাচন করুন। প্রশ্ন বিভাগে এই কোড যোগ করা উচিত।

টেবিল-নামটি আপনার তৈরি করা আঠালো টেবিলের প্রকৃত নাম দ্বারা প্রতিস্থাপিত হওয়া উচিত।

রান ক্যোয়ারিতে ক্লিক করুন। যদি এটি কাজ করে AWS S3 বালতিতে সংরক্ষিত ডেটা ডেটার টেবিল হিসাবে প্রদর্শিত হওয়া উচিত।

এখন আমরা যে ডেটা পেয়েছি তা কল্পনা করতে প্রস্তুত।

ধাপ 5: কুইকসাইট কনফিগার করা

AWS কুইকসাইটে নেভিগেট করুন

উপরের ডান কোণে নতুন বিশ্লেষণে ক্লিক করুন এবং তারপরে নতুন ডেটাসেটে ক্লিক করুন।

তালিকা থেকে এথেনা বেছে নিন। পপ আপ কার্ডে যেকোন ডেটা সোর্সের নাম লিখুন।

ড্রপ ডাউন বক্স এবং প্রাসঙ্গিক টেবিল থেকে আঠালো ডাটাবেস নির্বাচন করুন। এটি আপনাকে এই পৃষ্ঠায় নেভিগেট করবে।

ক্ষেত্রের তালিকা থেকে যে কোনো ক্ষেত্রকে টেনে আনুন এবং ফেলে দিন এবং যে কোন চাক্ষুষ প্রকার নির্বাচন করুন।

এখন আপনি AWS পরিষেবা ব্যবহার করে আপনার ম্যাজিকবিট থেকে পাঠানো যেকোনো ডেটা কল্পনা করতে পারেন !!!

মনে রাখবেন সংশ্লিষ্ট S3 বালতিগুলির জন্য কুইকসাইটের অ্যাক্সেসের অনুমতি দিতে যাতে তাদের মধ্যে ডেটা কল্পনা করা যায়।