কাফকা সেট আপ: 4 টি ধাপ

2024 লেখক: John Day | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-30 08:00

ভূমিকা:

অ্যাপাচি কাফকা হল একটি ওপেন সোর্স স্কেলেবল এবং হাই-থ্রুপুট মেসেজিং সিস্টেম যা স্কালায় লেখা অ্যাপাচি সফটওয়্যার ফাউন্ডেশন দ্বারা তৈরি করা হয়েছে। অ্যাপাচি কাফকা বিশেষভাবে ডিজাইন করা হয়েছে যাতে একটি একক ক্লাস্টার একটি বৃহৎ পরিবেশের কেন্দ্রীয় ডেটা মেরুদণ্ড হিসেবে কাজ করতে পারে। এটি ActiveMQ এবং RabbitMQ এর মত অন্যান্য মেসেজ ব্রোকার সিস্টেমের তুলনায় অনেক বেশি থ্রুপুট আছে। এটি দক্ষতার সাথে রিয়েল-টাইম ডেটাগুলির বিশাল ভলিউম পরিচালনা করতে সক্ষম। আপনি একক অ্যাপাচি সার্ভারে বা বিতরণকৃত ক্লাস্টার্ড পরিবেশে কাফকা স্থাপন করতে পারেন।

বৈশিষ্ট্য:

কাফকার সাধারণ বৈশিষ্ট্যগুলি নিম্নরূপ:

ডিস্কের উপর স্থির বার্তা যা ধ্রুবক সময় কর্মক্ষমতা প্রদান করে।

ডিস্ক স্ট্রাকচার সহ উচ্চ থ্রুপুট যা প্রতি সেকেন্ডে কয়েক হাজার বার্তা সমর্থন করে।

কোন ডাউনটাইম ছাড়া সহজেই বিতরণ করা সিস্টেম স্কেল।

বহু-গ্রাহকদের সমর্থন করে এবং ব্যর্থতার সময় স্বয়ংক্রিয়ভাবে ভোক্তাদের ভারসাম্য বজায় রাখে।

এই টিউটোরিয়ালটি দেখায় কিভাবে উবুন্টু 16.04 সার্ভারে অ্যাপাচি কাফকা ইনস্টল এবং কনফিগার করতে হয়।

প্রয়োজনীয়তা

একটি উবুন্টু 16.04 সার্ভার।

আপনার সার্ভারে সুপার ব্যবহারকারীর বিশেষাধিকার সহ নন-রুট ব্যবহারকারী অ্যাকাউন্ট।

ধাপ 1: শুরু করা এবং জাভা ইনস্টল করা

1) আসুন নিশ্চিত করা শুরু করি যে আপনার উবুন্টু 16.04 সার্ভার সম্পূর্ণরূপে আপ টু ডেট।

আপনি নিম্নলিখিত কমান্ডগুলি চালিয়ে আপনার সার্ভার আপডেট করতে পারেন:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) জাভা ইনস্টল করা

আপনার মেশিনে জাভা আছে যা ইতিমধ্যে ইনস্টল করা আছে বা নিম্নলিখিত কমান্ড দ্বারা একটি জাভা ডিফল্ট সংস্করণ আছে কিনা তা পরীক্ষা করুন:-

জাভা -রূপান্তর

এমনকি যদি আপনার জাভা কিন্তু নিম্ন সংস্করণ থাকে তবে আপনাকে এটি আপগ্রেড করতে হবে।

আপনি জাভা ইনস্টল করতে পারেন:-

sudo apt-get default-jdk ইনস্টল করুন

অথবা

আপনি Webupd8 টিম PPA সংগ্রহস্থল ব্যবহার করে ওরাকল JDK 8 ইনস্টল করতে পারেন।

সংগ্রহস্থল যুক্ত করতে, নিম্নলিখিত কমান্ডটি চালান:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

ধাপ 2: Zookeeper ইনস্টল করুন

Zookeeper কি?

Zookeeper হল কনফিগারেশন তথ্য বজায় রাখা, নামকরণ, বিতরণকৃত সিঙ্ক্রোনাইজেশন প্রদান এবং গোষ্ঠী পরিষেবা প্রদানের জন্য একটি কেন্দ্রীয় পরিষেবা। বিতরণকৃত অ্যাপ্লিকেশনগুলির দ্বারা এই সমস্ত ধরণের পরিষেবাগুলি কোনও না কোনওভাবে ব্যবহৃত হয়। প্রতিবার যখন সেগুলি বাস্তবায়িত হয় তখন অনেক কাজ হয় যা অনিবার্য বাগ এবং জাতি শর্তগুলি ঠিক করতে যায়। এই ধরণের পরিষেবাগুলি বাস্তবায়নে অসুবিধার কারণে, প্রাথমিকভাবে অ্যাপ্লিকেশনগুলি সাধারণত তাদের এড়িয়ে যায়, যা তাদের পরিবর্তনের উপস্থিতিতে ভঙ্গুর করে এবং পরিচালনা করা কঠিন করে তোলে। এমনকি যখন সঠিকভাবে সম্পন্ন করা হয়, এই পরিষেবাগুলির বিভিন্ন প্রয়োগগুলি যখন অ্যাপ্লিকেশনগুলি স্থাপন করা হয় তখন ব্যবস্থাপনা জটিলতার দিকে পরিচালিত করে।

অ্যাপাচি কাফকা ইনস্টল করার আগে, আপনার জুকিপার উপলব্ধ এবং চলমান থাকতে হবে। ZooKeeper হল একটি ওপেন সোর্স পরিষেবা যা কনফিগারেশন তথ্য বজায় রাখা, বিতরণ করা সিঙ্ক্রোনাইজেশন প্রদান, নামকরণ এবং গোষ্ঠী পরিষেবা প্রদান।

1) ডিফল্টরূপে Zookeeper প্যাকেজ উবুন্টুর ডিফল্ট সংগ্রহস্থলে পাওয়া যায়

আপনি নিম্নলিখিত কমান্ডটি চালানোর মাধ্যমে এটি ইনস্টল করতে পারেন:-

sudo apt-get zookeeperd ইনস্টল করুন

ইনস্টলেশন শেষ হয়ে গেলে, এটি স্বয়ংক্রিয়ভাবে একটি ডেমন হিসাবে শুরু হবে। ডিফল্টরূপে Zookeeper 2181 পোর্টে চলবে।

আপনি নিম্নলিখিত কমান্ডটি চালানোর মাধ্যমে এটি পরীক্ষা করতে পারেন:

netstat -ant | grep: 2181

আউটপুট আপনাকে দেখাতে হবে যে পোর্ট 2181 শোনা যাচ্ছে।

ধাপ 3: কাফকা সার্ভার ইনস্টল করুন এবং শুরু করুন

এখন যেহেতু জাভা এবং চিড়িয়াখানা ইনস্টল করা হয়েছে, এটি অ্যাপাচি ওয়েবসাইট থেকে কাফকা ডাউনলোড এবং বের করার সময়।

1) আপনি কাফকা ডাউনলোড করতে কার্ল বা উইজেট ব্যবহার করতে পারেন: (কাফকা সংস্করণ 0.10.1.1)

কাফকা সেটআপ ডাউনলোড করতে নিম্নলিখিত কমান্ডটি চালান:-

কার্ল -O

অথবা

wget

2) কাফকার জন্য একটি ডিরেক্টরি তৈরি করুন

পরবর্তী, কাফকা ইনস্টলেশনের জন্য একটি ডিরেক্টরি তৈরি করুন:

sudo mkdir /opt /kafka

সিডি /অপ্ট /কাফকা

3) ডাউনলোড করা ফোল্ডারটি আনজিপ করুন

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*আপনার ব্যবহারকারীর নাম অনুযায়ী ব্যবহারকারীর নাম পরিবর্তন করুন

4) কাফকা সার্ভার শুরু করুন

পরের ধাপ হল কাফকা সার্ভার চালু করা, আপনি /oft/kafka/kafka_2.11-0.10.1.1/bin/ ডিরেক্টরিতে অবস্থিত kafka-server-start.sh স্ক্রিপ্টটি চালানোর মাধ্যমে এটি শুরু করতে পারেন:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) কাফকা সার্ভার ভাল কাজ করছে কিনা তা পরীক্ষা করুন

আপনার এখন 9092 পোর্টে একটি কাফকা সার্ভার চলছে এবং শুনছে।

এখন, আমরা শোনার পোর্টগুলি পরীক্ষা করতে পারি:

- চিড়িয়াখানা: 2181

- কাফকা: 9092

netstat -ant | grep -E ': 2181 |: 9092'

ধাপ 4: আপনার কাফকা সার্ভার পরীক্ষা করুন

এখন, কাফকা সার্ভারটি সঠিকভাবে কাজ করছে কিনা তা যাচাই করার সময় এসেছে।

1) একটি নতুন বিষয় তৈরি করুন

কাফকা পরীক্ষা করার জন্য, নিম্নলিখিত কমান্ড ব্যবহার করে অ্যাপাচি কাফকার নাম "টেস্টিং" সহ একটি নমুনা বিষয় তৈরি করুন:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181-partitions 1-replication-factor 1

2) আপনার টপিক সফলভাবে তৈরি হয়েছে কিনা তা পরীক্ষা করুন

এখন, Zookeeper কে নিম্নলিখিত কমান্ডটি চালানোর মাধ্যমে Apache Kafka- এ উপলব্ধ বিষয়গুলির তালিকা করতে বলুন:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) আপনার তৈরি টপিক ব্যবহার করে একটি বার্তা প্রকাশ করুন

প্রতিধ্বনি "হ্যালো ওয়ার্ল্ড" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker- list localhost: 9092-topic testing

4) তৈরি করা বিষয়ে বার্তা গ্রহণ করুন

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-বুটস্ট্র্যাপ-সার্ভার লোকালহোস্ট: 9092-টপিক টেস্টিং-শুরু থেকে

5) একটি বিষয়ে কাফকা ব্যবহার করে একটি ফাইল পাঠানো

kafka-console-producer.sh-broker- list localhost: 9092 optopic testing