কম্পিউটার ভিশন ব্যবহার করে রিয়েল ওয়ার্কিং হ্যারি পটার ভান্ড: Ste টি ধাপ (ছবি সহ)

2024 লেখক: John Day | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-30 08:00

"যথাযথভাবে উন্নত প্রযুক্তি যাদু থেকে আলাদা নয়" - আর্থার সি ক্লার্ক

কয়েক মাস আগে আমার ভাই জাপান সফর করেন এবং কম্পিউটার ভিশনের প্রযুক্তির মাধ্যমে ইউনিভার্সাল স্টুডিওতে হ্যারি পটারের উইজার্ডিং ওয়ার্ল্ডে বাস্তব অভিজ্ঞতা অর্জন করেন।

ইউনিভার্সাল স্টুডিওতে হ্যারি পটারের উইজার্ডিং ওয়ার্ল্ডে পর্যটকরা নির্দিষ্ট স্থানে (যেখানে মোশন ক্যাপচার সিস্টেম ইন্সটল করা আছে) টিপ-এ রেট্রো-রিফ্লেকটিভ পুঁতি দিয়ে বিশেষভাবে তৈরি ওয়ান্ড ব্যবহার করে "আসল ম্যাজিক" করতে পারেন। একটি সত্যিকারের অলিভান্ডারের দোকান থেকে ছাদগুলি কেনা যেতে পারে যা হ্যারি পটার মুভিতে দেখানো ছবির মতোই কিন্তু মনে রাখবেন: "এটি সেই জাদুটি যা উইজার্ডকে বেছে নেয়": P

সেই নির্দিষ্ট স্থানে যদি ব্যক্তি ছাদ দিয়ে একটি বিশেষ অঙ্গভঙ্গি সম্পাদন করে, মোশন ক্যাপচার সিস্টেম ইঙ্গিতটিকে স্বীকৃতি দেয় এবং সমস্ত অঙ্গভঙ্গি একটি নির্দিষ্ট বানানের সাথে মিলে যায় যার ফলে আশেপাশের এলাকায় কিছু ক্রিয়াকলাপ ঘটে যেমন ফোয়ারা চালু করা ইত্যাদি।

সুতরাং, এই নির্দেশনায় আমি দেখাবো কিভাবে আপনি আপনার যাদুর ঝাঁকুনি দিয়ে একটি বাক্স খুলে "আসল জাদু" সঞ্চালনের জন্য বাড়িতে একটি সস্তা এবং কার্যকর মোশন ক্যাপচার সিস্টেম তৈরি করতে পারেন: D শুধু একটি সাধারণ নাইট ভিশন ক্যামেরা, কিছু ইলেকট্রনিক্স ব্যবহার করে, এবং OpenCV কম্পিউটার ভিশন লাইব্রেরি এবং মেশিন লার্নিং ব্যবহার করে কিছু পাইথন কোড !!!

ধাপ 1: প্রাথমিক ধারণা এবং প্রয়োজনীয় অংশগুলি

ইউনিভার্সাল স্টুডিওতে হ্যারি পটারের উইজার্ডিং ওয়ার্ল্ড থেকে যে ভান্ডগুলি কেনা হয়, তাদের ডগায় একটি বিপরীতমুখী পুঁতি থাকে। সেই বিপরীতমুখী জপমালা প্রচুর পরিমাণে ইনফ্রারেড আলোকে প্রতিফলিত করে যা ক্যামেরা দ্বারা মোশন ক্যাপচার সিস্টেমে দেওয়া হয়।তাই, আমরা মানুষ যা বাতাসে চলমান ছড়ির একটি বিশেষ স্বতন্ত্র টিপ হিসাবে অনুভব করি, মোশন ক্যাপচার সিস্টেম উপলব্ধি করে একটি উজ্জ্বল ব্লব হিসাবে যা ভিডিও স্ট্রীমে সহজেই বিচ্ছিন্ন করা যায় এবং ব্যক্তির আঁকা প্যাটার্নকে সনাক্ত করতে এবং প্রয়োজনীয় ক্রিয়া সম্পাদন করতে ট্র্যাক করা যায়। এই সমস্ত প্রক্রিয়াকরণ বাস্তব সময়ে ঘটে এবং কম্পিউটার ভিশন এবং মেশিন লার্নিং ব্যবহার করে।

মোশন ক্যাপচারের জন্য একটি সাধারণ নাইট ভিশন ক্যামেরা আমাদের ক্যামেরা হিসাবে ব্যবহার করা যেতে পারে কারণ তারা ইনফ্রারেড আলোকেও বিস্ফোরিত করে যা মানুষের কাছে দৃশ্যমান নয় কিন্তু এমন একটি ক্যামেরা দিয়ে স্পষ্টভাবে দেখা যায় যার কোন ইনফ্রারেড ফিল্টার নেই। সুতরাং, ক্যামেরা থেকে ভিডিও স্ট্রিম একটি রাস্পবেরি পাইতে খাওয়ানো হয় যার ওপেনসিভি চালিত একটি পাইথন প্রোগ্রাম রয়েছে যা সনাক্তকরণ, বিচ্ছিন্নকরণ এবং কাঠির টিপ ট্র্যাক করার জন্য ব্যবহৃত হয়। তারপর আমরা মেশিন লার্নিং এর SVM (সিম্পল ভেক্টর মেশিন) অ্যালগরিদম ব্যবহার করে আঁকা প্যাটার্ন চিনতে পারি এবং সেই অনুযায়ী রাস্পবেরি পাই এর GPIO গুলিকে নিয়ন্ত্রণ করে কিছু কাজ করতে পারি।

প্রয়োজনীয় উপকরণ:

1) একটি রাস্পবেরি পাই 3 মডেল বি এবং প্রয়োজনীয় জিনিসপত্র যেমন কীবোর্ড এবং মাউস

2) রাস্পবেরি পাই NoIR (কোন ইনফ্রারেড) ক্যামেরা মডিউল

3) টিপ এ retroreflector সঙ্গে হ্যারি পটার ভান্ড: আপনার যদি না থাকে চিন্তা করবেন না। একটি retroreflector সঙ্গে কিছু ব্যবহার করা যেতে পারে। সুতরাং, আপনি যে কোনও ছড়ির মতো কাঠি ব্যবহার করতে পারেন এবং টিপটিতে রেট্রোফ্লেক্টর টেপ, পেইন্ট বা জপমালা প্রয়োগ করতে পারেন এবং এটি উইলিয়াম ওসমানের ভিডিওতে দেখানো হিসাবে কাজ করা উচিত: ভিডিওটি দেখুন

4) 10 ইনফ্রারেড LEDs

5) আপনার পছন্দের একটি 3D প্রিন্টার এবং PLA ফিলামেন্ট

6) 12V - 1A ওয়াল অ্যাডাপ্টার এবং ডিসি জ্যাক

7) একটি servo মোটর

8) একটি পুরানো বাক্স এবং একটি চক্রের চাকা থেকে একটি স্পোক

9) একটি গরম আঠালো বন্দুক

10) কাগজের চকচকে পাতায় কিছু হ্যারি পটার সম্পর্কিত লোগো এবং ছবির প্রিন্টআউট

11) সবুজ এবং হলুদ মখমলের চাদর।

দ্রষ্টব্য: আমি তার ইনফ্রারেড ফিল্টারটি সরিয়ে নাইট ভিশনের জন্য একটি পুরানো নিয়মিত ওয়েবক্যাম ব্যবহার করার চেষ্টা করেছি কিন্তু এর লেন্সের ক্ষতি/স্থানচ্যুতি শেষ করেছি যা ভিডিওর মানকে ব্যাপকভাবে প্রভাবিত করেছে এবং আমি এটি ব্যবহার করতে পারিনি। কিন্তু আপনি যদি এটি একটি শট দিতে চান, আপনি এই মহান নির্দেশযোগ্য ক্লিকের মাধ্যমে যেতে পারেন এখানে

ধাপ 2: OpenCV মডিউল ইনস্টল করুন

এখন এই পুরো প্রকল্পের প্রথম এবং সম্ভবত দীর্ঘতম পদক্ষেপের সময়: আপনার রাস্পবেরি পাইতে ওপেনসিভি মডিউল ইনস্টল এবং নির্মাণ।

ওপেনসিভি মডিউলের জন্য নির্ভরতাগুলি ইনস্টল করতে খুব বেশি সময় লাগে না তবে বিল্ড প্রক্রিয়াটি 2 থেকে 3 ঘন্টা পর্যন্ত সময় নিতে পারে !! তো, বাকল আপ !!: পি

অনলাইনে অনেক টিউটোরিয়াল আছে যা আপনি OpenCV 4.1.0 মডিউল ইনস্টল করতে অনুসরণ করতে পারেন। আমি যা অনুসরণ করেছি তার লিঙ্ক এখানে: এখানে ক্লিক করুন

দ্রষ্টব্য: আমি দৃ strongly়ভাবে ওপেনসিভি মডিউলটি ভার্চুয়াল পরিবেশে ইনস্টল করার পরামর্শ দিচ্ছি যেমন টিউটোরিয়ালে দেখানো হয়েছে কারণ এটি বিভিন্ন মডিউলের নির্ভরতা ইনস্টল করার কারণে বা পাইথনের বিভিন্ন সংস্করণের সাথে কাজ করার সময় বিভিন্ন ধরণের দ্বন্দ্ব প্রতিরোধ করবে।

ধাপ 3: ক্যামেরা মাউন্ট মুদ্রণ

NoIR পিকামার কোন ইনফ্রারেড ফিল্টার নেই, তাই এটি একটি নাইট ভিশন ক্যামেরা হিসাবে ব্যবহার করা যেতে পারে কিন্তু এটি এখনও একটি ইনফ্রারেড আলোর উৎসের অভাব রয়েছে। সমস্ত নাইট ভিশন ক্যামেরার নিজস্ব ইনফ্রারেড আলোর উৎস থাকে যা অন্ধকারে IR রশ্মি বিস্ফোরিত করে যা নগ্ন চোখে অদৃশ্য হয় কিন্তু কোন বস্তু থেকে প্রতিফলিত হওয়ার পর কোন ইনফ্রারেড ফিল্টার ছাড়া রশ্মি ক্যামেরা দ্বারা দেখা যায়।

সুতরাং, আমাদের মূলত একটি ইনফ্রারেড লাইট সোর্স এবং ক্যামেরা লাগানোর জন্য কিছু দরকার। এর জন্য আমি একটি বস্তুর একটি সাধারণ 3 ডি মডেল ডিজাইন করেছি যার উপর আমরা ক্যামেরাটি মাউন্ট করতে পারি যা আমরা একটি বৃত্তে 10 আইআর এলইডি দ্বারা ঘিরে থাকব। মডেলটি স্কেচআপ দিয়ে তৈরি করা হয়েছিল এবং প্রায় 40 মিনিটের মধ্যে ব্ল্যাক পিএলএ দিয়ে মুদ্রিত হয়েছিল।

ধাপ 4: ক্যামেরা মাউন্ট শেষ করা

মডেলটি প্রিন্ট করার পর আমি প্রথমে এটি একটি 80 গ্রিট বালি কাগজ দিয়ে স্যান্ড করেছিলাম এবং তারপরে উপরে দেওয়া চিত্র অনুযায়ী আইআর লেডগুলি তাদের গর্তে স্থাপন করা শুরু করেছিলাম।

আমি কিছু গরম আঠালো দিয়ে তাদের জায়গায় লেডগুলিকে সুরক্ষিত করেছিলাম এবং তারপরে পরপর দুটি লেডের ইতিবাচক এবং নেতিবাচক লিডগুলি একসাথে যোগ দিয়েছিলাম এবং তারপরে লেডগুলির একটি সিরিজ সংযোগ তৈরি করতে তাদের বিক্রি করেছি।

12 ভোল্টের প্রাচীরের অ্যাডাপ্টার থেকে ইতিবাচক এবং নেতিবাচক প্রান্তগুলিকে সংযুক্ত করার জন্য একটি নেতৃত্বের ইতিবাচক সীসা এবং নীচের দিকে তার নেতৃত্বের নেতিবাচক সীসাটি আন-সোল্ডার করা হয়েছিল।

ধাপ 5: প্রশিক্ষিত মেশিন লার্নিং মডেল

একজন ব্যক্তির আঁকা চিঠিটি স্বীকৃতির উদ্দেশ্যে, আমি এখানে পাওয়া হাতের লেখা ইংরেজি বর্ণমালার একটি ডেটাসেট ব্যবহার করে সাপোর্ট ভেক্টর মেশিন (এসভিএম) অ্যালগরিদমের উপর ভিত্তি করে একটি মেশিন লার্নিং মডেল প্রশিক্ষণ দিয়েছি। SVM গুলি খুব দক্ষ মেশিন লার্নিং অ্যালগরিদম যা উচ্চ নির্ভুলতা দিতে পারে, এই ক্ষেত্রে প্রায় 99.2% !! এসভিএম সম্পর্কে আরও পড়ুন

ডেটাসেট.csv ফাইলের আকারে রয়েছে যার মধ্যে 5৫ টি কলাম এবং,০০,০০০ এরও বেশি সারি রয়েছে যেখানে প্রতিটি সারি ২ x x ২ image ইমেজের প্রতিনিধিত্ব করে এবং সেই সারির প্রতিটি কলামে ওই পিক্সেলের মান রয়েছে সেই কলামের জন্য একটি অতিরিক্ত কলাম সহ শুরুতে যা লেবেল রয়েছে, 0 থেকে 25 পর্যন্ত একটি সংখ্যা, প্রতিটি একটি ইংরেজি অক্ষরের সাথে সম্পর্কিত। একটি সাধারণ পাইথন কোডের মাধ্যমে, আমি কেবলমাত্র 2 টি অক্ষরের (A এবং C) জন্য সমস্ত চিত্র পেতে ডেটা কেটেছি এবং তাদের জন্য একটি মডেল প্রশিক্ষণ দিয়েছি।

আমি প্রশিক্ষিত মডেল (alphabet_classifier.pkl) সংযুক্ত করেছি এবং প্রশিক্ষণ কোডটি নির্দ্বিধায় এটির মধ্য দিয়ে যেতে পারি অথবা মডেলকে বিভিন্ন অক্ষর দিয়ে প্রশিক্ষণের জন্য কোন পরিবর্তন করতে পারি অথবা বিভিন্ন অ্যালগরিদম চেষ্টা করতে পারি। প্রোগ্রামটি চালানোর পর, এটি স্বয়ংক্রিয়ভাবে প্রশিক্ষিত মডেলটিকে একই ডিরেক্টরিতে সংরক্ষণ করে যেখানে আপনার কোড সংরক্ষিত আছে।

ধাপ 6: যে কোডটি সব কিছু ঘটায়

প্রশিক্ষিত মডেল তৈরির পর, চূড়ান্ত ধাপ হল আমাদের রাস্পবেরি পাই এর জন্য একটি পাইথন প্রোগ্রাম লেখা যা আমাদের নিম্নলিখিতগুলি করতে দেয়:

• রিয়েলটাইমে পিকামেরা ফর্ম ভিডিও অ্যাক্সেস করুন
• ভিডিওতে সাদা ব্লবগুলি সনাক্ত করুন এবং ট্র্যাক করুন (এই ক্ষেত্রে ছড়ির ডগা যা রাতের দৃষ্টিতে জ্বলে ওঠে)
• কিছু ট্রিগার ইভেন্টের পরে ভিডিওতে চলমান ব্লবের পথটি সন্ধান করা শুরু করুন (নীচে ব্যাখ্যা করা হয়েছে)
• অন্য ট্রিগার ইভেন্টের পরে ট্রেস করা বন্ধ করুন (নীচে ব্যাখ্যা করা হয়েছে)
• ব্যবহারকারীর আঁকা প্যাটার্ন সহ শেষ ফ্রেমটি ফেরত দিন
• ফ্রেমে প্রি-প্রসেসিং করুন যেমন থ্রেশহোল্ডিং, নয়েজ রিমুভাল, রিসাইজিং ইত্যাদি।
• পূর্বাভাসের জন্য প্রক্রিয়া করা শেষ ফ্রেমটি ব্যবহার করুন।
• ভবিষ্যদ্বাণী অনুসারে রাস্পবেরি পাই এর জিপিআইও নিয়ন্ত্রণ করে কিছু ধরণের যাদু সম্পাদন করুন

এই প্রকল্পের জন্য আমি একটি হ্যারি পটার থিমযুক্ত বাক্স তৈরি করেছি যা আমি একটি সার্ভো মোটর ব্যবহার করে খুলতে এবং বন্ধ করতে পারি যা রাস্পবেরি পাই এর জিপিআইও দ্বারা নিয়ন্ত্রিত। যেহেতু 'A' অক্ষরটি 'Alohamora' (হ্যারি পটার চলচ্চিত্রের অন্যতম বিখ্যাত বানান যা একজন উইজার্ডকে যেকোনো তালা খুলতে দেয় !!), যদি কোন ব্যক্তি ছাদ দিয়ে A অক্ষর আঁকেন, তাহলে pi servo- কে নির্দেশ দেয় বাক্সটি খোলো. যদি সেই ব্যক্তি 'C' অক্ষরটি আঁকেন যা বন্ধ হয়ে যায় (যেমন আমি বন্ধ বা লক করার জন্য ব্যবহৃত কোন যথাযথ বানান সম্পর্কে ভাবতে পারি না: P), পাই বাক্সটি বন্ধ করতে সার্ভোকে নির্দেশ দেয়।

ইমেজ/ভিডিও প্রসেসিং সম্পর্কিত সমস্ত কাজ, যেমন ব্লব সনাক্তকরণ, ব্লবের পথ ট্রেস করা, শেষ ফ্রেমের প্রাক-প্রক্রিয়াকরণ ইত্যাদি, OpenCV মডিউলের মাধ্যমে সম্পন্ন করা হয়।

উপরে উল্লিখিত ট্রিগার ইভেন্টগুলির জন্য, রিয়েল-টাইম ভিডিওতে দুটি বৃত্ত তৈরি করা হয়েছে, একটি সবুজ এবং একটি লাল বৃত্ত। যখন ব্লবটি সবুজ বৃত্তের মধ্যে অঞ্চলে প্রবেশ করে, সেই মুহুর্তের পরে প্রোগ্রামটি ব্লব দ্বারা নেওয়া পথটি সনাক্ত করতে শুরু করে যা ব্যক্তিকে চিঠি তৈরি করতে দেয়। যখন ব্লব লাল বৃত্তে পৌঁছায়, ভিডিওটি থেমে যায় এবং শেষ ফ্রেমটি একটি ফাংশনে প্রেরণ করা হয় যা ফ্রেমের প্রাক-প্রক্রিয়াকরণ সম্পাদন করে যাতে এটি পূর্বাভাসের জন্য প্রস্তুত হয়।

আমি এই ধাপে কোড ফাইল সংযুক্ত করেছি। নির্দ্বিধায় এটি মাধ্যমে যান এবং আপনি চান হিসাবে কোন পরিবর্তন করতে।

দ্রষ্টব্য: আমাকে বিভিন্ন পাইথন সংস্করণগুলির সাথে কাজ করে দুটি পৃথক পাইথন ফাইল তৈরি করতে হয়েছিল, একটি যা ওপেনসিভি মডিউল (পাইথন 2.7) আমদানি করে এবং অন্যটি যা প্রশিক্ষিত মডেল লোড করার পরে ভবিষ্যদ্বাণীর জন্য স্ক্লিয়ারন মডিউল (পাইথন 3.5) আমদানি করে, কারণ আমার ওপেনসিভি ইনস্টল করা হয়েছিল পাইথন 2.7 সংস্করণ যখন স্কিলারন পাইথন 3.5 এর জন্য ইনস্টল করা হয়েছিল। সুতরাং, আমি HarryPotterWandclearn.py (পূর্বাভাসের জন্য) HarryPotterWandcv.py (সমস্ত opencv কাজ এবং রিয়েলটাইম ভিডিও রেকর্ডিং এর জন্য) ফাইলটি চালানোর জন্য সাবপ্রসেস মডিউল ব্যবহার করেছি এবং এর আউটপুট পেয়েছি। এইভাবে আমাকে শুধুমাত্র HarryPotterWandcv.py ফাইলটি চালাতে হবে।

ধাপ 7: বক্স খোলার প্রক্রিয়া

আমার একটি পুরানো লাল রঙের বাক্স পড়ে ছিল যা আমি এই প্রকল্পের জন্য ব্যবহার করেছি।

বক্স-ওপেনিং মেকানিজমের জন্য:

1. আমি বাক্সের প্রান্তের কাছাকাছি কার্ডবোর্ডের একটি টুকরোতে বাক্সের পিছনের প্রান্তের কাছাকাছি একটি সার্ভো গরম করেছিলাম।
2. তারপরে আমি একটি চক্রের চাকা থেকে একটি স্পোক নিয়েছিলাম এবং এটিকে সরোয়ার বাহুতে আঠালো করেছিলাম।
3. স্পোকের অন্য প্রান্তটি তারের টুকরা ব্যবহার করে বাক্সের idাকনার সাথে সংযুক্ত ছিল।
4. রাস্পবেরি পাইতে সার্ভের পজিটিভ +5V পিন 2 এর সাথে সংযুক্ত ছিল।
5. সার্ভো নেগেটিভ GND পিন 39 এর সাথে সংযুক্ত ছিল।
6. সার্ভার সিগন্যাল পিন 12 এর সাথে সংযুক্ত ছিল

ধাপ 8: বক্স হ্যারি পটার থিমযুক্ত

হ্যারি পটার থিমযুক্ত বক্স তৈরির জন্য, আমি বিভিন্ন জিনিসের কিছু রঙিন ছবি মুদ্রণ করেছি যেমন হ্যারি পটার লোগো, দ্য হগওয়ার্টস ক্রেস্ট, চারটি বাড়ির প্রতিটি ক্রেস্ট ইত্যাদি চকচকে A4 সাইজের শীটে এবং সেগুলি বিভিন্ন বাক্সে আটকানো জায়গা.

আমি স্ট্রিপ কাটার জন্য হলুদ রঙের মখমলের চাদরও ব্যবহার করেছি এবং সেগুলো theাকনাতে আটকে দিয়েছি যাতে বাক্সটি গ্রিফিন্ডর হাউসের মতো একই রঙ দিতে পারে। আমি সবুজ মখমলের চাদর দিয়ে oাকনা এবং পিচবোর্ডের ভিতরে oেকে দিলাম। Theাকনার ভেতরে আমি আরো প্রতীক এবং একটি প্রতীক পেস্ট করেছি যা হগওয়ার্টস স্কুলের প্রতিটি বাড়ির প্রতিনিধিত্ব করে।

তারপর অবশেষে আমি আমার হ্যারি পটার সম্পর্কিত সমস্ত জিনিস বাক্সে ভরে দিলাম যার মধ্যে একটি গ্রিফিন্ডর মাফলার, হগওয়ার্টস ইউনিফর্মের সাথে একটি ডায়েরি এবং এই প্রকল্পে ব্যবহৃত এল্ডার ভান্ড: D