স্পিচ/টেক্সট কনভার্টিং গ্লাভে অঙ্গভঙ্গি: 5 টি ধাপ

2024 লেখক: John Day | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-30 07:57

এই প্রকল্পটি বাস্তবায়নের পিছনে ধারণা/ধাক্কা ছিল এমন লোকদের সাহায্য করা যাদের বক্তৃতা ব্যবহারে যোগাযোগ করতে অসুবিধা হয় এবং হাতের অঙ্গভঙ্গি ব্যবহার করে বা আমেরিকান স্বাক্ষরিত ভাষা (এএসএল) নামে বেশি পরিচিত। এই প্রকল্পটি সহযোগী পরিবেশে এই লোকদের অন্য লোকদের সাথে কাজ করার সুযোগ দেওয়ার জন্য একটি পদক্ষেপ হতে পারে, যারা সাংকেতিক ভাষা বুঝতে পারে না। এছাড়াও, এই প্রকল্পটি তাদের প্রকৃত মানব অনুবাদকের ব্যবহার ছাড়াই জনসাধারণের বক্তৃতা দিতে সক্ষম করবে। শুরুতে, আমি কেবল A, B, I, ইত্যাদি বর্ণমালার মতো কিছু সহজ অঙ্গভঙ্গি সনাক্ত করার চেষ্টা করছিলাম এবং সাধারণ শব্দ/শুভেচ্ছা যেমন 'হ্যালো', 'গুড মর্নিং' ইত্যাদি নির্দিষ্ট অঙ্গভঙ্গি নির্ধারণ করেছি।

ধাপ 1: সার্কিট সমাবেশ

ধাপ 2: প্রকল্পের বিবরণ

এই প্রজেক্টটিতে একটি পরিধানযোগ্য গ্লাভস রয়েছে যার মধ্যে 4 টি ফ্লেক্স সেন্সর আটকে আছে/গ্লাভসে এম্বেড করা হয়েছে - প্রতিটি ছোট, মাঝারি, তর্জনী এবং থাম্বের জন্য। Arduino Uno R3 এ এনালগ ইনপুট পিনের প্রাপ্যতার সীমাবদ্ধতার কারণে এবং সাধারণভাবে আঙুলের দ্বারা আঙুল দ্বারা প্রদর্শিত স্বাধীন আন্দোলনের অভাবের কারণে রিং ফিঙ্গারের জন্য ফ্লেক্স সেন্সর ব্যবহার করা হয়নি। একটি MMA8452Q অ্যাকসিলরোমিটারও ব্যবহার করা হয় যা হাতের দিকনির্দেশনা পরিমাপের জন্য তালুর পিছনে আটকে থাকে। এই সেন্সর থেকে ইনপুট বিশ্লেষণ করা হয় এবং অঙ্গভঙ্গি বোঝার জন্য ব্যবহৃত হয়। একবার অঙ্গভঙ্গি অনুভূত হলে, সংশ্লিষ্ট অক্ষর/বার্তা একটি ভেরিয়েবলে সংরক্ষণ করা হয়। একটি নির্দিষ্ট পূর্বনির্ধারিত অঙ্গভঙ্গি তৈরি না হওয়া পর্যন্ত এই অক্ষর এবং বার্তাগুলি সংযোজিত হতে থাকে যা বাক্যের সমাপ্তি নির্দেশ করে। একবার সেই বিশেষ অঙ্গভঙ্গি ধরা পড়লে, সংরক্ষিত বাক্যের স্ট্রিংটি আরডুইনো দ্বারা ইউএসবি কেবল এর মাধ্যমে রাস্পবেরি পাইতে পাঠানো হয়। রাস্পবেরি পাই তারপর প্রাপ্ত স্ট্রিং পাঠায় আমাজন ক্লাউড সার্ভিসে পাঠায় পাঠ্য বিন্যাসে প্রাপ্ত বাক্যকে বক্তৃতা বিন্যাসে রূপান্তর করতে এবং তারপর AUX কেবল এর মাধ্যমে রাস্পবেরি পাই এর সাথে সংযুক্ত স্পিকারে প্রাপ্ত বক্তৃতাটি প্রবাহিত করে।

এই প্রকল্পটি ছিল ধারণার একটি প্রমাণ এবং আরও ভালো যন্ত্রপাতি এবং পরিকল্পনা এবং আরও অনেক অঙ্গভঙ্গি এবং হাতের নড়াচড়া শনাক্ত করার জন্য আরও ভাল ক্যালিব্রেটেড। বর্তমানে, এই প্রকল্পে শুধুমাত্র সীমিত কার্যকারিতা প্রোগ্রাম করা হয়েছে যেমন মৌলিক অঙ্গভঙ্গি সনাক্তকরণ এবং টেক্সট টু স্পিচ আউটপুট।

ধাপ 3: কোড

ধাপ 4: পদক্ষেপ

1. প্রদত্ত সার্কিট ডায়াগ্রাম অনুযায়ী ফ্লেক্স সেন্সর এবং অ্যাক্সিলরোমিটার MMA8452Q কে Arduino এর সাথে সংযুক্ত করুন।

2. Final_Project.ino (Arduino_code.zip ফাইলে পাওয়া) প্রোগ্রামটি Arduino এ ডাম্প করুন।

3. একটি ইউএসবি তারের সাথে রাস্পবেরি পাই এর সাথে আরডুইনো সংযোগ করুন। (কেবল টাইপ A/B)।

4. রাস্পবেরি পাইকে শক্তিশালী করুন, রাস্পবেরি পাই -তে Raspberry_pi_code.zip ফাইলটি অনুলিপি করুন এবং এটি বের করুন। রাস্পবেরি পাই এর সাথে স্পিকার সংযুক্ত করুন।

5. আপনার AWS অ্যাকাউন্টের শংসাপত্রগুলি যেমন aws_access_key_id, aws_secret_access_key এবং aws_session_token Copy/.aws/credentials ফাইলে অনুলিপি করুন। এই পদক্ষেপটি AWS ক্লাউডের সাথে যোগাযোগ করতে এবং AWS পরিষেবাগুলি ব্যবহার করতে প্রয়োজন।

6. ধাপ 4 এ নিষ্কাশিত ফোল্ডারের ভিতরে পাওয়া seria_test.py প্রোগ্রামটি চালান।

7. এখন একটি বাক্য গঠন করার জন্য অঙ্গভঙ্গি করুন এবং তারপর বিশেষ অঙ্গভঙ্গি করুন (আপনার আঙ্গুল এবং হাতের তালু সোজা রাখুন এবং হাতের তালুর সাথে একটি সারিতে রাখুন, এবং তারপর কব্জিকে ঘোরান যাতে এটি একটি নিচের দিকে ঘুরিয়ে দেয় যাতে এখন আপনার হাতের তালু আপনার মুখোমুখি এবং আপনার আঙ্গুলের অগ্রভাগ আপনার পায়ের দিকে নিচের দিকে নির্দেশ করছে।) বাক্য সমাপ্তির সংকেত দিতে।

8. দরকারী তথ্যের জন্য টার্মিনাল চেক করতে থাকুন।

9. এবং রূপান্তরিত বক্তৃতা স্পিকারে প্রবাহিত হচ্ছে শুনুন।

ধাপ 5: রেফারেন্স

1.

2.

3.

4.