Tak Bisa Melihat, Pemuda Ini Bikin AI yang Bisa Ceritakan Dunia di Sekitarnya - /Kompas

KOMPAS.com - Di tangan seorang pemuda asal Mesir, kecerdasan buatan (AI) digunakan untuk membantu tunanetra "melihat" dunia di sekitarnya.

Pemuda tersebut adalah Mark Morad, seorang mahasiswa dan wirausahawan berusia 20 tahun asal Kairo, Mesir.

Mark mengembangkan aplikasi bernama ScribeMe. Aplikasi ini memanfaatkan AI dan kamera untuk mengenali apa yang berada di hadapan pengguna, kemudian menjelaskannya melalui suara.

Sederhananya, kamera smartphone bertindak sebagai "mata". AI kemudian mencoba memahami apa yang ditangkap kamera dan menceritakannya kepada pengguna.

Berawal dari kisah pribadi

Ide aplikasi ini lahir dari pengalaman Mark sendiri setelah kehilangan penglihatannya.

Baca juga: Meta Rilis Aplikasi Meta AI untuk Mac, Bisa Lihat Layar dan Bantu Urus Bisnis

Mark Morad mulai mengalami gangguan penglihatan pada 2018. Pemeriksaan yang dilakukan di Mesir maupun luar negeri tidak menemukan diagnosis definitif.

Namun dokter memperingatkan bahwa ia pada akhirnya akan kehilangan penglihatannya akibat kondisi langka pada saraf optik yang tidak dapat disembuhkan.

Adik Mark, Karen Morad, juga mengalami kondisi serupa. Pada akhir 2021, keduanya telah kehilangan penglihatan sepenuhnya. Proses kehilangan penglihatan Karen berlangsung sekitar enam bulan, sedangkan Mark mengalaminya secara bertahap selama hampir tiga tahun.

Baca juga: Ikuti Saran AI untuk Racik Obat Gulma, Petani China Gagal Panen 10 Hektar dalam Semalam

Salah satu tantangan terbesar Mark setelah menjadi tunanetra adalah belajar.

Ketika itu, aplikasi pembaca layar sebenarnya sudah bisa membantunya membaca tulisan. Masalah muncul ketika Mark harus mempelajari mata pelajaran seperti fisika dan kimia.

Buku pelajaran tidak hanya berisi teks, tetapi juga grafik, diagram, hingga persamaan yang tidak selalu dapat dijelaskan dengan baik oleh aplikasi pembaca layar.

Baca juga: Nilai “A” Mahasiswa Tak Berarti Lagi Gara-gara AI, Masa Depan Dipertaruhkan

Mark sempat menghubungi sejumlah pengembang aplikasi di luar negeri yang mengerjakan teknologi serupa, tetapi tidak mendapatkan jawaban.

Akhirnya, ia memutuskan mencari solusi sendiri. Mark belajar pemrograman secara otodidak melalui tutorial di YouTube.

Pada 2023, ia berhasil membuat versi awal ScribeMe yang bisa membantunya mengakses materi sekolah. Aplikasi tersebut kemudian berkembang jauh melampaui fungsi awalnya sebagai alat untuk membaca dokumen.

Baca juga: Pria Ini Sakit Parah Setelah Ikuti Saran soal Konsumsi Garam, Ternyata Ada yang Salah

Diintegrasikan ke kacamata Ray-Ban Meta

ScribeMe kini dapat memanfaatkan kamera smartphone untuk memahami lingkungan pengguna secara real-time.

Alih-alih hanya membacakan tulisan yang tertangkap kamera, AI dapat mendeskripsikan objek dan situasi yang dilihatnya.

Pengguna juga bisa bertanya mengenai apa yang berada di hadapannya secara real-time.

Misalnya, pengguna dapat menggunakan ScribeMe untuk mengenali sebuah benda, mencari toko, mengetahui apa yang terjadi di sekitarnya, hingga memahami informasi visual yang sulit diakses menggunakan pembaca layar biasa.

Baca juga: Aplikasi AI Ini Punya 800.000 Pengguna meski Belum Rilis, Ujung-ujungnya Ditutup Google

Kemampuannya semakin luas setelah ScribeMe diintegrasikan dengan kacamata pintar Ray-Ban Meta. Dengan integrasi ini, pengguna tidak perlu terus memegang smartphone dan mengarahkan kameranya ke depan.

Kamera yang terpasang di kacamata dapat menangkap lingkungan dari sudut pandang pengguna. ScribeMe kemudian memproses gambar tersebut dan menyampaikan informasinya melalui suara.

Bagi pengguna tunanetra, konsep tersebut punya keuntungan lain, yakni kedua tangan tetap bebas. Salah satunya tetap dapat digunakan untuk memegang tongkat ketika berjalan.

Baca juga: Nyata, China Mulai Kerahkan Robot Jadi Polisi Lalu Lintas, Apa Saja Kemampuannya?

Salah satu contoh penggunaannya dialami langsung oleh Karen ketika berlibur ke Kenya pada Juni 2026.

Saat mengikuti safari, Karen menggunakan ScribeMe melalui kacamata pintar Meta. AI memberikan penjelasan termasuk apa yang sedang dilakukan hewan-hewan tersebut, dan seberapa jauh jaraknya.

Dalam kehidupan sehari-hari, Karen juga memanfaatkan aplikasi buatan kakaknya tersebut untuk menemukan ruang kelas, mengenali toko, memilih pakaian, hingga membantu belajar.

Baca juga: AI Disuruh Mematikan AI Lain, Responsnya Bikin Khawatir

Dukung 20 bahasa di 140 negara

ScribeMe kini mendukung sekitar 20 bahasa, termasuk bahasa Arab. 

Dukungan bahasa Arab menjadi salah satu hal yang dianggap penting oleh Mark karena ia mengaku kesulitan menemukan kemampuan tersebut pada layanan pesaing yang pernah digunakannya.

Perjalanan ScribeMe juga mendapat pengakuan melalui sejumlah kompetisi teknologi. Salah satunya adalah Vodafone AI Assistive Tools Hackathon 2024, kompetisi yang digelar Vodafone Egypt untuk mendorong pengembangan teknologi bagi penyandang disabilitas.

Baca juga: AI Ini Bisa Bikin "Manusia Virtual", Jumlahnya Setara Populasi Dunia

Dari sana, Mark bertemu dengan seorang co-founder dan mulai mengembangkan ScribeMe menjadi produk yang lebih luas.

Kini, ScribeMe disebut telah digunakan oleh ribuan pengguna di sekitar 140 negara, sebagaimana dihimpun KompasTekno dari Reuters.

Aplikasi tersebut tersedia untuk iPhone dan smartphone Android serta dapat diunduh secara gratis.

Namun, sejumlah fitur tambahan ditawarkan melalui skema berlangganan dengan harga 20 dollar AS (sekitar Rp 356.000) per bulan atau 200 dollar AS (kira-kira Rp 3,5 juta) per tahun.

Saudara-saudara kita di Nusa Tenggara Timur tengah dirundung duka karena gempa M 7,7. Mari kita mengulurkan tangan untuk membantu meringankan beban yang sedang mereka hadapi. Kirim bantuan Anda melalui tautan https://bit.ly/BantuWargaNTT