Canggih, Apple Kenalkan Alat Edit Foto AI Hanya Menggunakan Instruksi

    - Apple telah merilis model kecerdasan buatan atau Artificial Intelligence (AI) sumber terbuka baru, yang disebut “MGIE" yang dapat mengedit gambar hanya berdasarkan instruksi bahasa alami. MGIE, yang merupakan singkatan dari MLLM-Guided Image Editing.   Alat atau tools tersebut memanfaatkan model bahasa besar multimodal (MLLM) untuk menafsirkan perintah pengguna dan melakukan manipulasi tingkat piksel. Model tersebut dapat menangani berbagai aspek pengeditan, seperti modifikasi gaya Photoshop, pengoptimalan foto global, dan pengeditan lokal.   MGIE merupakan hasil kolaborasi antara Apple dan peneliti dari University of California, Santa Barbara. Model ini dipresentasikan dalam makalah yang diterima di Konferensi Internasional tentang Representasi Pembelajaran (ICLR) 2024, salah satu tempat terbaik untuk penelitian di bidang AI.    Makalah ini menunjukkan efektivitas MGIE dalam meningkatkan metrik otomatis dan evaluasi manusia. Sekaligus, tools tersebut diyakini busa menjaga efisiensi inferensi kompetitif.   Bicara teknologinya, MGIE didasarkan pada ide penggunaan MLLM, yang merupakan model AI canggih yang dapat memproses teks dan gambar, untuk meningkatkan pengeditan gambar berbasis instruksi. MLLM telah menunjukkan kemampuan luar biasa dalam pemahaman lintas-modal dan generasi respons sadar visual, namun mereka belum diterapkan secara luas pada tugas pengeditan gambar.   MGIE mengintegrasikan MLLM ke dalam proses pengeditan gambar dengan dua cara: Pertama, MGIE menggunakan MLLM untuk memperoleh instruksi ekspresif dari masukan pengguna. Petunjuk ini ringkas dan jelas serta memberikan panduan eksplisit untuk proses pengeditan. Misalnya, dengan masukan “membuat langit lebih biru”, MGIE dapat menghasilkan instruksi “meningkatkan saturasi wilayah langit sebesar 20%.”   Kedua, ia menggunakan MLLM untuk menghasilkan imajinasi visual, representasi laten dari hasil edit yang diinginkan. Representasi ini menangkap esensi pengeditan dan dapat digunakan untuk memandu manipulasi tingkat piksel. MGIE menggunakan skema pelatihan end-to-end baru yang bersama-sama mengoptimalkan derivasi instruksi, imajinasi visual, dan modul pengeditan gambar.   MGIE dapat menangani berbagai skenario pengeditan mulai dari penyesuaian warna sederhana hingga manipulasi objek yang kompleks. Model juga dapat melakukan pengeditan global dan lokal, bergantung pada preferensi pengguna.    Beberapa fitur dan kemampuan MGIE yakni pengeditan berbasis instruksi ekspresif: MGIE dapat menghasilkan instruksi ringkas dan jelas yang memandu proses pengeditan secara efektif. Hal ini tidak hanya meningkatkan kualitas pengeditan tetapi juga meningkatkan pengalaman pengguna secara keseluruhan.   Yang menarik lagi, MGIE dapat melakukan pengeditan umum gaya Photoshop, seperti memotong, mengubah ukuran, memutar, membalik, dan menambahkan filter. Model AI tersebut juga dapat menerapkan pengeditan lebih lanjut, seperti mengubah latar belakang, menambah atau menghapus objek, dan memadukan gambar.   Selain itu, MGIE dapat mengoptimalkan kualitas foto secara keseluruhan, seperti kecerahan, kontras, ketajaman, dan keseimbangan warna. Model juga dapat menerapkan efek artistik seperti membuat sketsa, melukis, dan membuat kartun.   MGIE terakhir dapat mengedit wilayah atau objek tertentu dalam sebuah gambar, seperti wajah, mata, rambut, pakaian, dan aksesori. Ia juga dapat memodifikasi atribut wilayah atau objek tersebut, seperti bentuk, ukuran, warna, tekstur, dan gaya.   Penasaran pengin coba? MGIE tersedia sebagai proyek sumber terbuka di GitHub, tempat pengguna dapat menemukan kode, data, dan model terlatih. Proyek ini juga menyediakan buku catatan demo yang menunjukkan cara menggunakan MGIE untuk berbagai tugas pengeditan.   Pengguna juga dapat mencoba MGIE secara online melalui demo web yang dihosting di Hugging Face Spaces, sebuah platform untuk berbagi dan berkolaborasi dalam proyek pembelajaran mesin (ML).      

Tag:  #canggih #apple #kenalkan #alat #edit #foto #hanya #menggunakan #instruksi