Inside ConveyThis Teknologi: Membangun Perayap Situs Web Kami
Meningkatkan Pengalaman Pengguna: ConveyThis Memperkenalkan Manajemen URL
Banyak ConveyThis pelanggan lebih suka agar semua URL situs web mereka diterjemahkan dengan benar, yang bisa menjadi tugas berat, terutama untuk situs besar yang diterjemahkan ke dalam beberapa bahasa.
Umpan balik pengguna menunjukkan bahwa beberapa klien menganggap dimulainya proyek terjemahan situs web awal mereka agak membingungkan. Mereka sering mempertanyakan mengapa mereka hanya dapat melihat URL beranda di daftar terjemahan, dan bagaimana membuat terjemahan dari konten mereka.
Ini menunjukkan area potensial untuk peningkatan. Kami melihat peluang untuk memfasilitasi proses orientasi yang lebih lancar dan manajemen proyek yang lebih efisien. Namun, kami kekurangan solusi konkret saat itu.
Hasilnya, seperti yang mungkin sudah Anda duga, adalah diperkenalkannya fitur Manajemen URL. Fitur ini memungkinkan pengguna untuk memindai URL situs web mereka dan menghasilkan konten terjemahan melalui Dasbor ConveyThis, dengan cepat dan efektif.
Baru-baru ini, fitur ini dipindahkan dari Daftar Terjemahan ke halaman manajemen terjemahan berbasis URL yang baru, lebih mudah beradaptasi, dan kuat. Sekarang, kami yakin inilah waktunya untuk mengungkap cerita di balik dimulainya fitur ini.
Merangkul Golang: ConveyThis' Perjalanan Menuju Layanan Penerjemahan yang Lebih Baik
Awal lockdown tahun 2020 akibat pandemi memberi saya kesempatan untuk akhirnya mempelajari bahasa pemrograman Golang yang sempat dikesampingkan karena keterbatasan waktu.
Dikembangkan oleh Google, Golang atau Go semakin populer dalam beberapa tahun terakhir. Bahasa pemrograman yang dikompilasi secara statis, Golang dirancang untuk memungkinkan pengembang membuat kode yang efisien, andal, dan bersamaan. Kesederhanaannya mendukung penulisan dan pemeliharaan program yang luas dan rumit tanpa mengorbankan kecepatan.
Saat memikirkan proyek sampingan potensial untuk mengenal Golang, sebuah perayap web muncul di benak saya. Ini memenuhi kriteria yang disebutkan dan berpotensi menawarkan solusi untuk ConveyThis pengguna. Perayap web atau 'bot' adalah program yang mengunjungi situs web untuk mengekstrak data.
Untuk ConveyThis, tujuan kami adalah mengembangkan alat bagi pengguna untuk memindai situs mereka dan mengambil semua URL. Selain itu, kami ingin menyederhanakan proses menghasilkan terjemahan. Saat ini, pengguna harus mengunjungi situs web mereka dalam bahasa terjemahan untuk membuatnya, sebuah tugas yang menjadi tugas yang menakutkan bagi situs multi-bahasa yang besar.
Meskipun prototipe awalnya sederhana – sebuah program yang mengambil URL sebagai masukan dan mulai merayapi situs – namun cepat dan efektif. Alex, ConveyThis' CTO, melihat potensi dari solusi ini dan memberikan lampu hijau untuk penelitian dan pengembangan guna menyempurnakan konsep dan memikirkan bagaimana menjadi tuan rumah layanan produksi di masa depan.
Menavigasi Tren Tanpa Server dengan Go dan ConveyThis
Dalam proses menyelesaikan bot perayap web, kami menemukan diri kami bergulat dengan nuansa CMS dan integrasi yang berbeda. Pertanyaan kemudian muncul – bagaimana cara terbaik kami menyajikan bot kepada pengguna kami?
Awalnya, kami mempertimbangkan pendekatan yang dicoba dan diuji menggunakan AWS dengan antarmuka server web. Namun, beberapa masalah potensial muncul. Kami memiliki ketidakpastian tentang beban server, penggunaan simultan oleh banyak pengguna, dan kurangnya pengalaman kami dengan hosting program Go.
Hal ini mengarahkan kami untuk mempertimbangkan skenario hosting tanpa server. Hal ini menawarkan manfaat seperti pengelolaan infrastruktur oleh penyedia dan skalabilitas yang melekat, menjadikannya solusi ideal untuk ConveyThis. Artinya, kami tidak perlu mengkhawatirkan kapasitas server karena setiap permintaan akan beroperasi dalam kontainer terisolasinya sendiri.
Namun, pada tahun 2020 lalu, komputasi tanpa server hadir dengan batas 5 menit. Ini terbukti menjadi masalah bagi bot kami yang berpotensi diperlukan untuk merayapi situs e-commerce besar dengan banyak halaman. Untungnya, pada awal tahun 2020, AWS memperpanjang batas waktu menjadi 15 menit, meskipun mengaktifkan fitur ini terbukti merupakan tugas yang menantang. Akhirnya, kami menemukan solusinya dengan memicu kode tanpa server dengan SQS – layanan antrean pesan AWS.
Perjalanan menuju Komunikasi Bot Interaktif Real-Time dengan ConveyThis
Saat kami menyelesaikan dilema menerima tamu, kami memiliki rintangan lain yang harus diatasi. Kami sekarang memiliki bot fungsional, dihosting dengan cara yang efisien dan dapat diskalakan. Tugas yang tersisa adalah menyampaikan data yang dihasilkan bot ke pengguna kami.
Bertujuan untuk interaktivitas maksimum, saya memutuskan komunikasi real-time antara bot dan dasbor ConveyThis. Meskipun fitur tersebut tidak diperlukan secara real-time, saya ingin pengguna kami segera mendapatkan masukan segera setelah bot mulai bekerja.
Untuk mencapainya, kami mengembangkan server websocket Node.js sederhana, yang dihosting di instans AWS EC2. Ini membutuhkan beberapa penyesuaian pada bot untuk komunikasi dengan server websocket dan mengotomatiskan penerapan. Setelah pengujian menyeluruh, kami siap untuk beralih ke produksi.
Apa yang dimulai sebagai proyek sampingan akhirnya menemukan tempatnya di dasbor. Melalui tantangan tersebut, saya memperoleh pengetahuan tentang Go dan mengasah keterampilan saya di lingkungan AWS. Menurut saya, Go sangat bermanfaat untuk tugas-tugas jaringan, pemrograman kooperatif, dan komputasi tanpa server, mengingat jejak memorinya yang rendah.
Kami memiliki rencana masa depan karena bot menghadirkan peluang baru. Kami bertujuan untuk menulis ulang alat penghitung kata kami untuk efisiensi yang lebih baik, dan berpotensi menggunakannya untuk pemanasan cache. Saya harap Anda menikmati sekilas dunia teknologi ConveyThis ini, sama seperti saya menikmati membagikannya.
Penerjemahan, jauh lebih dari sekadar mengetahui bahasa, adalah proses yang rumit.
Dengan mengikuti kiat-kiat kami dan menggunakan ConveyThis , halaman terjemahan Anda akan diterima oleh audiens Anda, terasa asli dalam bahasa target.
Meskipun butuh usaha, hasilnya memuaskan. Jika Anda menerjemahkan situs web, ConveyThis dapat menghemat waktu Anda dengan terjemahan mesin otomatis.
Coba ConveyThis gratis selama 7 hari!