Get best of the week

كيف ربحت 1،000،000 دولار بدون خبرة واتصالات ، ثم أنفقتهم لجعل مترجمتي

كيف بدأ كل شيء


بدأت هذه القصة قبل 15 عاما. أثناء العمل كمبرمج في العاصمة ، جمعت المال وتركت وظيفتي من أجل إنشاء مشاريعي الخاصة في وقت لاحق. لتوفير المال ، ذهب إلى المنزل ، إلى مسقط رأس صغير ، حيث كان يعمل على موقع ويب للطلاب ، برنامج للتجارة ، ألعاب للهواتف المحمولة. ولكن بسبب نقص الخبرة في الأعمال التجارية ، لم يولّد هذا الدخل ، وسرعان ما تم إغلاق المشاريع. اضطررت للذهاب إلى العاصمة مرة أخرى والحصول على وظيفة. تكررت هذه القصة عدة مرات.

عندما نفدت أموالي مرة أخرى ، جاءت الأزمة. أصبح الوضع غير قادر على العثور على وظيفة. لقد حان الوقت للنظر إلى جميع الأشياء بمظهر رصين. كان علي أن أعترف بصراحة لنفسي أنني لا أعرف أي منافذ للاختيار للأعمال التجارية. إنشاء المشاريع التي تعجبك تمامًا هو الطريق إلى أي مكان.

الشيء الوحيد الذي يمكنني فعله هو تطبيقات iOS. سمحت لي عدة سنوات من العمل في شركات تكنولوجيا المعلومات باكتساب بعض الخبرة ، وتقرر إنشاء العديد من التطبيقات البسيطة المختلفة بشكل أساسي (الألعاب والموسيقى والرسم وأسلوب الحياة الصحي وتعلم اللغة) والاختبار الذي ستكون فيه منافذ قليلة. تم إعداد مجموعة من الفصول والمكتبات التي جعلت من الممكن إنشاء تطبيقات بسيطة بسرعة حول مواضيع مختلفة (ألعاب ثنائية الأبعاد ، أجهزة تتبع GPS ، أدوات بسيطة ، إلخ). معظمهم لديهم العديد من الصور وزرين ووظيفة واحدة فقط. لكن ذلك كان كافيا لاختبار الفكرة ومدى سهولة كسب المال عليها. على سبيل المثال ، تتبع أحد التطبيقات قيد التشغيل سرعة الشخص والمسافة المقطوعة وحساب السعرات الحرارية. قضيت سنة ونصف في إنشاء مئات التطبيقات البسيطة.تم تحقيق هذه السرعة بفضل شراء الرسومات على الأسهم ، وكذلك إعادة استخدام رموز المصدر.



في البداية كانت التطبيقات مجانية. ثم أضفت الإعلانات وعمليات الشراء داخل التطبيق ، والتقطت الكلمات الرئيسية والرموز الساطعة. بدأت التطبيقات في التنزيل.

عندما وصل الدخل إلى 30 ألف دولار شهريًا ، قررت أن أخبر صديقًا يعمل في شركة طعام كبيرة أنني تمكنت من تحقيق مثل هذا الرقم في تطبيقات الاختبار ، واقترح إنشاءها معًا. أجاب بأن لديهم تطبيق واحد فقط - لعبة ذات دخل 60 ألف دولار و 25 ألف مستخدم شهريًا ، مقابل 30 ألف دولار من الإيرادات و 200 ألف مستخدم مني. لقد غيرت آرائي بالكامل. اتضح أنه من الأفضل إنشاء تطبيق واحد عالي الجودة من مائة جودة منخفضة

أدركت أنه يمكنك كسب عشرات المرات أكثر من تلك عالية الجودة ، لكنني كنت وحيدًا في مدينة صغيرة بدون خبرة وفريق من المصممين والمسوقين. كنت بحاجة لدفع ثمن استئجار شقة وكسب لقمة العيش. كانت هناك حاجة إلى تطبيقات الاختبار ببساطة لاختبار منافذ السوق واستراتيجيات الإعلان من أجل معرفة التطبيقات وكيفية إنشائها. حدث أن بدأ بعضهم في تحقيق دخل جيد. الآن مات موضوع التطبيقات البسيطة منذ فترة طويلة ، ولم يعد هناك الكثير من المال لكسبه.

اختلفت بعض التطبيقات بشكل كبير في الربح - كانت هذه المترجمين ، تطبيقات النقل ، برامج الموسيقى (التي تحاكي العزف على البيانو ، الطبول أو ، على سبيل المثال ، أوتار الجيتار ، اللاعبين) ، بالإضافة إلى ألعاب المنطق البسيطة.

عند اختبار أنواع مختلفة من الألعاب ، أدركت أن الألعاب ذات مدة الجلسة الطويلة ومشاركة المستخدم (مثل "2048") يمكن أن تجلب الكثير من المال على مدى فترة زمنية طويلة. ولكن في البداية لم يكن واضحا. لذلك ، قمت بإنشاء اختبارات مثل متتبعات نظام تحديد المواقع العالمي (GPS) للمتزلجين وفي الكلمات الرئيسية وضعت اسم منتجعات التزلج الشهيرة مثل Courchevel. ثم كان سعيدًا لأن النقر على الإعلان جلب 2 دولارًا. لكنها كانت استراتيجية قصيرة المدى وغير قابلة للتطوير.

ثم لاحظت أنه خلال شهر واحد فقط ، قام المترجمون بتنزيل أكثر من مليون مرة. وهذا على الرغم من حقيقة أنهم كانوا في المركز 100 تقريبًا في ترتيب الفئة.

جلبت تطبيقات الموسيقى الكثير من القفزات ، ولكن نظرًا لإشراك المستخدمين ، كانت أقل واعدة. يحتاج المستخدمون إلى جذبهم من خلال الكلمات الرئيسية عالية التردد ، ولا يوجد الكثير منهم في هذا المكان: أولئك الذين يبحثون عن تطبيقات للغيتار يدخلون "غيتار" ، "غيتار باس" ، "أوتار" ، وما إلى ذلك في البحث. من الصعب العثور على العديد من المرادفات لمثل هذه المواضيع. وبالتالي ، يركز المستخدمون على الطلبات عالية التردد ، وسيكون اشتراكهم عاجلاً أم آجلاً باهظ الثمن. المترجمون مختلفون.

هناك المئات من اللغات في العالم ، ويدخل الأشخاص استفسارًا ليس فقط بالكلمة العامة "مترجم" ، ولكن بضع كلمات كحل لمشكلتهم: "ترجمة إلى الفرنسية" ، "مترجم من الصينية". إذا كان هناك الكثير من الطلبات ، يمكنك جذب المستخدمين ببساطة عن طريق الكلمات الرئيسية متوسطة التردد (ASO). اتضح أن المكان المناسب واعد ، خاصة وأنني أحببت موضوع الترجمات.

في وقت لاحق ، تم إنشاء حوالي 40 مترجمًا بسيطًا باستخدام الترجمة التي تقدمها Google API. كانت تكلفته 20 دولارًا لكل مليون حرف مترجمة. تدريجيا ، ظهرت إصدارات محسنة من التطبيقات ، حيث أضفت الإعلانات ، وعمليات الشراء داخل التطبيق ، والترجمة الصوتية.

بعد أن كسبت المال ، انتقلت إلى مينسك واشتريت منزلاً. في ذلك الوقت ، كان لدي 50-70 تطبيق ترجمة و 5 ملايين تنزيل. ولكن مع نمو المستخدمين ، زادت تكلفة API ترجمة Google المدفوعة. انخفضت ربحية الأعمال بشكل خطير. ترجم المستخدمون المدفوعون كتل من ألف حرف في المرة الواحدة ، مما اضطر إلى إدخال حدود على الطلب. عندما استقروا على الحد الأقصى للترجمة ، كتبوا مراجعات سيئة وأعادوا المال. حان الوقت عندما ذهبت 70٪ من العائدات إلى النفقات. مع كميات كبيرة من الترجمة ، لم يكن هذا العمل واعدًا. لاسترداد التكاليف ، كان من الضروري إضافة الكثير من الإعلانات إلى التطبيقات ، وهذا دائمًا يخيف المستخدمين. كان مطلوبًا إنشاء واجهة برمجة تطبيقات خاصة بها للترجمة ، وهذا على الأرجح لن يكون رخيصًا.

حاولت أن أطلب من الشركات الناشئة ومجتمع تكنولوجيا المعلومات النصيحة والاستثمارات ، لكنني لم أجد الدعم. لم يفهم معظم الناس سبب العمل في السوق حيث يوجد بالفعل قائد - مترجم جوجل.

بالإضافة إلى Google ، كانت هناك العديد من الشركات التي قدمت واجهة برمجة تطبيقات للترجمة. كنت على استعداد لدفع 30 ألف دولار لتراخيص تكنولوجيا الترجمة الخاصة بهم بـ 40 لغة. سيسمح لي هذا بترجمة عدد غير محدود من المرات بسعر ثابت وخدمة أي عدد من المستخدمين على خوادمي. ولكن ردا على ذلك اتصلوا بي بالمبلغ أعلى عدة مرات. أنها مكلفة للغاية. تقرر محاولة صنع التكنولوجيا الخاصة بهم للترجمة. حاولت جذب الأصدقاء من أجل التنمية ، ولكن بحلول ذلك الوقت كان لدى معظمهم بالفعل عائلات وأطفال صغار وقروض. أراد الجميع الاستقرار والحياة في متعتهم مقابل راتب جيد ، وعدم الذهاب إلى شركة ناشئة. كما أنهم لم يفهموا سبب إنشاء مترجم إذا كان Google يحتوي على تطبيق ترجمة رائع ومتطور وواجهة برمجة تطبيقات. لم يكن لدي خبرة في التحدث أمام الجمهور ،الكاريزما وتطبيقات النموذج الأولي الرائعة للناس. لم تدهش تحليلات الأرباح البالغة 300 ألف دولار على تطبيقات الترجمة التجريبية أي شخص.

التفت إلى صديق يملك شركة الاستعانة بمصادر خارجية في مينسك. في نهاية عام 2016 ، خصص لي فريقًا. توقعت أن أتمكن من حل المشكلة في ستة أشهر على أساس المشاريع مفتوحة المصدر ، حتى لا أعتمد على واجهة برمجة التطبيقات على Google.

في الطريق إلى مترجمتي


بدأ العمل. في عام 2016 ، وجدنا العديد من المشاريع مفتوحة المصدر - Apertium و Joshua و Moses. كانت ترجمة آلية إحصائية ، مناسبة للنصوص البسيطة. تم دعم هذه المشاريع من 3 إلى 40 شخصًا ، واستغرق الأمر وقتًا طويلاً للحصول على إجابة لسؤال عنها. بعد أن اكتشفنا ذلك واستمررنا في إجرائه للاختبارات ، أصبح من الواضح أننا بحاجة إلى خوادم قوية ومجموعات بيانات عالية الجودة ، وهي مكلفة. حتى بعد أن أنفقنا المال على الأجهزة ومجموعة بيانات عالية الجودة لأحد أزواج الترجمة ، فقد تركت الجودة الكثير مما هو مرغوب فيه.

من الناحية الفنية ، لم تتلخص في مخطط "تنزيل مجموعة البيانات والقطار". اتضح أن هناك مليون فروق دقيقة لم نكن على علم بها. حاولنا بعض الموارد الإضافية ، لكننا لم نحقق نتائج جيدة. لكن جوجل ومايكروسوفت لا تكشفان عن إنجازاتهما. ومع ذلك ، استمر العمل ، تواصل المستقلون بشكل دوري.

في مارس 2017 ، تعثرنا في مشروع يسمى Open NMT. هذا تطور مشترك بين Systran ، إحدى الشركات الرائدة في سوق الترجمة الآلية ، وجامعة هارفارد. تم إطلاق المشروع للتو وعرض الترجمة بالفعل على أساس تقنية جديدة - شبكات عصبية.

تقنيات الترجمة الآلية الحديثة تنتمي إلى الشركات الكبيرة ، وهي مغلقة. اللاعبون الصغار ، إذ يدركون مدى صعوبة التسلل إلى هذا العالم ، لا يقومون بمثل هذه المحاولات. هذا يعيق تطور السوق. لم تختلف جودة الترجمة بين القادة كثيرًا عن بعضهم البعض لفترة طويلة. من الواضح أن الشركات الكبيرة واجهت أيضًا نقصًا في المتحمسين والأوراق العلمية والشركات الناشئة ومشاريع المصادر المفتوحة من أجل أخذ أفكار جديدة وتوظيف أشخاص.

لذلك ، صنع Systran مناورة جديدة بشكل أساسي: وضع أساسه في المصدر المفتوح ، بحيث يمكن لهواة مثلي المشاركة في هذا العمل. لقد أنشأوا منتدى حيث بدأ خبراؤهم في مساعدة الوافدين الجدد مجانًا. وقد حقق ذلك عائدًا جيدًا: بدأت الأعمال العلمية في الترجمة في الظهور ، حيث يمكن للجميع أخذ الأساس وإجراء تجاربهم على أساسها. قاد Systran هذا المجتمع. ثم انضمت شركات أخرى.

في ذلك الوقت لم يكن هناك حتى الآن ترجمة عصبية في كل مكان ، وفتح Open NMT الأساس في هذا المجال ، متفوقًا على الترجمة الآلية الإحصائية في الجودة. يمكنني أنا وشباب آخرين حول العالم أن نأخذ هذه التقنيات ونطلب من الخبراء النصيحة. لقد شاركوا عن طيب خاطر تجاربهم ، وهذا سمح لي بفهم الاتجاه الذي أتحرك فيه.

أخذنا OpenNMT كأساس. حدث هذا في أوائل عام 2017 ، عندما كان لا يزال "خامًا" ولا يحتوي على أي شيء بخلاف الوظائف الأساسية. كل هذا كان على Lua (Torch) ، فقط للبحث الأكاديمي. تم العثور على العديد من الأخطاء ، وعمل كل شيء ببطء ، وغير مستقر وتحطم تحت الحمل الخفيف. لم يكن مناسبًا للإنتاج على الإطلاق. ثم في الدردشة العامة ، اختبرنا جميعًا معًا ، واكتشفنا الأخطاء ، وتبادلنا الأفكار ، وزدنا الاستقرار تدريجيًا (ثم كنا حوالي 100 شخص). في البداية كنت أتساءل: كيف ذلك ، لماذا ينمو Systran منافسيه؟ ولكن بمرور الوقت ، فهمت قواعد اللعبة ، عندما بدأت المزيد والمزيد من الشركات في وضع أسسها لمعالجة اللغة الطبيعية في المصادر المفتوحة.

حتى إذا كان لدى الجميع القدرة الحاسوبية للتعامل مع مجموعات البيانات الكبيرة ، فإن مسألة العثور على متخصصين في البرمجة اللغوية العصبية (معالجة اللغة الطبيعية) تكون حادة في السوق. في عام 2017 ، كان هذا الموضوع أقل تطورًا بكثير من معالجة الصور والفيديو. مجموعات بيانات وأوراق علمية ومتخصصين وأطر عمل أقل والمزيد. هناك عدد أقل من الأشخاص القادرين على بناء الأعمال وإغلاق أي من المنافذ المحلية من أوراق البحث NLP. تحتاج كل من الشركات عالية المستوى مثل Google ولاعبي Systran الأصغر إلى اكتساب ميزة تنافسية على اللاعبين في فئتهم.

كيف يحلون هذه المشكلة؟

للوهلة الأولى ، يبدو هذا غريبًا ، ولكن من أجل التنافس فيما بينها ، قرروا تقديم لاعبين جدد (منافسين) إلى السوق ، ولكي يظهروا هناك ، تحتاج إلى التأرجح. لا يزال حد الدخول مرتفعًا ، ويزداد الطلب على تقنيات معالجة الكلام بشكل كبير (مساعدين صوتيين ، روبوتات الدردشة ، ترجمات ، التعرف على الكلام وتحليله ، وما إلى ذلك). لا يزال العدد المطلوب من الشركات الناشئة التي يمكنك شراؤها لتعزيز مركزك ليس بعد.

في المجال العام نشرت الأعمال العلمية من فرق جوجل ، الفيسبوك ، علي بابا. منها ، تم وضع أطرها ومجموعات البيانات الخاصة بهم في مصدر مفتوح. يتم إنشاء المنتديات بإجابات على الأسئلة.

تهتم الشركات الكبيرة بمشاريع ناشئة مثل شركاتنا النامية ، والاستحواذ على منافذ جديدة وإظهار أقصى قدر من النمو. إنهم سعداء بشراء الشركات الناشئة في البرمجة اللغوية العصبية لتعزيز شركاتهم الكبيرة.

في الواقع ، حتى إذا كان لديك كل مجموعات البيانات والخوارزميات في يديك ويخبرونك ، فهذا لا يعني أنك ستقوم بعمل مترجم عالي الجودة أو شركة ناشئة أخرى في مجال البرمجة اللغوية العصبية. وحتى إذا فعلت ذلك ، فهذا بعيد عن حقيقة أنك تقضم جزءًا كبيرًا من السوق. لذلك ، تحتاج إلى مساعدة ، وإذا نجح شخص ما ، قم بالشراء أو الاندماج.

في مارس 2018 ، دعت Systran المجتمع بأكمله إلى باريس لتبادل الخبرات ، واستضافت أيضًا فصلًا رئيسيًا مجانيًا حول المشاكل الرئيسية التي تواجه الشركات الناشئة في الترجمة. كان الجميع مهتمين برؤية بعضهم البعض مباشرة.

كان لكل شخص مشاريع مختلفة. قام شخص ما بإنشاء روبوت لتعلم اللغة الإنجليزية ، حيث يمكنك التحدث مثل الشخص. استخدم آخرون openNMT لتلخيص النص. يمثل جزء كبير من الشركات الناشئة المكونات الإضافية لـ SDL Trados Studio ، المصممة خصيصًا لموضوع معين (الطب ، والبناء ، والتعدين ، وما إلى ذلك) أو لغة لمساعدة المترجمين على توفير الوقت في تحرير النص المترجم.

بالإضافة إلى المتحمسين ، وصل رجال من Ebay و Booking إلى باريس ، والذين قاموا بإنشاء مترجم على نفس النظام الأساسي مثلنا ، ولكنهم قاموا بتحسين ترجمة المزاد ووصف الفنادق.

أيضًا في مايو 2017 ، نشر Facebook أسس الترجمة الآلية لـ Fairseq إلى مصدر مفتوح إلى جانب نماذج مدربة للاختبارات. لكننا قررنا البقاء على OpenNMT ، نراقب كيف ينمو المجتمع.

تاريخ DeepL


في سبتمبر 2017 ، أثناء تحليل المنافسين ، اكتشفت عن DeepL. لقد بدأوا للتو في ذلك الوقت وقدموا الترجمة بسبع لغات فقط. تم وضع DeepL كأداة للمترجمين المحترفين ، مما يساعد على قضاء وقت أقل في التدقيق اللغوي بعد الترجمة الآلية. حتى التغيير البسيط في جودة الترجمة يوفر الكثير من المال لشركات الترجمة. إنهم يراقبون باستمرار واجهة برمجة التطبيقات للترجمة الآلية من موردين مختلفين ، نظرًا لأن الجودة في العديد من أزواج اللغات مختلفة لكل شخص ولا يوجد قائد واحد. على الرغم من أن عدد اللغات - الأهم من ذلك كله في جوجل.

لإثبات جودة الترجمة ، قررت DeepL تشغيل الاختبارات ببعض اللغات.

techcrunch.com/2017/08/29/deepl-schools-other-online-translators-with-clever-machine-learning

تم إجراء تقييم الجودة عن طريق اختبار أعمى ، عندما يختار المترجمون المحترفون أفضل ترجمة من Google و Microsoft و DeepL و Facebook. وفقًا للنتائج ، فازت DeepL ، وصنفت لجنة التحكيم ترجمتها على أنها الأكثر "أدبيًا".

كيف حدث هذا؟

يمتلك مؤسسو DeepL شركة Linguee الناشئة - أكبر قاعدة بيانات لروابط النصوص المترجمة. على الأرجح ، لديهم عدد كبير من مجموعات البيانات التي تم تجميعها بواسطة المحللون ، ولتدريبهم ، تحتاج إلى المزيد من قوة الحوسبة.

في عام 2017 ، نشروا مقالًا يفيد بأنهم قاموا بتجميع حاسوب خماسي 5-petFlops في أيسلندا (في ذلك الوقت كان الثالث والعشرون من حيث الأداء في العالم). كان تدريب نموذج عالي الجودة مسألة وقت فقط. في تلك اللحظة ، بدا أنه حتى لو اشترينا مجموعات بيانات عالية الجودة ، فلن نتمكن أبدًا من التنافس معها بدون مثل هذا الكمبيوتر الفائق.

www

. تطلق Nvidia جهاز كمبيوتر DGX-2 بحجم المنضدة وأداء 2 petFlops (FP16) ، والذي يمكن استئجاره الآن من 5000 دولار شهريًا.

www.nvidia.com/en-us/data-center/dgx-2

باستخدام مثل هذا الكمبيوتر ، يمكنك تدريب نماذجك على مجموعات البيانات العملاقة بسرعة ، والحفاظ أيضًا على حمولة كبيرة على واجهة برمجة التطبيقات. هذا يغير بشكل كبير ميزان القوة في سوق بدء تشغيل التعلم الآلي بالكامل ويسمح للشركات الصغيرة بالتنافس مع العمالقة في مجال العمل مع البيانات الضخمة. لقد كان أفضل عرض في السوق من حيث نسبة السعر إلى الأداء.

لقد بدأت في البحث عن معلومات حول إحصائيات DeepL. بالنسبة لعام 2018 ، كان لدى Google 500 مليون مستخدم شهريًا. DeepL لديه 50 مليون (مقال بتاريخ 12 ديسمبر 2018).

slator.com/ma-and-funding/benchmark-capital-takes-13-6-stake-in-deepl-as-usage-explodes

اتضح أنه في نهاية عام 2018 ، استخدم 10٪ من جمهور Google الشهري DeepL ، ولم يتم الإعلان عنها بشكل خاص في أي مكان. في أكثر من عام بقليل ، سيطروا على 10٪ من السوق باستخدام الكلام الشفهي.

فكرت في ذلك. إذا تغلب DeepL على Google مع فريق من 20 شخصًا ، وكان لديه سيارة في 5 petaFlops في عام 2017 ، والآن يمكنك استئجار سيارة بسعر رخيص في 2 petaFlops وشراء مجموعات بيانات عالية الجودة ، ما مدى صعوبة تحقيق جودة Google؟

لوحة تحكم Lingvanex


للتعامل بسرعة مع مهام الترجمة وعدم تشغيل الاختبارات من وحدة التحكم ، تم إنشاء لوحة تحكم تتيح لك تنفيذ جميع المهام ، بدءًا من إعداد البيانات وتصفيتها إلى نشر اختبارات الترجمة في الإنتاج. في الصورة أدناه: على اليمين قائمة بالمهام وخوادم GPU التي يتم تدريب النماذج عليها. في المركز توجد معلمات الشبكة العصبية ، وفيما يلي مجموعات البيانات التي سيتم استخدامها للتدريب.



بدأ العمل على لغة جديدة بإعداد مجموعة بيانات. أخذناهم من مصادر مفتوحة مثل ويكيبيديا واجتماعات البرلمان الأوروبي و Paracrawl و Tatoeba وغيرها للحصول على جودة ترجمة متوسطة ، يكفي 5 ملايين سطر مترجم.



مجموعات البيانات هي سطور نصية مترجمة من لغة إلى أخرى. ثم يقوم الرمز المميز بتقسيم النص إلى رموز مميزة وإنشاء قواميس منها ، مرتبة حسب تكرار اجتماع الرمز المميز. يمكن أن يكون الرمز المميز إما أحرفًا فردية أو مقاطع أو كلمات كاملة.



بعد تحميل مجموعات البيانات في قاعدة البيانات ، تبين أنها تحتوي على الكثير من الكلمات التي بها أخطاء أو ترجمة ضعيفة. لتحقيق جودة جيدة ، يجب تصفيتها بقوة. يمكنك أيضًا شراء مجموعات بيانات مصفاة عالية الجودة بالفعل.



عندما يتم نشر اللغة في واجهة برمجة التطبيقات ، تحتاج إلى تعيين قائمة بالوظائف المتاحة لها (التعرف على الصوت ، تركيب الكلام ، التعرف على الصور ، المحلل اللغوي للملف ، الموقع ، إلخ). لكي تعمل الوظائف ، يستخدمون جزءًا مفتوحًا لواجهة برمجة التطبيقات لجهة خارجية - الجزء الثالث للجهات الخارجية.

ثم ينتشر كل ذلك إلى API. مع مرور الوقت ، تمت إضافة ذاكرة التخزين المؤقت. يعمل بشكل جيد على العبارات المكونة من كلمة واحدة وكلمتين ويمكنه توفير ما يصل إلى 30٪ من الاستعلامات.

نواصل العمل


كل عام 2018 قضيته في حل مشكلة الترجمة عالية الجودة باللغات الأوروبية الرئيسية. اعتقدت أن ستة أشهر أخرى - وكل شيء سينجح. لقد كنت محدودًا جدًا في الموارد ، حيث شارك شخصان فقط في مهام علوم البيانات. كان من الضروري التحرك بسرعة. يبدو أن حل المشكلة كان شيئًا بسيطًا. لكن اللحظة الساطعة لم تأت ، لم أكن راضيًا عن جودة الترجمة. لقد تم إنفاق حوالي 450 ألف دولار على المترجمين القدامى ، وكان من الضروري اتخاذ قرار بشأن ما يجب فعله بعد ذلك. عند إطلاق هذا المشروع بمفرده وبدون استثمار ، أدركت عدد أخطاء الإدارة التي ارتكبتها. ولكن تم اتخاذ القرار - اذهب إلى النهاية!

في هذا الوقت ، لاحظت أنه في مجتمعنا بدأوا يتحدثون عن بنية جديدة للشبكات العصبية - Transformer. اندفع الجميع لتدريب الشبكات العصبية على أساس نموذج Transformer هذا وبدأوا في التحول إلى Python (Tensorflow) بدلاً من Lua (Torch) القديمة. قررت أن أجربها أيضًا.

لقد أخذنا أيضًا رمزًا مميزًا جديدًا ، وقمنا بمعالجة النص مسبقًا ، وبدأنا في تصفية البيانات وترميزها بشكل مختلف ، وإلا قمنا بمعالجة النص بعد الترجمة لتصحيح الأخطاء. عملت قاعدة 10 آلاف ساعة: كانت هناك العديد من الخطوات نحو الهدف ، وفي مرحلة ما أدركت أن جودة الترجمة كانت كافية بالفعل لاستخدامها في واجهة برمجة التطبيقات لتطبيقاتي الخاصة. أضاف كل تغيير 2-4 ٪ من الجودة ، والتي لم تكن كافية للكتلة الحرجة والتي يستمر فيها الناس في استخدام المنتج دون ترك المنافسة.

ثم بدأنا في ربط مختلف الأدوات التي سمحت لنا بتحسين جودة الترجمة بشكل أكبر: محدد الكيانات المسماة ، الترجمة الصوتية ، القواميس المواضيعية ، نظام لتصحيح الأخطاء في الكلمات. بعد 5 أشهر من هذا العمل ، أصبحت جودة الترجمة في بعض اللغات أفضل بكثير وبدأ الناس يشكون أقل. وكانت نقطة تحول. يمكنك بالفعل بيع البرنامج ، وبسبب امتلاكك لواجهة برمجة التطبيقات الخاصة بك للترجمة ، يمكنك تقليل التكاليف بشكل كبير. يمكنك زيادة المبيعات أو عدد المستخدمين ، لأن التكاليف ستكون فقط على الخادم.

لتدريب شبكة عصبية ، كانت هناك حاجة إلى جهاز كمبيوتر جيد. لكننا أنقذنا. أولاً ، استأجرنا 20 جهاز كمبيوتر عادي (مع جهاز GTX 1080) وأطلقنا 20 اختبارًا بسيطًا عليها في وقت واحد من خلال لوحة تحكم Lingvanex. استغرق الأمر أسبوعًا لكل اختبار ، لقد كان وقتًا طويلاً. لتحقيق جودة أفضل ، كان عليك العمل مع معلمات أخرى تتطلب المزيد من الموارد. استغرق الأمر سحابة والمزيد من بطاقات الفيديو على جهاز واحد. قررنا استئجار خدمة سحابية Amazon 8 GPU V100 x 4. إنها سريعة ، ولكنها مكلفة للغاية. بدأنا الاختبار ليلاً وفي الصباح - فاتورة 1200 دولار. في ذلك الوقت ، كان هناك عدد قليل جدًا من خيارات التأجير لخوادم GPU القوية بجانبها. اضطررت إلى التخلي عن هذه الفكرة والبحث عن خيارات أرخص. ربما تحاول تجميع بنفسك؟

انتهت دعوة الشركات في حقيقة أننا كان علينا أن نرسل تكوينًا تفصيليًا ، وسوف يقومون بتجميعه. أيهما أفضل من حيث "الأداء / السعر" لمهامنا ، لا يمكن لأحد الإجابة. حاولت أن تأمر في موسكو - تعثرت على بعض الشركات المشبوهة. الموقع ذو جودة عالية ، قسم المبيعات كان في الموضوع. لكنهم لم يقبلوا التحويل المصرفي ، وكان خيار الدفع الوحيد هو إلقاء الأموال على البطاقة لمحاسبهم. بدأوا في التشاور مع الفريق وقرروا أنه من الممكن تجميع جهاز كمبيوتر بنفسك من عدة وحدات معالجة رسومات قوية وبسعر يصل إلى 10 آلاف دولار ، والذي سيحل مشاكلنا ويؤتي ثماره في غضون شهر. مكونات كشط حرفيا من خلال الشجاعة: دعوا إلى موسكو ، أمر شيء في الصين ، شيء في أمستردام. بعد شهر ، كان كل شيء جاهزًا.

في بداية عام 2019 ، جمعت أخيرًا هذا الكمبيوتر في المنزل وبدأت في إجراء العديد من الاختبارات ، دون القلق بشأن ما أحتاج إلى دفعه مقابل الإيجار. في الإسبانية ، بدأت ألاحظ أن الترجمة قريبة من ترجمة Google لمقياس BLEU. لكنني لم أفهم هذه اللغة وقمت بتعيين نموذج المترجم الإنجليزي-الروسي للتدريب ليلاً لفهم مكاني. كان الكمبيوتر ينفجر ويقلى طوال الليل ، وكان من المستحيل النوم. كان من الضروري التأكد من عدم وجود أخطاء في وحدة التحكم ، حيث تم تعليق كل شيء بشكل دوري. في الصباح ، أجريت اختبارًا لترجمة 100 جمل بأطوال من 1 إلى 100 كلمة ورأيت أنها تحولت إلى ترجمة جيدة ، بما في ذلك على الخطوط الطويلة. لقد غيرت هذه الليلة كل شيء. رأيت الضوء في نهاية النفق أنه لا يزال بإمكانك يومًا ما تحقيق جودة ترجمة جيدة.

تحسين جودة التطبيق


بعد أن كسبت المال على مترجم iOS مع زر واحد ووظيفة واحدة ، قررت تحسين جودته ، بالإضافة إلى عمل نسخة لنظام Android و Mac OS و Windows Desktop. كنت آمل أنه عندما يكون لدي واجهة برمجة تطبيقات خاصة بي ، فسأنهي تطوير التطبيقات ودخول أسواق أخرى. خلال الوقت الذي كنت أحل فيه مشكلة واجهة برمجة التطبيقات الخاصة بي ، ذهب المنافسون إلى أبعد من ذلك. كانت هناك حاجة إلى بعض الوظائف ، والتي من أجلها سيكون المترجم الذي سيقوم بتنزيله.

أول شيء قررت فعله هو الترجمة الصوتية لتطبيقات الهاتف المحمول دون الوصول إلى الإنترنت. كانت هذه قضية شخصية. على سبيل المثال ، انتقل إلى ألمانيا ، وقم بتنزيل الحزمة الألمانية فقط على هاتفك (400 ميجابايت) واحصل على ترجمة من الإنجليزية إلى الألمانية والعكس. في الواقع ، مشكلة الإنترنت في البلدان الأجنبية حادة. شبكة Wifi ليست كذلك ، أو أنها محمية بكلمة مرور أو بطيئة ، ونتيجة لذلك ، من المستحيل استخدامها. على الرغم من وجود الآلاف من تطبيقات المترجم عالية الجودة التي تعمل فقط عبر الإنترنت باستخدام Google API ، حتى في عام 2017.

نظرًا لأن العديد منهم واجهوا مشاكل في إصدار Lua (Torch) من OpenNMT بسبب اللغة غير المنتشرة للغاية ، فقد نقل المؤسسون منطق البرنامج النصي translate.lua إلى إصدار C ++ (CTranslate) ، والذي تم استخدامه لإجراء تجارب ترجمة أكثر ملاءمة. في إصدار Lua ، كان من الممكن تدريب النماذج على الإصدار C للتشغيل. بحلول مايو 2017 ، كان من الممكن بالفعل استخدامه بطريقة ما كأساس للإنتاج للتطبيقات.

قمنا بنقل CTranslate للعمل من أجل التطبيقات ووضع كل شيء في مصدر مفتوح.

إليك رابط هذا الموضوع:

github.com/hunter-packages/onmt

يعد نقل CTranslate إلى أنظمة أساسية مختلفة هو الخطوة الأولى فقط. كان من الضروري فهم كيفية جعل النماذج غير المتصلة بالحجم الصغير والجودة العادية للعمل على الهواتف وأجهزة الكمبيوتر. احتلت الإصدارات الأولى من نماذج الترجمة 2 غيغابايت في ذاكرة الوصول العشوائي للهاتف ، والتي كانت بلا قيمة على الإطلاق.

لقد وجدت رجالًا في إسبانيا يتمتعون بخبرة جيدة في مشروعات الترجمة الآلية. لمدة 3 أشهر تقريبًا ، قمنا بإجراء بحث وتطوير في مجال تقليل حجم نموذج الخلايا العصبية للترجمة ، من أجل تحقيق 150 ميغابايت لكل زوج ثم تشغيله على الهواتف المحمولة.
يجب تخفيض الحجم بطريقة تتضمن أكبر عدد ممكن من الخيارات لترجمة الكلمات ذات الأطوال والموضوعات المختلفة إلى حجم قاموس معين (على سبيل المثال ، 30 ألف كلمة).

في وقت لاحق ، تم نشر نتيجة بحثنا للجمهور وتم تقديمها إلى الجمعية الأوروبية للترجمة الآلية في أليكانتي (إسبانيا) في مايو 2018 ، ودافع أحد أعضاء الفريق عن درجة الدكتوراه في ذلك.

rua.ua.es/dspace/bitstream/10045/76108/1/EAMT2018-Proceedings_33.pdf؟fbclid=IwAR1BxipmZMR8Rt0d32gcJ7BaFt1Tf1UEm9LkJCYytBJLgdtx3ujAPFCwE80

في المؤتمر ، أراد العديد من الأشخاص شراء منتج ، ولكن حتى الآن كان هناك زوج لغوي واحد فقط جاهزًا (الإنجليزية - الإسبانية). كانت الترجمة دون اتصال على الخلايا العصبية للهواتف جاهزة في مارس 2018 ، وكان من الممكن القيام بذلك بجميع اللغات الأخرى حتى الصيف. لكن بموجب العقد ، لم أتمكن من الحصول على المصادر والأدوات المستخدمة للقيام بذلك ، لجعل مترجم بلا اتصال بلغات أخرى. كان من الضروري قراءة العقد بعناية. وحدي ، لم أستطع إعادة إنتاج النتائج بسرعة بلغات أخرى. اضطررت إلى إيقاف هذه الوظيفة مؤقتًا. وبعد مرور عام عدت إليها وأكملتها.

بالإضافة إلى ترجمة النص والصوت والصور ، تقرر إضافة ترجمة للمكالمات الهاتفية مع النسخ التي لم يكن لدى المنافسين. كان هناك حساب غالبًا ما يتصل به الأشخاص للدعم أو بشأن قضايا العمل في بلدان مختلفة ، علاوة على ذلك ، على هاتف محمول أو خط أرضي. لا يحتاج الشخص الذي يتم توجيه المكالمة إليه إلى تثبيت التطبيق. تتطلب هذه الوظيفة الكثير من الوقت والتكلفة ، لذلك تقرر لاحقًا وضعها في تطبيق منفصل عن التطبيق الرئيسي. هذه هي الطريقة التي جاء بها مترجم المكالمات الهاتفية .

واجهت تطبيقات الترجمة مشكلة واحدة - لا يتم استخدامها كل يوم. لا توجد العديد من المواقف في الحياة عندما تحتاج إلى الترجمة يوميًا. ولكن إذا درست اللغة ، يصبح استخدام المترجم شائعًا. لتعلم اللغات ، أنشأنا وظيفة البطاقات ، عندما تتم إضافة الكلمات إلى الإشارات المرجعية على الموقع من خلال امتداد للمتصفح أو في ترجمات مصاحبة للفيلم ، ثم يتم دمج المعرفة باستخدام تطبيق روبوت الدردشة عبر الهاتف المحمول أو تطبيق العمود الذكي الذي سيتحقق من الكلمات المحددة. جميع تطبيقات Lingvanex مترابطة من خلال حساب واحد ، حتى تتمكن من البدء في الترجمة على تطبيق محمول والمتابعة على جهاز الكمبيوتر الخاص بك.

تمت أيضًا إضافة الدردشات الصوتية مع الترجمة. سيكون هذا مفيدًا للمجموعات السياحية ، عندما يتمكن المرشد من التحدث بلغته الخاصة ، ويستمع كل زائر إلى الترجمة. وفي النهاية - ترجمة الملفات الكبيرة على الهاتف أو الكمبيوتر.

مشروع باكنستر


على مدار 7 سنوات ، تلقيت 35 مليون عملية تنزيل بدون تكاليف إعلانية وحصلت على أكثر من مليون دولار. نصفهم تقريبا من المترجمين. كانت هذه تطبيقات اختبار لتعلم التسويق عبر الهاتف المحمول. بسبب العدد الكبير من الأخطاء ، جاء الملايين من المستخدمين وذهبوا. بعد أن اكتسبت الخبرة اللازمة ، قررت إنشاء مشروع داخلي صغير من Backenster لإدارة التطبيقات والإعلانات والتحليلات ، حتى لا أكرر أخطاء الماضي على المترجمين ذوي الجودة العالية وأكسب أكبر قدر ممكن.

من خلال هذا النظام ، سأعيد توجيه مستخدمي تطبيقات المترجم القديمة إلى تطبيقات جديدة ، نظرًا لعدم وجود أموال لشراء حركة المرور. في مكان آخر ، بقي 5-10 مليون تطبيق قديم على الهواتف. عندما تكون التطبيقات جاهزة ، يبقى فقط النقر فوق "ابدأ". سيكلف أرخص عدة مرات من جذب نفس العدد من المستخدمين مقابل رسوم. تدريجياً ، تمت إضافة نظام إدارة الاختبار والاشتراكات والتحديثات والتكوين والإشعارات ووسيط الإعلان وما إلى ذلك ، بالإضافة إلى القدرة على الإعلان عبر تطبيقات الجوال في ملحقات المتصفح ، وبرامج الدردشة الآلية ، وأجهزة الكمبيوتر المكتبية ، والمساعدين الصوتيين ، والعكس بالعكس. قررت أن أتوقع جميع المشاكل التي نشأت خلال هذه الفترة مع التطبيقات.



المنظور والاستراتيجية


من خلال إنشاء واجهة برمجة تطبيقات لتطبيقاتك واستثمار الكثير من المال ، تحتاج إلى فهم حجم سوق الترجمة الآلية وآفاقه. في عام 2017 ، كان هناك توقعات بأن السوق سيصبح 1.5 مليار دولار بحلول عام 2023 ، على الرغم من أن حجم السوق لجميع التحويلات سيكون 70 مليار دولار (لعام 2023).

لماذا مثل هذا الجري - حوالي 50 مرة؟

لنفترض أن أفضل مترجم آلي يترجم الآن 80٪ من النص جيدًا. يجب تحرير 20 ٪ المتبقية من قبل شخص. أكبر تكاليف الترجمة هي التدقيق اللغوي ، أي رواتب الناس.

يمكن أن تؤدي زيادة جودة الترجمة حتى بنسبة 1٪ (حتى 81٪ في مثالنا) إلى تقليل تكلفة تدقيق النص بنسبة 1٪ بشكل مجازي. 1٪ من الفرق بين سوق جميع عمليات النقل مطروحًا من الجهاز الواحد سيكون (70 - 1.5 = 68.5 مليار دولار) أو 685 مليون دولار بالفعل. يتم إعطاء الأرقام والحساب أعلاه تقريبًا لنقل الجوهر.

أي أن تحسين الجودة حتى 1٪ يمكن أن يوفر بشكل كبير للشركات الكبيرة على خدمات الترجمة. مع تطور جودة الترجمة الآلية ، سيحل المزيد والمزيد منها محل سوق الترجمة اليدوية ويوفر تكاليف المرتبات. ليس من الضروري محاولة تغطية جميع اللغات ، يمكنك اختيار زوج شائع (إنجليزي-إسباني) وأحد المجالات (الطب ، المعادن ، البتروكيماويات ، إلخ). جودة 100٪ - الترجمة الآلية المثالية لجميع المواد - غير قابلة للتحقيق في المستقبل القريب. وكل نسبة مئوية لاحقة من تحسين الجودة ستكون أكثر صعوبة.

ومع ذلك ، فإن هذا لا يمنع سوق الترجمة الآلية من احتلال جزء كبير من إجمالي السوق بحلول عام 2023 (عن طريق القياس مع DeepL ، فقد استحوذ بشكل غير محسوس على 10 ٪ من سوق Google) ، حيث تختبر الشركات الكبيرة واجهات برمجة تطبيقات مختلفة للمترجمين كل يوم. وتحسين نوعية واحدة منهم بنسبة مئوية (لأي لغة) سيسمح لهم بتوفير ملايين الدولارات.
بدأت استراتيجية الشركات الكبيرة لخلق وقت التشغيل الخاص بها تؤتي ثمارها. هناك المزيد من الشركات الناشئة ، والأوراق العلمية ، والناس في الصناعة ، مما سمح لنا بتحسين السوق وتحقيق جودة ترجمة أفضل ، مما زاد توقعاتنا لسوق الترجمة الآلية.

كل عام ، تقام المسابقات في مهام البرمجة اللغوية العصبية ، حيث تتنافس الشركات والشركات الناشئة والجامعات الذين سيحصلون على أفضل ترجمة في أزواج لغوية معينة.

http://statmt.org/wmt18/ من

خلال تحليل قائمة الفائزين ، هناك ثقة في أن الموارد الصغيرة يمكن أن تحقق نتائج ممتازة.

افتتاح شركة


لعدة سنوات ، نما المشروع عدة مرات. ظهرت التطبيقات ليس فقط للمنصات المحمولة ، ولكن أيضًا لأجهزة الكمبيوتر ، والأجهزة القابلة للارتداء ، والمراسلة الفورية ، والمتصفحات ، والمساعدين الصوتيين. بالإضافة إلى ترجمة النص ، تم إنشاء ترجمة صوتية وصور وملفات ومواقع ومكالمات هاتفية. في البداية ، خططت لجعل واجهة برمجة تطبيقات الترجمة الخاصة بي تستخدم فقط لتطبيقاتي. ولكن بعد ذلك قررت تقديمها للجميع. تقدم المنافسون ، وكان من الضروري مواكبة ذلك.

حتى ذلك الوقت ، تمكنت من إدارة كل شيء بمفرده كرجل أعمال فردي ، وظفت أشخاصًا للتعاقد مع جهات خارجية. لكن تعقيد المنتج وعدد المهام بدأ ينمو بسرعة ، وأصبح من الواضح أنك بحاجة إلى تفويض الوظائف وتوظيف الأشخاص بسرعة لفريقك في مكتبك. اتصلت بصديق ، واستقال من عمله وقرر فتح Lingvanex في مارس 2019.

حتى تلك اللحظة ، كنت أقوم بإنشاء مشروع دون الإعلان في أي مكان ، وعندما قررت تجميع فريقي ، واجهت مشكلة في البحث. لا أحد يعتقد أن هذا يمكن القيام به على الإطلاق ، ولم يفهم لماذا. اضطررت لمقابلة العديد من الأشخاص وتحدث كل منهم لمدة 3 ساعات عن آلاف التفاصيل غير الواضحة. عندما ظهرت المقالة الأولى حول المشروع ، أصبح الأمر أسهل. لطالما سُئلت سؤالًا واحدًا: السؤال

الأول يبدو دائمًا "ما أفضل من Google؟"

في الوقت الحالي ، هدفنا هو تحقيق جودة ترجمة Google لموضوع مشترك باللغات الأوروبية والآسيوية الرئيسية وبعد ذلك لتقديم حلول لـ:

1) ترجمة النصوص والمواقع من خلال API لدينا أرخص بثلاث مرات من المنافسين ، مما يوفر خدمة دعم ممتازة ودمج سهل. على سبيل المثال ، تبلغ تكلفة ترجمة Google 20 دولارًا لكل مليون حرف ، وهو أمر مكلف للغاية مع كميات كبيرة من

2) ترجمة مواضيعية عالية الجودة للمستندات حول موضوعات معينة (الطب والتعدين والقانون وما إلى ذلك) بواسطة API ، بما في ذلك الاندماج في أدوات احترافية المترجمون (مثل SDL Trados)

3) الاندماج في العمليات التجارية للمؤسسات لتشغيل نماذج الترجمة على خوادمها بموجب ترخيصنا. هذا يسمح لك بالحفاظ على سرية البيانات ، لا يعتمد على حجم النص المترجم وتحسين الترجمة لخصائص شركة معينة.

يمكنك جعل جودة الترجمة أفضل من المنافسين لأزواج أو موضوعات لغوية محددة. يمكنك فعل أي شيء. هذه مسألة موارد الشركة. مع الاستثمار الكافي ، لا توجد مشكلة. ماذا وكيف تفعل - من المعروف أنك تحتاج فقط إلى عمل وأموال.

في الواقع ، ينمو سوق البرمجة اللغوية العصبية بشكل سريع للغاية مع تحسن التعرف وتحليل الكلام والترجمة الآلية ويمكن أن يحقق ربحًا جيدًا لفريق صغير. ستبدأ كل هذه الضجيج هنا في غضون 2-3 سنوات ، عندما يؤتي ترويج الشركات الكبيرة في السوق اليوم ثمارًا. ستبدأ سلسلة من عمليات الاندماج / الاستحواذ. الشيء الرئيسي في هذه اللحظة هو الحصول على منتج جيد مع جمهور يمكنك بيعه.

مجموع


طوال الوقت ، جلبت تطبيقات الاختبار أكثر من مليون دولار ، تم إنفاق معظمها على صنع مترجمك الخاص. من الواضح الآن أنه يمكن عمل كل شيء أرخص بكثير وأفضل. تم ارتكاب العديد من الأخطاء الإدارية ، لكن هذه تجربة ، ومن ثم لم يكن هناك من يتشاور معها. تصف المقالة جزءًا صغيرًا جدًا من هذه القصة ، وأحيانًا قد لا يكون واضحًا سبب اتخاذ قرارات معينة. اطرح أسئلة في التعليقات.

في الوقت الحالي ، لم نحقق جودة ترجمة Google ، ولكن لا أرى أي مشاكل في القيام بذلك إذا كان لدى الفريق العديد من متخصصي معالجة اللغات الطبيعية على الأقل.
يعمل مترجمنا الآن بشكل أفضل من الإنجليزية إلى الألمانية والإسبانية والفرنسية.

روابط للبرامج الجديدة التي تم تطويرها على مدى 3 سنوات والتي تم استثمار الأموال فيها. إذا كان أي شخص يريد رؤية تطبيقات الاختبار القديمة التي تمت مناقشتها في بداية المقالة (حيث تم كسب المال و 35 مليون قفزة) - اكتب بشكل شخصي.

مترجم لنظام iOS


مترجم للأندرويد


مترجم لنظام التشغيل Mac OS


مترجم ويندوز


مترجم لمتصفح كروم


مترجم برقية



يمكن العثور على هذا الرابط

الترجمة API API



يحتاج الفريق أيضًا إلى مدير منتج (تطبيقات الهاتف المحمول) ومبرمج Python من ذوي الخبرة في مشروعات البرمجة اللغوية العصبية.

إذا كانت لديك أفكار للشراكات والعروض المشتركة - اكتب في PM ، أضف إلى Facebook ، LinkedIn.

More articles:


All Articles