TensorFlow Lite और Azure कस्टम विज़न का उपयोग करके Android पर छवियों को वर्गीकृत करें

छवि वर्गीकरण पुस्तकालय

1. एज़्योर कस्टम विजन सर्विस

1. प्रशिक्षण छवि डाउनलोड करें
2. इमेज में मार्क टैग / ऑब्जेक्ट का टैग
3. दोहराएं (मॉडल अधिक प्रशिक्षण डेटा के साथ बेहतर हो जाता है)
4. यह बात है - कस्टम विजन बाकी का ख्याल रखता है!

2. TensorFlow Lite

Azure + Xamarin.Android का उपयोग करके छवि वर्गीकरण को लागू करना

1. मॉडल प्रशिक्षण

• नाम: XamarinImageClassification
• विवरण: छवियों में वस्तुओं को पहचानें
• संसाधन: [एक नया संसाधन बनाएँ]
• परियोजना का प्रकार: वर्गीकरण
• वर्गीकरण प्रकार: बहुभाषी (प्रति छवि कई टैग)
• डोमेन: सामान्य (कॉम्पैक्ट)
• निर्यात क्षमताएं: मूल प्लेटफार्म

2. एज़्योर कस्टम विजन सेवा से एक प्रशिक्षित मॉडल निर्यात करना

3. हमारे Xamarin.Android एप्लिकेशन में TensorFlow Lite आयात करें

• label.txt में कस्टम विज़न वेबसाइट पर प्रशिक्षण के लिए तैयारी के दौरान बनाए गए छवि टैग शामिल हैं
• model.tflite मशीन लर्निंग मॉडल है जिसका उपयोग हम अपने पूर्वानुमानों के लिए करते हैं।

• models.tflite
• labels.txt

4. Xamarin.Android के लिए छवि वर्गीकरण कोड का कार्यान्वयन

ImageClassificationModel.cs

public class ImageClassificationModel 
{ 
    public ImageClassificationModel(string tagName, float probability) 
    { 
        TagName = tagName; 
        Probability = probability; 
    } 
   
    public float Probability { get; } 
    public string TagName { get; } 
}

TensorflowClassifier.cs

using System.Collections.Generic;
using System.IO;
using System.Linq;
using Android.App;
using Android.Graphics;
using Java.IO;
using Java.Nio;
using Java.Nio.Channels;

public class TensorflowClassifier
{
    //FloatSize     4,        4 
    const int FloatSize = 4;
    //PixelSize -     3,        : ,   .
    const int PixelSize = 3;

    public List<ImageClassificationModel> Classify(byte[] image)
    {
        var mappedByteBuffer = GetModelAsMappedByteBuffer();
        var interpreter = new Xamarin.TensorFlow.Lite.Interpreter(mappedByteBuffer);

        //   ,       
        var tensor = interpreter.GetInputTensor(0);
        var shape = tensor.Shape();

        var width = shape[1];
        var height = shape[2];

        var byteBuffer = GetPhotoAsByteBuffer(image, width, height);

        // StreamReader    labels.txt
        var streamReader = new StreamReader(Application.Context.Assets.Open("labels.txt"));

        // labels.txt  List<string>
        var labels = streamReader.ReadToEnd().Split('\n').Select(s => s.Trim()).Where(s => !string.IsNullOrEmpty(s)).ToList();

        //     Java.Lang.Object,    Xamarin.TensorFlow.List.Interpreter.
        var outputLocations = new float[1][] { new float[labels.Count] };
        var outputs = Java.Lang.Object.FromArray(outputLocations);

        interpreter.Run(byteBuffer, outputs);
        var classificationResult = outputs.ToArray<float[]>();

        // classificationResult     ,  ,     
        var classificationModelList = new List<ImageClassificationModel>();

        for (var i = 0; i < labels.Count; i++)
        {
            var label = labels[i]; classificationModelList.Add(new ImageClassificationModel(label, classificationResult[0][i]));
        }

        return classificationModelList;
    }

    // model.tflite  Java.Nio.MappedByteBuffer,    Xamarin.TensorFlow.Lite.Interpreter.
    private MappedByteBuffer GetModelAsMappedByteBuffer()
    {
        var assetDescriptor = Application.Context.Assets.OpenFd("model.tflite");
        var inputStream = new FileInputStream(assetDescriptor.FileDescriptor);

        var mappedByteBuffer = inputStream.Channel.Map(FileChannel.MapMode.ReadOnly, assetDescriptor.StartOffset, assetDescriptor.DeclaredLength);

        return mappedByteBuffer;
    }

    //     TensorFlow
    private ByteBuffer GetPhotoAsByteBuffer(byte[] image, int width, int height)
    {
        var bitmap = BitmapFactory.DecodeByteArray(image, 0, image.Length);
        var resizedBitmap = Bitmap.CreateScaledBitmap(bitmap, width, height, true);

        var modelInputSize = FloatSize * height * width * PixelSize;
        var byteBuffer = ByteBuffer.AllocateDirect(modelInputSize);
        byteBuffer.Order(ByteOrder.NativeOrder());

        var pixels = new int[width * height];
        resizedBitmap.GetPixels(pixels, 0, resizedBitmap.Width, 0, 0, resizedBitmap.Width, resizedBitmap.Height);

        var pixel = 0;

        //     Java.Nio.ByteBuffer
        for (var i = 0; i < width; i++)
        {
            for (var j = 0; j < height; j++)
            {
                var pixelVal = pixels[pixel++];

                byteBuffer.PutFloat(pixelVal >> 16 & 0xFF);
                byteBuffer.PutFloat(pixelVal >> 8 & 0xFF);
                byteBuffer.PutFloat(pixelVal & 0xFF);
            }
        }

        bitmap.Recycle();

        return byteBuffer;
    }
}

आगे के अध्ययन के लिए सामग्री

• पूर्ण जीथुब कोड
• Azure कस्टम विज़न सेवा
• Azure संज्ञानात्मक सेवाएँ
• द कम्युनिटी एआई शो: कस्टम विजन, ज़मारिन और सिम्पसंस