Androidorg.webrtc.VideoRenderer.I420Frame配列からPreviewCallback.onPreviewFrameバイト[]

4
RoundSparrow hilltx 2013-12-27 15:41.

私はいくつかのコードがインターネットに現れることを望んでいますが、どこにも行きません;)

WebRTCの着信I420Frameオブジェクトには3つのyuvPlanes配列があるようです

一般的なAndroidカメラアプリは、PreviewCallback.onPreviewFrame byte []を単一のバイト配列として取得します。

I420FramesyuvPlanesをPreviewCallback.onPreviewFramebyte [] YCbCr_420_SP(NV21)のような単一のbyte []配列に変換する方法を誰かが教えてくれますか?

参考までに、VideoStreamsView.javaにはOpenGLにレンダリングするためのこのコードがありますが、カメラのプレビューのようにしたいだけです;)From: https://code.google.com/p/libjingle/source/browse/trunk/talk/examples/android/src/org/appspot/apprtc/VideoStreamsView.java?r=286

// Upload the YUV planes from |frame| to |textures|.
private void texImage2D(I420Frame frame, int[] textures) {
for (int i = 0; i < 3; ++i) {
  ByteBuffer plane = frame.yuvPlanes[i];
  GLES20.glActiveTexture(GLES20.GL_TEXTURE0 + i);
  GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, textures[i]);
  int w = i == 0 ? frame.width : frame.width / 2;
  int h = i == 0 ? frame.height : frame.height / 2;
  abortUnless(w == frame.yuvStrides[i], frame.yuvStrides[i] + "!=" + w);
  GLES20.glTexImage2D(
      GLES20.GL_TEXTURE_2D, 0, GLES20.GL_LUMINANCE, w, h, 0,
      GLES20.GL_LUMINANCE, GLES20.GL_UNSIGNED_BYTE, plane);
}
checkNoGLES2Error();
}

ありがとうございました。

2 answers

3
Alex Cohn 2013-12-29 18:58.

OK、どうぞ:

// Copy the bytes out of |src| and into |dst|, ignoring and overwriting
// positon & limit in both buffers.
//** copied from org/webrtc/VideoRenderer.java **//
private static void copyPlane(ByteBuffer src, ByteBuffer dst) {
  src.position(0).limit(src.capacity());
  dst.put(src);
  dst.position(0).limit(dst.capacity());
}

public static android.graphics.YuvImage ConvertTo(org.webrtc.VideoRenderer.I420Frame src, int imageFormat) {
    switch (imageFormat) {
    default:
        return null;

    case android.graphics.ImageFormat.YV12: {
        byte[] bytes = new byte[src.yuvStrides[0]*src.height +
                            src.yuvStrides[1]*src.height/2 + 
                            src.yuvStrides[2]*src.height/2];
        ByteBuffer tmp = ByteBuffer.wrap(bytes, 0, src.yuvStrides[0]*src.height);
        copyPlane(src.yuvPlanes[0], tmp);
        tmp = ByteBuffer.wrap(bytes, src.yuvStrides[0]*src.height, src.yuvStrides[2]*src.height/2);
        copyPlane(src.yuvPlanes[2], tmp);
        tmp = ByteBuffer.wrap(bytes, src.yuvStrides[0]*src.height+src.yuvStrides[2]*src.height/2, src.yuvStrides[1]*src.height/2);
        copyPlane(src.yuvPlanes[1], tmp);
        int[] strides = src.yuvStrides.clone();
        return new YuvImage(bytes, imageFormat, src.width, src.height, strides);
    }

    case android.graphics.ImageFormat.NV21: {
        if (src.yuvStrides[0] != src.width)
            return convertLineByLine(src);
        if (src.yuvStrides[1] != src.width/2)
            return convertLineByLine(src);
        if (src.yuvStrides[2] != src.width/2)
            return convertLineByLine(src);

        byte[] bytes = new byte[src.yuvStrides[0]*src.height +
                            src.yuvStrides[1]*src.height/2 + 
                            src.yuvStrides[2]*src.height/2];
        ByteBuffer tmp = ByteBuffer.wrap(bytes, 0, src.width*src.height);
        copyPlane(src.yuvPlanes[0], tmp);

        byte[] tmparray = new byte[src.width/2*src.height/2];
        tmp = ByteBuffer.wrap(tmparray, 0, src.width/2*src.height/2);

        copyPlane(src.yuvPlanes[2], tmp);
        for (int row=0; row<src.height/2; row++) {
            for (int col=0; col<src.width/2; col++) {
                bytes[src.width*src.height + row*src.width + col*2] = tmparray[row*src.width/2 + col];
            }
        }
        copyPlane(src.yuvPlanes[1], tmp);
        for (int row=0; row<src.height/2; row++) {
            for (int col=0; col<src.width/2; col++) {
                bytes[src.width*src.height + row*src.width + col*2+1] = tmparray[row*src.width/2 + col];
            }
        }
        return new YuvImage(bytes, imageFormat, src.width, src.height, null);
    }
    }
}

public static android.graphics.YuvImage convertLineByLine(org.webrtc.VideoRenderer.I420Frame src) {
    byte[] bytes = new byte[src.width*src.height*3/2];
    int i=0;
    for (int row=0; row<src.height; row++) {
        for (int col=0; col<src.width; col++) {
            bytes[i++] = src.yuvPlanes[0][col+row*src.yuvStrides[0]];
        }
    }
    for (int row=0; row<src.height/2; row++) {
        for (int col=0; col<src.width/2; col++) {
            bytes[i++] = src.yuvPlanes[2][col+row*src.yuvStrides[2]];
            bytes[i++] = src.yuvPlanes[1][col+row*src.yuvStrides[1]];
        }
    }
    return new YuvImage(bytes, android.graphics.ImageFormat.NV21, src.width, src.height, null);

    }
}

これにより、I420Frameがandroid.graphics.ImageFormat.NV21のAndroid YuvImageに変換されます。これは、compressToJpeg()で実行できます。ImageFormat.YV12のサポートはSDKで制限されているようです。YとVをシャッフルする必要があることに注意してください。

簡潔にするために、ほとんどのエラーチェックはスキップされます。

1
Rick Sanchez 2019-03-14 15:46.

質問はかなり古いですが、私はこの変換を行う必要がある人のためにこの回答を投稿しています。WebRTCテストケースの1つで以下のコードを見つけましたが、完全に機能します。

 private void testI420toNV21Conversion(ImageView iv) {
    // create a test I420 frame. Instead of this you can use the actual frame
    VideoFrame.I420Buffer i420Buffer = createTestI420Buffer();

    final int width = i420Buffer.getWidth();
    final int height = i420Buffer.getHeight();
    //convert to nv21, this is the same as byte[] from onPreviewCallback
    byte[] nv21Data = createNV21Data(i420Buffer);

    //let's test the conversion by converting the NV21 data to jpg and showing it in a bitmap.
    YuvImage yuvImage = new YuvImage(nv21Data, ImageFormat.NV21,width,height,null);
    ByteArrayOutputStream out = new ByteArrayOutputStream();
    yuvImage.compressToJpeg(new Rect(0, 0, width, height), 100, out);
    byte[] imageBytes = out.toByteArray();
    Bitmap image = BitmapFactory.decodeByteArray(imageBytes, 0, imageBytes.length);
    iv.setImageBitmap(image);
}

/** Create an NV21Buffer with the same pixel content as the given I420 buffer. **/
public static byte[] createNV21Data(VideoFrame.I420Buffer i420Buffer) {
    final int width = i420Buffer.getWidth();
    final int height = i420Buffer.getHeight();
    final int chromaStride = width;
    final int chromaWidth = (width + 1) / 2;
    final int chromaHeight = (height + 1) / 2;
    final int ySize = width * height;
    final ByteBuffer nv21Buffer = ByteBuffer.allocateDirect(ySize + chromaStride * chromaHeight);
    // We don't care what the array offset is since we only want an array that is direct.
    @SuppressWarnings("ByteBufferBackingArray") final byte[] nv21Data = nv21Buffer.array();
    for (int y = 0; y < height; ++y) {
        for (int x = 0; x < width; ++x) {
            final byte yValue = i420Buffer.getDataY().get(y * i420Buffer.getStrideY() + x);
            nv21Data[y * width + x] = yValue;
        }
    }
    for (int y = 0; y < chromaHeight; ++y) {
        for (int x = 0; x < chromaWidth; ++x) {
            final byte uValue = i420Buffer.getDataU().get(y * i420Buffer.getStrideU() + x);
            final byte vValue = i420Buffer.getDataV().get(y * i420Buffer.getStrideV() + x);
            nv21Data[ySize + y * chromaStride + 2 * x + 0] = vValue;
            nv21Data[ySize + y * chromaStride + 2 * x + 1] = uValue;
        }
    }
    return nv21Data;
}

/** Convert a byte array to a direct ByteBuffer. */
private static ByteBuffer toByteBuffer(int[] array) {
    final ByteBuffer buffer = ByteBuffer.allocateDirect(array.length);
    buffer.put(toByteArray(array));
    buffer.rewind();
    return buffer;
}


/**
 * Convert an int array to a byte array and make sure the values are within the range [0, 255].
 */
private static byte[] toByteArray(int[] array) {
    final byte[] res = new byte[array.length];
    for (int i = 0; i < array.length; ++i) {
        final int value = array[i];
        res[i] = (byte) value;
    }
    return res;
}


public static VideoFrame.I420Buffer createTestI420Buffer() {
    final int width = 16;
    final int height = 16;
    final int[] yData = new int[] {156, 162, 167, 172, 177, 182, 187, 193, 199, 203, 209, 214, 219,
            224, 229, 235, 147, 152, 157, 162, 168, 173, 178, 183, 188, 193, 199, 205, 210, 215, 220,
            225, 138, 143, 148, 153, 158, 163, 168, 174, 180, 184, 190, 195, 200, 205, 211, 216, 128,
            133, 138, 144, 149, 154, 159, 165, 170, 175, 181, 186, 191, 196, 201, 206, 119, 124, 129,
            134, 140, 145, 150, 156, 161, 166, 171, 176, 181, 187, 192, 197, 109, 114, 119, 126, 130,
            136, 141, 146, 151, 156, 162, 167, 172, 177, 182, 187, 101, 105, 111, 116, 121, 126, 132,
            137, 142, 147, 152, 157, 162, 168, 173, 178, 90, 96, 101, 107, 112, 117, 122, 127, 132, 138,
            143, 148, 153, 158, 163, 168, 82, 87, 92, 97, 102, 107, 113, 118, 123, 128, 133, 138, 144,
            149, 154, 159, 72, 77, 83, 88, 93, 98, 103, 108, 113, 119, 124, 129, 134, 139, 144, 150, 63,
            68, 73, 78, 83, 89, 94, 99, 104, 109, 114, 119, 125, 130, 135, 140, 53, 58, 64, 69, 74, 79,
            84, 89, 95, 100, 105, 110, 115, 120, 126, 131, 44, 49, 54, 59, 64, 70, 75, 80, 85, 90, 95,
            101, 106, 111, 116, 121, 34, 40, 45, 50, 55, 60, 65, 71, 76, 81, 86, 91, 96, 101, 107, 113,
            25, 30, 35, 40, 46, 51, 56, 61, 66, 71, 77, 82, 87, 92, 98, 103, 16, 21, 26, 31, 36, 41, 46,
            52, 57, 62, 67, 72, 77, 83, 89, 94};
    final int[] uData = new int[] {110, 113, 116, 118, 120, 123, 125, 128, 113, 116, 118, 120, 123,
            125, 128, 130, 116, 118, 120, 123, 125, 128, 130, 132, 118, 120, 123, 125, 128, 130, 132,
            135, 120, 123, 125, 128, 130, 132, 135, 138, 123, 125, 128, 130, 132, 135, 138, 139, 125,
            128, 130, 132, 135, 138, 139, 142, 128, 130, 132, 135, 138, 139, 142, 145};
    final int[] vData = new int[] {31, 45, 59, 73, 87, 100, 114, 127, 45, 59, 73, 87, 100, 114, 128,
            141, 59, 73, 87, 100, 114, 127, 141, 155, 73, 87, 100, 114, 127, 141, 155, 168, 87, 100,
            114, 128, 141, 155, 168, 182, 100, 114, 128, 141, 155, 168, 182, 197, 114, 127, 141, 155,
            168, 182, 196, 210, 127, 141, 155, 168, 182, 196, 210, 224};
    return JavaI420Buffer.wrap(width, height, toByteBuffer(yData),
            /* strideY= */ width, toByteBuffer(uData), /* strideU= */ width / 2, toByteBuffer(vData),
            /* strideV= */ width / 2,
            /* releaseCallback= */ null);
}

Related questions

MORE COOL STUFF

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは3日間一緒に夫と一緒に寝て、25年経ってもまだ夫と結婚しています

ケイト・ブランシェットは、夫に会ったとき、典型的な交際のアドバイスに逆らいました。

マイケルシーンが非営利の俳優である理由

マイケルシーンが非営利の俳優である理由

マイケルシーンは非営利の俳優ですが、それは正確にはどういう意味ですか?

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

ホールマークスターのコリンエッグレスフィールドがRomaDramaLiveでスリル満点のファンと出会う![エクスクルーシブ]

特徴的なスターのコリン・エッグレスフィールドは、RomaDrama Liveでのスリル満点のファンとの出会いについて料理しました!加えて、大会での彼のINSPIREプログラム。

「たどりつけば」をオンラインでストリーミングできない理由

「たどりつけば」をオンラインでストリーミングできない理由

ノーザンエクスポージャーが90年代の最も人気のある番組の1つになった理由を確認するには、Blu-rayまたはDVDプレーヤーをほこりで払う必要があります。

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖:アクセスは簡単ではありませんが、ハイキングする価値があります

ドミニカのボイリング湖は、世界で2番目に大きいボイリング湖です。そこにたどり着くまでのトレッキングは大変で長いですが、努力する価値は十分にあります。

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

私たちの水をきれいに保つのを助けるためにあなたの髪を寄付してください

サロンからのヘアトリミングや個人的な寄付は、油流出を吸収して環境を保護するのに役立つマットとして再利用できます。

ホワイトハウスの最も記憶に残る結婚式を見てください

ホワイトハウスの最も記憶に残る結婚式を見てください

過去200年以上の間にホワイトハウスで結婚したのはほんの数人です。彼らは誰でしたか、そしてそこで結婚式を獲得するために何が必要ですか?

ライブで見る:SpaceXは今日軌道に10個の衛星を打ち上げます

ライブで見る:SpaceXは今日軌道に10個の衛星を打ち上げます

今朝、SpaceXは、ファルコン9ブースターを使用して、カリフォルニアのヴァンデンバーグ空軍基地から10個の衛星を宇宙に打ち上げます。そして、現代のテクノロジーの素晴らしさのおかげで、ローンチ全体をライブで見ることができます。

スティーブン・スピルバーグはそれ自体にもかかわらずレディ・プレイヤー1の作品を作りました

スティーブン・スピルバーグはそれ自体にもかかわらずレディ・プレイヤー1の作品を作りました

サイモン・ペッグとマーク・ライランスとのレディ・プレイヤー1のセットのスティーブン・スピルバーグ。Ready Player Oneは非常に分裂的な本でしたが、今では非常に分裂的な映画になっています。

適切な食べ物を食べることは、うつ病の治療にも役立つ可能性があります

適切な食べ物を食べることは、うつ病の治療にも役立つ可能性があります

私たちは皆、食べ過ぎたり、がらくたを食べたり、がらくたを食べすぎたりした後、どれほど恐ろしいと感じるかを知っています。しかし、最近の研究では、反対のことが当てはまる可能性があることが指摘されています。適切な食品を食べることで、気分が良くなり、うつ病などの症状との闘いにも役立つ可能性があります。

8,000ドルで、この2001年のBMW 330ci電気変換にショックを受けますか?

8,000ドルで、この2001年のBMW 330ci電気変換にショックを受けますか?

今日のニースプライスまたはクラックパイプエレクトリックE46の売り手は、ボルトを処理できることを証明できない人にそれを販売することを拒否します。このコンバージョンの価格が、彼がそれをまったく売る可能性が低いことを意味するかどうかを見てみましょう。

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya shared a sweet photo in honor of boyfriend Tom Holland's 26th birthday Wednesday

小さな女性:脳卒中を患った後に病院から解放されたアトランタのジューシーな赤ちゃん:「まだ癒し」

小さな女性:脳卒中を患った後に病院から解放されたアトランタのジューシーな赤ちゃん:「まだ癒し」

シーレン「Ms.JuicyBaby」ピアソンは、先月脳卒中で入院した後、「もう一度たくさんのことをする方法を学ばなければならない」ため、言語療法を受けていることを明らかにしました。

エマストーンは彼女のクリフサイドマリブビーチハウスを420万ドルでリストアップしています—中を見てください!

エマストーンは彼女のクリフサイドマリブビーチハウスを420万ドルでリストアップしています—中を見てください!

オスカー受賞者の世紀半ばの家には、3つのベッドルーム、2つのバス、オーシャンフロントの景色があります。

ジーニー・メイ・ジェンキンスは、母乳育児の経験の中で、彼女は「本当に、本当に落ち込んでいる」と言います

ジーニー・メイ・ジェンキンスは、母乳育児の経験の中で、彼女は「本当に、本当に落ち込んでいる」と言います

ジーニー・メイ・ジェンキンスは、生後4か月の娘、モナコに母乳育児をしていると語った。

エッジ機能とは?!?

エッジ機能とは?!?

エッジ機能…それはセクシーに聞こえます、あなたのおばあちゃんはそれが何であるかを知らないでしょう、そしてあなたはおそらくまだどちらも知らないでしょう。それは大丈夫です、うまくいけば、私はより簡単な方法でエッジを理解するためのあなたの旅であなたを助けるためにここにいます。

また、より顧客重視を「試み」ていますか?

また、より顧客重視を「試み」ていますか?

顧客が好きなものから、顧客が好き/嫌いなものについて利害関係者の内臓が言うものに焦点が移る製品機能の議論を経験したことがありますか?チームの全員がお互いに何をすべきかを尋ねていて、誰もその製品に興味を持っていないように見える時期を経験したことがありますか?フィードバックループフィードバック—否定的な意味合いがありますよね?実際には、フィードバックは環境から私たちの行動への反応であり、私たちに利益をもたらすためにそれを使用するには、この反応を分析する必要があります。通常、これには従いません。

あなたがアメリカを怖がっているなら、あなたはまだ十分に怖がっていません

あなたがアメリカを怖がっているなら、あなたはまだ十分に怖がっていません

神学者とファシストは全体主義社会を望んでいます—そして彼らは世界中で1つの衝撃波を反響させようとしています。友人や人々でいっぱいの古いヨーロッパの古い街にある私の小さなカフェで、「彼らは本当にそれをしましたか?」「彼らはクレイジーですか?」「これからどうなるの?」"我が神よ!" 角を曲がったところにある公園で、犬たちは幸せな夏の輪の中で回転します。「信じられない!」「アメリカ人にできることはありますか?」"今、何が起きた?" 今、何が起きた?それがみんなの頭の中にある質問です。

私の技術の旅

速いお金があなたが望むものであるか、ストレスのない生活があなたが切望するものであるならば、私はあなたに技術があなたのものではないことを断固として言いたいです。私を信じて。

Language