你的位置:首页 > ASP.net教程

[ASP.net教程]H264解码学习


  今天看了不少,却感觉收获寥寥。

  1、H264相关知识

  因为RTP协议发过来的数据已经经过了H264编码,所以这边需要解码。补充一下H264的相关知识。

  与以往的视频压缩标准相比,H.264 视频压缩标准(简称H.264)具有更出色的性能,因此H.264 被称为新一代视频压缩标准。H.264 与H.263 或MPEG-4 相比,            主要新增特性如下:
      1、采用更为精细和丰富的帧内编码及帧间预测方式,有效地减少残差数据。
      2、引入新的算术编码方式,使得数据压缩比更高。
      3、 视频数据分层更为合理,引入 NAL 更利于网络传输。
  4、取消传统的帧结构,引入 slice 结构和参数集,提高码流的抗误码能力。
  5、引入灵活的参考帧管理机制,参考帧数目最多可以达到 16 个。

  上述特性使得H.264 在视频信噪比、图像质量以及应用的灵活性上有了质的飞跃,但带来的问题是H.264 在实现上复杂度较高。

  2、一些可能的解决方案(并未实践)

  Intel media SDK,windows media sdk,http://www.ffmpeg-csharp.com/(这个网站上说是最简单的方式使用ffmpeg,我也没有学会怎么使用,等以后再回来学习吧),C#调用ffmpeg开发库。以上这些方式只是搜索到的可能的解决方法,因为太懒了,着急做出东西,所以没有去学习,后来在海康的播放库API中看到H264的相关知识(http://www.cnblogs.com/over140/archive/2009/03/22/1418946.html),以前做海康摄像头调用的时候就经常看他的博客。最后在晚上的时候找到一种解决方式。使用海思提供的H264解码库,有专门的解码库,但也是用C++写的。不过这没有问题,想起以前海康摄像头的时候也是C++的代码,通过C#来调用。方法是通过PInvoke.net转一下就可以了。

  转换之后的代码,将hi_h264dec_w.dll转换为C#中的类(也是参考网上的代码)

class Hi264Dec  {     public const int HI_SUCCESS = 0;     public const int HI_FAILURE = -1;     public const int HI_LITTLE_ENDIAN = 1234;     public const int HI_BIG_ENDIAN = 4321;     public const int HI_DECODER_SLEEP_TIME = 60000;     public const int HI_H264DEC_OK = 0;     public const int HI_H264DEC_NEED_MORE_BITS = -1;     public const int HI_H264DEC_NO_PICTURE = -2;     public const int HI_H264DEC_ERR_HANDLE = -3;     [DllImport("hi_h264dec_w.dll",EntryPoint = "Hi264DecImageEnhance", CallingConvention = CallingConvention.Cdecl)]     public static extern int Hi264DecImageEnhance(IntPtr hDec, ref hiH264_DEC_FRAME_S pDecFrame, uint uEnhanceCoeff);     [DllImport("hi_h264dec_w.dll",EntryPoint = "Hi264DecCreate", CallingConvention = CallingConvention.Cdecl)]     public static extern IntPtr Hi264DecCreate(ref hiH264_DEC_ATTR_S pDecAttr);     [DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecDestroy", CallingConvention = CallingConvention.Cdecl)]     public static extern void Hi264DecDestroy(IntPtr hDec);     [DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecGetInfo", CallingConvention = CallingConvention.Cdecl)]     public static extern int Hi264DecGetInfo(ref hiH264_LIBINFO_S pLibInfo);     [DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecFrame", CallingConvention = CallingConvention.Cdecl)]     public static extern int Hi264DecFrame(IntPtr hDec, IntPtr pStream, uint iStreamLen, ulong ullPTS, ref hiH264_DEC_FRAME_S pDecFrame, uint uFlags);     [DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecAU", CallingConvention = CallingConvention.Cdecl)]     public static extern int Hi264DecAU(IntPtr hDec, IntPtr pStream, uint iStreamLen, ulong ullPTS, ref hiH264_DEC_FRAME_S pDecFrame, uint uFlags);     [StructLayout(LayoutKind.Sequential)]     public struct hiH264_DEC_ATTR_S     {       public uint uPictureFormat;       public uint uStreamInType;       public uint uPicWidthInMB;       public uint uPicHeightInMB;       public uint uBufNum;       public uint uWorkMode;       public IntPtr pUserData;       public uint uReserved;     }     [StructLayout(LayoutKind.Sequential)]     public struct hiH264_DEC_FRAME_S     {       public IntPtr pY;       public IntPtr pU;       public IntPtr pV;       public uint uWidth;       public uint uHeight;       public uint uYStride;       public uint uUVStride;       public uint uCroppingLeftOffset;       public uint uCroppingRightOffset;       public uint uCroppingTopOffset;       public uint uCroppingBottomOffset;       public uint uDpbIdx;       public uint uPicFlag;       public uint bError;       public uint bIntra;       public ulong ullPTS;       public uint uPictureID;       public uint uReserved;       public IntPtr pUserData;     }     [StructLayout(LayoutKind.Sequential)]     public struct hiH264_LIBINFO_S     {       public uint uMajor;       public uint uMinor;       public uint uRelease;       public uint uBuild;       [MarshalAs(UnmanagedType.LPStr)] public string sVersion;       [MarshalAs(UnmanagedType.LPStr)] public string sCopyRight;       public uint uFunctionSet;       public uint uPictureFormat;       public uint uStreamInType;       public uint uPicWidth;       public uint uPicHeight;       public uint uBufNum;       public uint uReserved;     }     [StructLayout(LayoutKind.Sequential)]     public struct hiH264_USERDATA_S     {       public uint uUserDataType;       public uint uUserDataSize;       public IntPtr pData;       public IntPtr pNext;     }  }

     可以在窗体加载的时候加载如下代码

//初始化,可以在 FormLoad 事务里完成       var decAttr = new Hi264Dec.hiH264_DEC_ATTR_S();       decAttr.uPictureFormat = 0;       decAttr.uStreamInType = 0;       decAttr.uPicWidthInMB = 480 >> 4;       decAttr.uPicHeightInMB = 640 >> 4;       decAttr.uBufNum = 8;       decAttr.uWorkMode = 16;       IntPtr _decHandle = Hi264Dec.Hi264DecCreate(ref decAttr);       Hi264Dec.hiH264_DEC_FRAME_S _decodeFrame = new Hi264Dec.hiH264_DEC_FRAME_S();       //解码       //pData 为须要解码的 H264 nalu 数据,length 为该数据的长度       if (Hi264Dec.Hi264DecAU(_decHandle, pData, (uint) length, 0, ref _decodeFrame, 0) == 0)       {         if (_decodeFrame.bError == 0)         {           //策画 y u v 的长度           var yLength = _decodeFrame.uHeight * _decodeFrame.uYStride;           var uLength = _decodeFrame.uHeight * _decodeFrame.uUVStride / 2;           var vLength = uLength;           var yBytes = new byte[yLength];           var uBytes = new byte[uLength];           var vBytes = new byte[vLength];           var decodedBytes = new byte[yLength + uLength + vLength];           //_decodeFrame 是解码后的数据对象,里面包含 YUV 数据、宽度、高度等信息           Marshal.Copy(_decodeFrame.pY, yBytes, 0, (int)yLength);           Marshal.Copy(_decodeFrame.pU, uBytes, 0, (int)uLength);           Marshal.Copy(_decodeFrame.pV, vBytes, 0, (int)vLength);           //将从 _decodeFrame 中取出的 YUV 数据放入 decodedBytes 中           Array.Copy(yBytes, decodedBytes, yLength);           Array.Copy(uBytes, 0, decodedBytes, yLength, uLength);           Array.Copy(vBytes, 0, decodedBytes, yLength + uLength, vLength);           //decodedBytes 为yuv数据,可以将其转换为 RGB 数据后再转换为 BitMap 然后经由过程 PictureBox 控件即可显示           //这类代码网上斗劲常见,我就不贴了   }

     在关闭的时候销毁解码器句柄

  

Hi264Dec.Hi264DecDestroy(_decHandle);

     在上面也说了,传进来的数据转为YUV数据后,还需要转为RGB,再转为图片在控件中进行显示。粗略从网上看了一下,这类算法还是比较多的,所以明天的目标是将视频显示出来。争取让已有的轮子跑起来。

    3、C++学习

    今天上午还看了一小部分C++,看的比较慢,学习了基本的输入输出语句,只看到第28页。

    4、总结

    今天收毕业论文题目了,我还没怎么开始写呢。等把RTP和H264视频解码这一块解决就开始准备毕业论文了。晚上的时候给周兆熊老师发的邮件已经收到回复。对于我自己目前的问题也总结一下:(1)语言的确没什么再纠结的意思了,对我现在来说没有孰优孰劣,我需要的做的是尽量用熟悉的语言去解决现在存在的问题。(2)未来想找工作的话不单单需要专业方面的知识,也需要软实力,想起前几天犯得小错误,对自己的成长还是有帮助。需要继续看书,读过的书也需要做笔记。(3)关于怎么让自己坚持去学习,前几天的烦躁心里真的因为好好做事情减轻了呢。这几天一直尝试着用番茄工作法让自己安定下来,坚持使用第四天,每天大约5个番茄钟(效率好低啊)。看了高效工作后,里面的对拖延症的分析三个原因真的让我印象深刻:(1)其他人强迫你做的事情违背你的意愿(好像的确如此哈哈);(2)你给自己压力要有完美的表现;(3)害怕犯错误受批评。三个原因真的是非常准确。不愉快也因为忙碌起来而渐渐消失了。

    5、现在所学的很多东西真的是流于表面,即使我把这个视频解码做出来已经能播放了,但我还是觉得自己的提升好少。但我还是要继续这样做,时间紧迫。不知道我写的东西对您有没有帮助,希望各位懂这方面的我们多多交流。对于我的建议给在评论中提出,谢谢您对我的提议。每天记录一点点,就能进步一点点。