java 读取气象专业格式NetCDF文件

寵の児 提交于 2020-07-28 17:58:18

一、NetCDF简介
NetCDF全称为network Common Data Format( “网络通用数据格式”),是一个软件库与机器无关的数据格式,支持创建,访问基于数组的科研数据。分别提供了对Java和C / C++ / Fortran语言。 对程序员来说,它和zip、jpeg、bmp文件格式类似,都是一种文件格式的标准。netcdf文件开始的目的是用于存储气象科学中的数据,现在已经成为许多数据采集软件的生成文件的格式。
从数学上来说,netcdf存储的数据就是一个多自变量的单值函数。用公式来说就是f(x,y,z,…)=value, 函数的自变量x,y,z等在netcdf中叫做维(dimension)或坐标轴(axix),函数值value在netcdf中叫做变量(Variables)。而自变量和函数值在物理学上的一些性质,比如计量单位(量纲)、物理学名称在netcdf中就叫属性(Attributes)。

二、需要用到的netcdf的jar

下载地址:https://www.unidata.ucar.edu/

本文使用版本:netcdfAll-4.6.14.jar

需要java 的jdk 8以上版本

三、读取和打印经纬度变量,了解数据组织结构

public static void main(String[] args) {
     
        String filename = "pres_temp_4D.nc";
        NetcdfFile dataFile = null;
        try {
          dataFile = NetcdfFile.open(filename, null);
          // Get the latitude and longitude Variables.
          Variable latVar = dataFile.findVariable("latitude");
          Variable lonVar = dataFile.findVariable("longitude");


System.out.println(NCdumpW.printVariableData(latVar, null)); System.out.println(NCdumpW.printVariableData(lonVar, null)); ArrayFloat.D1 latArray; ArrayFloat.D1 lonArray; latArray = (ArrayFloat.D1) latVar.read(); lonArray = (ArrayFloat.D1) lonVar.read(); System.out.println(NCdumpW.printArray(latArray, "lat", null)); System.out.println(NCdumpW.printArray(lonArray, "lon", null)); // The file is closed no matter what by putting inside a try/catch block. } catch (java.io.IOException e) { e.printStackTrace(); return; } catch (InvalidRangeException e) { e.printStackTrace(); return; } finally { if (dataFile != null) try { dataFile.close(); } catch (IOException ioe) { ioe.printStackTrace(); } } System.out.println("*** SUCCESS reading example file " + filename); }
NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
.read():是读取这个变量所有的数据。
四、读取所有格点数据实例
@Override
    public Map<String,Object> getNCDataFromFlex(String searchDate,String elementName,String levelType)
    {
        DecimalFormat decimalFormat=new DecimalFormat(".00");//构造方法的字符格式这里如果小数不足2位,会以0补足
        //接口需求:经度:从左到右(正走),纬度:从上到下(负走)
        //NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
        String flex_nc_dir=ConfigManager.getInstance().GetProperty("flex_nc_dir");
        Map<String, Object> item = new HashMap<String, Object>();
        int rows=73;
        int cols=73;
        item.put("cols", rows);
        item.put("rows", cols);
        item.put("startLon",113.35373);//sart到end,是小到大
        item.put("startLat",37.99601);//sart到end,是大到小
        item.put("endLon",115.84625);
        item.put("endLat",36);
        item.put("stepLon",0.034);//0.034
        item.put("stepLat",-0.027);
        item.put("missValue",0);
        String filePath="";
        float [][] uArray = new float[rows][cols];
        float [][] vArray = new float[rows][cols];


        //NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
        NetcdfFile dataFile = null;
        try {

            String dateStr="";
            Date times=DateUtil.strToDate(searchDate,"yyyyMMddHHmmss");
            int hour=times.getHours();
            if(hour>=6)//早上6点以后就用当天的结果
            {
                hour=hour+1;
                dateStr=DateUtil.dateToStr(times,"yyyyMMddHHmmss").substring(0,8);
            }
            filePath=flex_nc_dir+dateStr+"/"+dateStr+".nc";
            log.info(filePath);
            dataFile = NetcdfFile.open(filePath, null);

            int[] origin = new int[]{hour, 0, 0};//开始位置:时间,经度,纬度
            int[] size = new int[]{1, rows, cols};//数据大小:时间,经度,纬度

            //输出UV
            Variable u_Var = dataFile.findVariable("U10");
            Variable v_Var = dataFile.findVariable("V10");

            float[] u_Array=(float[])  u_Var.read(origin, size).copyTo1DJavaArray();
            float[] v_Array=(float[])  v_Var.read(origin, size).copyTo1DJavaArray();

            for(int i = 0 ; i < rows; i=i+1)
            {
                for(int j = 0; j< cols; j = j+1 )
                {
                    uArray[rows-i-1][j] = Float.parseFloat(decimalFormat.format(u_Array[i *cols +j]));
                    vArray[i][j] = Float.parseFloat(decimalFormat.format(v_Array[i *cols +j]));
                }
            }

        } catch (java.io.IOException e) {
            e.printStackTrace();
            return null;

        } catch (InvalidRangeException e) {
            e.printStackTrace();
            return null;

        }finally {
            if (dataFile != null)
                try {
                    dataFile.close();
                } catch (IOException ioe) {
                    ioe.printStackTrace();
                }
        }
        item.put("uArrays",uArray);
        item.put("vArrays",vArray);
        return item;
    }
read(origin, size):是根据开始位置origin开始读取,然后读取size数据量的数据出来。
.copyTo1DJavaArray():是将多维变量转换成一维数组。

五、根据点位所在的经纬度,读取该位置的变量值

@Override
    public Map<String,Object> getNCFactorFromFlex(String searchDate,float lon,float lat)
    {
        DecimalFormat decimalFormat=new DecimalFormat(".00");//构造方法的字符格式这里如果小数不足2位,会以0补足
        //接口需求:经度:从左到右(正走),纬度:从上到下(负走)
        //NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
        String flex_nc_dir=ConfigManager.getInstance().GetProperty("flex_nc_dir");
        int rows=73;
        int cols=73;
        String filePath="";

        float u_value=0;
        float v_value=0;
        float p_value=0;
        float rh_value=0;


        //NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
        NetcdfFile dataFile = null;
        try {

            String dateStr="";
            Date times=DateUtil.strToDate(searchDate,"yyyyMMddHHmmss");
            int hour=times.getHours();
            if(hour>=6)//早上6点以后就用times当天的结果
            {
                hour=hour+1;
                dateStr=DateUtil.dateToStr(times,"yyyyMMddHHmmss").substring(0,8);
            }
            else//上6点前就用times前一天的结果
            {
                hour=hour+24+1;
                dateStr=DateUtil.dateToStr(DateUtil.dateAdd(times,"d",-1),"yyyyMMddHHmmss").substring(0,8);
            }
            filePath=flex_nc_dir+dateStr+"/"+dateStr+".nc";
            log.info("getNCFactorFromFlex"+filePath);

            dataFile = NetcdfFile.open(filePath, null);

            //00开始,读取第一个网格,用于计算经度序号,纬度序号
            int[] origin0 = new int[]{0, 0, 0};//开始位置:时间序号,经度序号,纬度序号
            int[] size0 = new int[]{1, 73, 73};//数据大小:时间,经度,纬度

            Variable x_Var = dataFile.findVariable("XLONG");
            Variable y_Var = dataFile.findVariable("XLAT");
            float[] x_Array=(float[])  x_Var.read(origin0, size0).copyTo1DJavaArray();
            float[] y_Array=(float[])  y_Var.read(origin0, size0).copyTo1DJavaArray();

            int x_xh=getLonXHfromNetcdf(x_Array,lon);
            int y_xh=getLatXHfromNetcdf(y_Array,lat);


            int[] origin = new int[]{hour, x_xh, y_xh};//开始位置:时间序号,经度序号,纬度序号
            int[] size = new int[]{1, 1, 1};//数据大小:时间,经度,纬度

            Variable u_Var = dataFile.findVariable("U10");
            Variable v_Var = dataFile.findVariable("V10");
            Variable p_Var = dataFile.findVariable("PSFC");
            Variable rh_Var = dataFile.findVariable("rh2");

            float[] u_Array=(float[])  u_Var.read(origin, size).copyTo1DJavaArray();
            float[] v_Array=(float[])  v_Var.read(origin, size).copyTo1DJavaArray();
            float[] p_Array=(float[])  p_Var.read(origin, size).copyTo1DJavaArray();
            float[] rh_Array=(float[])  rh_Var.read(origin, size).copyTo1DJavaArray();

            u_value=u_Array[0];
            v_value=v_Array[0];
            p_value=p_Array[0];
            rh_value=rh_Array[0];


        } catch (java.io.IOException e) {
            e.printStackTrace();
        } catch (InvalidRangeException e) {
            e.printStackTrace();
        }finally {
            if (dataFile != null)
                try {
                    dataFile.close();
                } catch (IOException ioe) {
                    ioe.printStackTrace();
                }
        }
        Map<String, Object> item=ClearCalUtil.getWindSpeed(u_value,v_value);
        item.put("u_value",Numberdf.format(u_value));
        item.put("v_value",Numberdf.format(v_value));
        item.put("p_value",Math.round(p_value/100));
        item.put("rh_value",Math.round(rh_value));
        return item;
    }
    public int getLonXHfromNetcdf(float[] x_arr,float lon)
    {
        //纬度数据,列:从前到后,变大;行:从前到后,不变,所以只需要遍历第1行的所有列即可
        int lon_xh=0;
        int rows=73;
        int cols=73;
        for(int i = 0; i< 1; i = i+1 )
        {
            for(int j = 0; j< cols; j = j+1 )
            {
                float temp=x_arr[i *cols+j];
                if(temp>lon)
                {
                    lon_xh=j;
                    return lon_xh;
                }
            }
        }

        return lon_xh;
    }
    public int getLatXHfromNetcdf(float[] y_arr,float lat)
    {
        //纬度数据,列:从前到后,不变;行:从前到后,变大,所以只需要遍历第1列的所有行即可
        int lat_xh=0;
        int rows=73;
        int cols=73;
        for(int i = 0; i< rows; i = i+1 )
        {
            for(int j = 0; j< 1; j = j+1 )
            {
                float temp=y_arr[i *cols+j];
                if(temp>lat)
                {
                    lat_xh=i;
                    return lat_xh;
                }
            }
        }

        return lat_xh;
    }

其他读取方法

// read 3D array for that index
            ArrayFloat.D3 presArray, tempArray;

            presArray = (ArrayFloat.D3) (presVar.read(origin, shape).reduce());
            tempArray = (ArrayFloat.D3) (tempVar.read(origin, shape).reduce());
          

            // now checking the value
            int count = 0;
            for (int lvl = 0; lvl < NLVL; lvl++)
              for (int lat = 0; lat < NLAT; lat++)
                for (int lon = 0; lon < NLON; lon++) {
                  if ((presArray.get(lvl, lat, lon) != SAMPLE_PRESSURE + count) ||
                          (tempArray.get(lvl, lat, lon) != SAMPLE_TEMP + count))
                    System.err.println("ERROR incorrect value in variable pressure or temperature");
                  count++;
                }
          }

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!