一、NetCDF简介
NetCDF全称为network Common Data Format( “网络通用数据格式”),是一个软件库与机器无关的数据格式,支持创建,访问基于数组的科研数据。分别提供了对Java和C / C++ / Fortran语言。 对程序员来说,它和zip、jpeg、bmp文件格式类似,都是一种文件格式的标准。netcdf文件开始的目的是用于存储气象科学中的数据,现在已经成为许多数据采集软件的生成文件的格式。
从数学上来说,netcdf存储的数据就是一个多自变量的单值函数。用公式来说就是f(x,y,z,…)=value, 函数的自变量x,y,z等在netcdf中叫做维(dimension)或坐标轴(axix),函数值value在netcdf中叫做变量(Variables)。而自变量和函数值在物理学上的一些性质,比如计量单位(量纲)、物理学名称在netcdf中就叫属性(Attributes)。
二、需要用到的netcdf的jar
下载地址:https://www.unidata.ucar.edu/
本文使用版本:netcdfAll-4.6.14.jar
需要java 的jdk 8以上版本
三、读取和打印经纬度变量,了解数据组织结构
public static void main(String[] args) {
String filename = "pres_temp_4D.nc";
NetcdfFile dataFile = null;
try {
dataFile = NetcdfFile.open(filename, null);
// Get the latitude and longitude Variables.
Variable latVar = dataFile.findVariable("latitude");
Variable lonVar = dataFile.findVariable("longitude");
System.out.println(NCdumpW.printVariableData(latVar, null));
System.out.println(NCdumpW.printVariableData(lonVar, null));
ArrayFloat.D1 latArray;
ArrayFloat.D1 lonArray;
latArray = (ArrayFloat.D1) latVar.read();
lonArray = (ArrayFloat.D1) lonVar.read();
System.out.println(NCdumpW.printArray(latArray, "lat", null));
System.out.println(NCdumpW.printArray(lonArray, "lon", null));
// The file is closed no matter what by putting inside a try/catch block.
} catch (java.io.IOException e) {
e.printStackTrace();
return;
} catch (InvalidRangeException e) {
e.printStackTrace();
return;
} finally {
if (dataFile != null)
try {
dataFile.close();
} catch (IOException ioe) {
ioe.printStackTrace();
}
}
System.out.println("*** SUCCESS reading example file " + filename);
}
NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
.read():是读取这个变量所有的数据。
四、读取所有格点数据实例
@Override
public Map<String,Object> getNCDataFromFlex(String searchDate,String elementName,String levelType)
{
DecimalFormat decimalFormat=new DecimalFormat(".00");//构造方法的字符格式这里如果小数不足2位,会以0补足
//接口需求:经度:从左到右(正走),纬度:从上到下(负走)
//NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
String flex_nc_dir=ConfigManager.getInstance().GetProperty("flex_nc_dir");
Map<String, Object> item = new HashMap<String, Object>();
int rows=73;
int cols=73;
item.put("cols", rows);
item.put("rows", cols);
item.put("startLon",113.35373);//sart到end,是小到大
item.put("startLat",37.99601);//sart到end,是大到小
item.put("endLon",115.84625);
item.put("endLat",36);
item.put("stepLon",0.034);//0.034
item.put("stepLat",-0.027);
item.put("missValue",0);
String filePath="";
float [][] uArray = new float[rows][cols];
float [][] vArray = new float[rows][cols];
//NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
NetcdfFile dataFile = null;
try {
String dateStr="";
Date times=DateUtil.strToDate(searchDate,"yyyyMMddHHmmss");
int hour=times.getHours();
if(hour>=6)//早上6点以后就用当天的结果
{
hour=hour+1;
dateStr=DateUtil.dateToStr(times,"yyyyMMddHHmmss").substring(0,8);
}
filePath=flex_nc_dir+dateStr+"/"+dateStr+".nc";
log.info(filePath);
dataFile = NetcdfFile.open(filePath, null);
int[] origin = new int[]{hour, 0, 0};//开始位置:时间,经度,纬度
int[] size = new int[]{1, rows, cols};//数据大小:时间,经度,纬度
//输出UV
Variable u_Var = dataFile.findVariable("U10");
Variable v_Var = dataFile.findVariable("V10");
float[] u_Array=(float[]) u_Var.read(origin, size).copyTo1DJavaArray();
float[] v_Array=(float[]) v_Var.read(origin, size).copyTo1DJavaArray();
for(int i = 0 ; i < rows; i=i+1)
{
for(int j = 0; j< cols; j = j+1 )
{
uArray[rows-i-1][j] = Float.parseFloat(decimalFormat.format(u_Array[i *cols +j]));
vArray[i][j] = Float.parseFloat(decimalFormat.format(v_Array[i *cols +j]));
}
}
} catch (java.io.IOException e) {
e.printStackTrace();
return null;
} catch (InvalidRangeException e) {
e.printStackTrace();
return null;
}finally {
if (dataFile != null)
try {
dataFile.close();
} catch (IOException ioe) {
ioe.printStackTrace();
}
}
item.put("uArrays",uArray);
item.put("vArrays",vArray);
return item;
}
read(origin, size):是根据开始位置origin开始读取,然后读取size数据量的数据出来。
.copyTo1DJavaArray():是将多维变量转换成一维数组。
五、根据点位所在的经纬度,读取该位置的变量值
@Override
public Map<String,Object> getNCFactorFromFlex(String searchDate,float lon,float lat)
{
DecimalFormat decimalFormat=new DecimalFormat(".00");//构造方法的字符格式这里如果小数不足2位,会以0补足
//接口需求:经度:从左到右(正走),纬度:从上到下(负走)
//NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
String flex_nc_dir=ConfigManager.getInstance().GetProperty("flex_nc_dir");
int rows=73;
int cols=73;
String filePath="";
float u_value=0;
float v_value=0;
float p_value=0;
float rh_value=0;
//NC数据格式:经度:从左到右(正走),纬度:从下到上(正走)
NetcdfFile dataFile = null;
try {
String dateStr="";
Date times=DateUtil.strToDate(searchDate,"yyyyMMddHHmmss");
int hour=times.getHours();
if(hour>=6)//早上6点以后就用times当天的结果
{
hour=hour+1;
dateStr=DateUtil.dateToStr(times,"yyyyMMddHHmmss").substring(0,8);
}
else//上6点前就用times前一天的结果
{
hour=hour+24+1;
dateStr=DateUtil.dateToStr(DateUtil.dateAdd(times,"d",-1),"yyyyMMddHHmmss").substring(0,8);
}
filePath=flex_nc_dir+dateStr+"/"+dateStr+".nc";
log.info("getNCFactorFromFlex"+filePath);
dataFile = NetcdfFile.open(filePath, null);
//00开始,读取第一个网格,用于计算经度序号,纬度序号
int[] origin0 = new int[]{0, 0, 0};//开始位置:时间序号,经度序号,纬度序号
int[] size0 = new int[]{1, 73, 73};//数据大小:时间,经度,纬度
Variable x_Var = dataFile.findVariable("XLONG");
Variable y_Var = dataFile.findVariable("XLAT");
float[] x_Array=(float[]) x_Var.read(origin0, size0).copyTo1DJavaArray();
float[] y_Array=(float[]) y_Var.read(origin0, size0).copyTo1DJavaArray();
int x_xh=getLonXHfromNetcdf(x_Array,lon);
int y_xh=getLatXHfromNetcdf(y_Array,lat);
int[] origin = new int[]{hour, x_xh, y_xh};//开始位置:时间序号,经度序号,纬度序号
int[] size = new int[]{1, 1, 1};//数据大小:时间,经度,纬度
Variable u_Var = dataFile.findVariable("U10");
Variable v_Var = dataFile.findVariable("V10");
Variable p_Var = dataFile.findVariable("PSFC");
Variable rh_Var = dataFile.findVariable("rh2");
float[] u_Array=(float[]) u_Var.read(origin, size).copyTo1DJavaArray();
float[] v_Array=(float[]) v_Var.read(origin, size).copyTo1DJavaArray();
float[] p_Array=(float[]) p_Var.read(origin, size).copyTo1DJavaArray();
float[] rh_Array=(float[]) rh_Var.read(origin, size).copyTo1DJavaArray();
u_value=u_Array[0];
v_value=v_Array[0];
p_value=p_Array[0];
rh_value=rh_Array[0];
} catch (java.io.IOException e) {
e.printStackTrace();
} catch (InvalidRangeException e) {
e.printStackTrace();
}finally {
if (dataFile != null)
try {
dataFile.close();
} catch (IOException ioe) {
ioe.printStackTrace();
}
}
Map<String, Object> item=ClearCalUtil.getWindSpeed(u_value,v_value);
item.put("u_value",Numberdf.format(u_value));
item.put("v_value",Numberdf.format(v_value));
item.put("p_value",Math.round(p_value/100));
item.put("rh_value",Math.round(rh_value));
return item;
}
public int getLonXHfromNetcdf(float[] x_arr,float lon)
{
//纬度数据,列:从前到后,变大;行:从前到后,不变,所以只需要遍历第1行的所有列即可
int lon_xh=0;
int rows=73;
int cols=73;
for(int i = 0; i< 1; i = i+1 )
{
for(int j = 0; j< cols; j = j+1 )
{
float temp=x_arr[i *cols+j];
if(temp>lon)
{
lon_xh=j;
return lon_xh;
}
}
}
return lon_xh;
}
public int getLatXHfromNetcdf(float[] y_arr,float lat)
{
//纬度数据,列:从前到后,不变;行:从前到后,变大,所以只需要遍历第1列的所有行即可
int lat_xh=0;
int rows=73;
int cols=73;
for(int i = 0; i< rows; i = i+1 )
{
for(int j = 0; j< 1; j = j+1 )
{
float temp=y_arr[i *cols+j];
if(temp>lat)
{
lat_xh=i;
return lat_xh;
}
}
}
return lat_xh;
}
其他读取方法
// read 3D array for that index
ArrayFloat.D3 presArray, tempArray;
presArray = (ArrayFloat.D3) (presVar.read(origin, shape).reduce());
tempArray = (ArrayFloat.D3) (tempVar.read(origin, shape).reduce());
// now checking the value
int count = 0;
for (int lvl = 0; lvl < NLVL; lvl++)
for (int lat = 0; lat < NLAT; lat++)
for (int lon = 0; lon < NLON; lon++) {
if ((presArray.get(lvl, lat, lon) != SAMPLE_PRESSURE + count) ||
(tempArray.get(lvl, lat, lon) != SAMPLE_TEMP + count))
System.err.println("ERROR incorrect value in variable pressure or temperature");
count++;
}
}
来源:oschina
链接:https://my.oschina.net/u/4386227/blog/4306962