你的位置:首页 > 数据库

[数据库]DataX安装环境搭建


DataX环境搭建

环境搭建

Java安装(java>=1.6)

JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

根据自己的系统选择相应的JDK

$ cat /proc/version 86_64表示64位系统

./文件名,安装

配置环境变量

$vi /etc/profile        在最后面添加下面3行代码

export JAVA_HOME=/usr/java/ jdk1.8.0_77

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

jdk1.6.0_45改为你安装的jdk的文件夹名称

保存后注销

测试

Python安装(Python>=2.6)

测试$ python

 

 

下载地址:http://www.python.org/download/

 

解压下载的tgz文件

tar zxvf ***.tgz

打开解压后的文件夹

 

./configure

 

补:configure 命令执行完之后,会生成一个 Makefile 文件,这个 Makefile主要是被下一步的 make 命令所使用。打开 Makefile你就会发现,里边制定了构建的顺序, Linux 需要按照Makefile 所指定的顺序来构建 (build) 程序组件。

 

make

 

make实际上编译你的源代码,并生成执行文件。

make install

make install实际上是把生成的执行文件拷贝到 linux系统中必要的目录下,比如拷贝到 /usr/local/bin 目录下,这样所有 user就都能运行这个程序了。

make clean

make distclean 

/usr/local/bin/python3 –V

编译安装完毕以后,可以输入上面一行命令,查看版本 

建立软连接指向到当前系统默认python命令的bin目录,让系统使用新版本pythond

 

mv /usr/bin/python /usr/bin/python2.6 //对系统默认版本python进行操作

ln -s /usr/local/bin/python2.7 /usr/bin/python //注意第一个路径是新安装的python版本路径,而第二个路径是系统默认路径

修改完成,此时输入python -V或者python就看看到版本号已经修改到了新安装的版本

 

有些人更新了python版本无法使用yum,需要为yum修改它的配置文件

Whereis python 看系统上已经装了的pyhon

 

vi /usr/bin/yum 将文件头部的#!/usr/bin/python改成#!/usr/bin/python2.6(注意这个是之前的老版本python号,因为此时老版本才能支持yum)

 

进入Python命令后怎么退出?

Quit() 或者 exit() ,或者 CTRL+D退出命令行

 

g++的安装

先查看g++是否已经安装。

如果没有安装,则直接使用

Yum install gcc-c++安装

---------------------------------------------------------------------------------------------------------------------

如果系统无法用yum安装,则需要系统先对yum的支持

方法:

CDROM挂载

linux的硬件设备在/dev目录下,光驱也是其中。

/dev/cdrom表示光驱,挂载光驱的方法如下(以root身份):

#mount /dev/cdrom1 /mnt (这里我是挂载光驱1的,可以先进系统看看哪个光驱下有文件,将光驱1里面的文件直接挂载到mnt目录下)

 

配置yum

# vi /etc/yum.repos.d/server.repo 肯能yum.repos.d目录下没有.repo文件,我们也可以自己建

添加如下代码

[rhel-server]

name=server 名字是随便的

baseurl=file:///mnt 这个目录是刚刚的挂载目录,注意是file然后3个/

enabled=1

gpgcheck=0

 

然后保存,测试

# yum install gcc-c++

测试成功,安装成功

 

4. ANT的安装

 

到Apache官网下载最新版本的ant:http://ant.apache.org/bindownload.cgi

解压文件后将文件夹(apache-ant-1.9.6)拖到虚拟机中 /usr下面

设置环境变量vi /tec/profile

export ANT_HOME=/usr/apache-ant-1.9.6

export PATH=$ANT_HOME/bin:$PATH

 

source /etc/profile使文件立即生效

测试 #ant –version

Oracle服务器安装

 

 

一、修改操作系统核心参数

在Root用户下执行以下步骤:(下面的配置文件一般不用管,一般系统是支持的)

1)修改用户的SHELL的限制,修改/etc/security/limits.conf文件

输入命令:vi /etc/security/limits.conf,按i键进入编辑模式,将下列内容加入该文件。

 

oracle soft nproc 2047   

oracle hard nproc 16384

oracle soft nofile 1024  

oracle hard nofile 65536

编辑完成后按Esc键,输入":wq"存盘退出

2)修改/etc/pam.d/login 文件,输入命令:vi /etc/pam.d/login,按i键进入编辑模式,将下列内容加入该文件。

 

session required /lib/security/pam_limits.so   

session required pam_limits.so

编辑完成后按Esc键,输入":wq"存盘退出

3)修改linux内核,修改/etc/sysctl.conf文件,输入命令: vi /etc/sysctl.conf ,按i键进入编辑模式,将下列内容加入该文件()

 

fs.file-max = 6815744

fs.aio-max-nr = 1048576

kernel.shmall = 2097152

kernel.shmmax = 2147483648

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 4194304

net.core.rmem_max = 4194304

net.core.wmem_default = 262144  

net.core.wmem_max = 1048576

编辑完成后按Esc键,输入":wq"存盘退出

4)要使 /etc/sysctl.conf 更改立即生效,执行以下命令。 输入:sysctl -p 显示如下:(下面说的是最小的大小,如果你的系统的最小值比这要大,你可以不用管)

 

linux:~ # sysctl -p

net.ipv4.icmp_echo_ignore_broadcasts = 1  

net.ipv4.conf.all.rp_filter = 1

fs.file-max = 6815744

fs.aio-max-nr = 1048576

kernel.shmall = 2097152

kernel.shmmax = 2147483648

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 4194304  

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

5)编辑 /etc/profile ,输入命令:vi /etc/profile,按i键进入编辑模式,将下列内容加入该文件。(如果当你登录oracle的时候,提示"oracle"错误,你可以去掉这试试)

  

if [ $USER = "oracle" ]; then

if [ $SHELL = "/bin/ksh" ]; then  

ulimit -p 16384

ulimit -n 65536  

else

ulimit -u 16384 -n 65536

fi

fi

编辑完成后按Esc键,输入":wq"存盘退出

6)创建相关用户和组,作为软件安装和支持组的拥有者。

创建Oracle用户和密码,输入命令:

1

2

3

useradd -g oinstall -g dba -m oracle

    

passwd oracle

然后会让你输入密码,密码任意输入

2次,但必须保持一致,回车确认。

7)创建数据库软件目录和数据文件存放目录,目录的位置,根据自己的情况来定,注意磁盘空间即可,这里我把其放到oracle用户下,例如:

输入命令:

 

mkdir /u01/oracle

mkdir /u01/oracle/oracle

8)更改目录属主为Oracle用户所有,输入命令:

1

chown -R oracle:oinstall /home/oracle/app

9)配置oracle用户的环境变量,首先,切换到新创建的oracle用户下,

输入:su – oracle ,然后直接在输入 : vi .bash_profile

按i编辑 .bash_profile,进入编辑模式,增加以下内容:

 

export ORACLE_BASE=/u01

export ORACLE_HOME=$ORACLE_BASE/oracle

export ORACLE_SID=oracleSid

export PATH=$ORACLE_HOME/bin:$PATH:$HOME/bin

编辑完成后按Esc键,输入":wq"存盘退出

二、安装过程

1)当上述系统要求操作全部完成后,注销系统,在图形界面以Oracle用户登陆。首先将下载的Oracle安装包复制到linux中,用SSH其他ftp工具拷贝。

打开一个终端,运行unzip命令解压oracle安装文件,如:

输入命令:

1

2

3

unzip linux.x64_11gR2_database_1of2.zip

    

unzip linux.x64_11gR2_database_2of2.zip

解压完成后 cd 进入其解压后的目录database

输入命令:

cd database

使用ls命令可以查看解压后database所包含的文件,如下图:

2)执行安装,输入命令:./runInstaller

 

 

找到Chinese并添加到右边去,让它支持两种语言

这里的oracle base 填写的和上面说的不一样

记住这里的oracle base到时候要配置oracle环境变量的。

点击忽视全部

然后继续安装

 

安装完成后添加环境变量(这里的oracle_base是上面你安装的base目录,oracle_home也是一样的,注意是大写)

export ORACLE_BASE=/u01

export ORACLE_HOME=$ORACLE_BASE/oracle

export ORACLE_SID=oracleSid

export PATH=$ORACLE_HOME/bin:$PATH:$HOME/bin

 

测试(错误)

[oracle@localhost ~]$ sqlplus

sqlplus: error while loading shared libraries: /u01/oracle/lib/libclntsh.so.11.1: cannot restore segment prot after reloc: Permission denied

解决方法:

[oracle@localhost ~]$ su -

Password:

[root@localhost ~]# sqlplus

-bash: sqlplus: command not found

[root@localhost ~]# su - oracle

[oracle@localhost ~]$ getenforce

-bash: getenforce: command not found

[oracle@localhost ~]$ su -

Password:

[root@localhost ~]# getenforce

Enforcing

[root@localhost ~]# setenforce 0

[root@localhost ~]# getenforce

Permissive

[root@localhost ~]# su – oracle

[oracle@localhost ~]$ sqlplus dx_user1/dx_user1@edwfjtest

上面的安装的图很多都是借的别人的,但是具体安装步骤是差不多的,只是安装后要记得之前安装的环境地址

安装完成