<![CDATA[小小工程師的日常筆記]]> https://xdeath.tw/index.php zh-tw https://xdeath.tw/read.php?71 <![CDATA[mongodb(二)]]> admin <tszheng@twnic.net.tw> Wed, 07 Feb 2018 08:03:38 +0000 https://xdeath.tw/read.php?71
新增資料、刪除資料、更新資料、查詢資料等...

這點mongodb跟mysql或是其他關聯式資料庫基本上都是一致的

不管任何操作第一步都需要指定哪個資料庫( use dbname)

===新增===

由於mongodb不必事先定義欄位，所以新增的時候也不用先建立資料庫跟資料表

use dbname，insert data到collection，這個collection就會自動產生了

現在要新增一個資料庫叫mongodb-test，以及存入一筆資料到test-collection

use mongodb-test

db.test-collection.insert({資料})

資料基本上就是用json的格式儲存

===搜尋===

接著我要搜尋某個collections的資料，語法大概如下

db.collection.find({條件},{欄位})

db.collection.find({"name":"tszheng"})  #查詢name=tszheng的資料

db.collection.find({},{"score":{$gt:60}})  #查詢score大於60的資料

db.collection.find({},{"type":0})            #查詢的結果不顯示type這個欄位

db.collection.findOne()                         #查詢最近的一筆資料

db.collection.find().sort({"欄位":1})          #對欄位進行正/反向排序，python的寫法不一樣

db.collection.find().count()                    #查詢出來結果的數量

db.collection.find().limit(100)                 #顯示100筆查詢的結果

另外因為mongodb欄位很自由，不是每筆資料都有所有欄位，所以還可以查詢xxx欄位存在的資料

db.collection.find({"xxx":{$exists:true}})

===刪除===

刪除比較簡單，find的條件搜尋出來的結果要刪除，就把find改成remove就可以了

db.collection.remove({條件})

要全刪的時候也不要忘記要下條件

db.collection.remove({})

===更新===

db.collection.update({'xxx':'條件'},{$set:{'xxx':'新資料'}},{multi:true})

後面的multi:true是指符合此條件的資料全部進行更新，如果沒有這個參數則會更新符合條件最新的一筆資料

===python進行資料庫操作===


from pymongo import MongoClient          #import pymongo
client = MongoClient('localhost',27017)    #連線
db = client.collection                              #選擇資料庫
db.collection.insert({"title":"地一筆資料",...})   #插入資料
rc = db.collection.find()      #搜尋資料
for i in range(0,rc.count(),1):
    print rc[i]['ip']                   印出所有資料的ip欄位


比較特殊的是如果儲存的是時間，那要用python轉成object存入

還有上面有提到sort的寫法在python是不一樣的

db.collection.find().sort("欄位",1)  前後並沒有{}，同時欄位以及正/反排序是用 , 而不是 :

另外如果要查詢ObjectId他一樣是一個Object，不能直接用string下去查詢

from bson import ObjectId
oid_str = '5a7931de20be054518904450'
oid = ObjectId(oid_str)


]]> https://xdeath.tw/read.php?70 <![CDATA[mongodb(一)]]> admin <tszheng@twnic.net.tw> Wed, 07 Feb 2018 07:33:55 +0000 https://xdeath.tw/read.php?70
mongodb與關聯式資料庫主要差在他是使用json儲存

事先不定義欄位，同時不保證一致性的資料庫

如果你需要很精確的數字與資料，需要交易或是rollback的功能，那就不適合使用mongodb

===安裝mongodb===

作業系統 ubuntu  mongodb版本2.6

apt-get install mongodb

因為後面可能需要使用python進行操作，順便裝一下python的模組

apt-get install python-pymongo

安裝好啟動後預設是listen 27017 port，可以使用指令mongo進入

===基本操作===

一開始是沒有任何權限設定的，進入後可以查看資料庫以及資料表(collections)

show dbs(查看資料庫)  show collections(查看資料表)

使用哪一個資料庫

use dbname

使用哪一個資料表

db.dbname.動作(find,update,insert,remove...)

===權限管理===

mongodb的的使用者是跟著資料庫走的，例如你有ABC三個資料庫

可以同時在三個資料庫都建立一個tszheng的帳號

在哪個資料庫新增帳號就是代表僅新增該資料庫的帳號，

use admin

db.addUser("username","passwd",true)   #true為唯讀帳號，不加則可讀寫

新增完畢之後，還需要修改設定檔/etc/mongodb.conf

有一個#auth = true，將#拿掉後重啟mongodb

下次再進入就強制需要登入了，登入方式如下

mongo進入後(這時候已經沒辦法show dbs了，所以要記得dbname)

先選擇資料庫 use dbname

db.auth("dbname","passwd") (登入)

如果回應1就表示登入成功了

===資料===

如前面所說的，mongodb是用json的方式儲存資料，資料大概長得像下面

{
        "_id" : ObjectId("5a7931de20be054518904450"),
        "ip" : "1.2.3.4",
        "datetime" : ISODate("2017-10-12T00:39:03Z"),
        "resp_time" : NumberLong(4),
        "type" : "udp",
        "idc" : NumberLong(1)
}

每一筆資料都有一個ObjectId為key，如一開始說的，他的欄位不需要事先定義

欄位也很自由，你可以這筆資料有四個欄位，下一筆資料有六個欄位，都不會影響整個資料庫運作。

另外如果這個mongodb資料庫要對外開放連線，則要修改設定檔/etc/mongodb.conf

中的bind_ip，設定能夠連線進來的IP後重啟服務即可。 ]]> https://xdeath.tw/read.php?55 <![CDATA[資料庫交易(事務)、MVCC以及效能比較]]> admin <tszheng@twnic.net.tw> Wed, 03 Aug 2016 04:17:46 +0000 https://xdeath.tw/read.php?55
只能全部成功，或是全部失敗兩種狀況

不能有前一個SQL成功，後面兩個SQL失敗

所以資料庫在設計上必須要有ACID的特性

Atomicity(原子性)

一個交易必須被視為一個不可分割的工作單元

交易中的操作要麼全部成功，要麼全部失敗回滾(rollback)。

Consistency(一致性)

數據庫總是從一個一致性的狀態轉換到另外一個一致性的狀態

以銀行交易為例，A轉帳200元給B，A減少200，B增加200

這符合銀行存款的性質-錢是不會憑空增加或減少的

Isolation(隔離性)

一個交易尚未提交(commit)之前，代表未完成

對其他交易來說是看不到他提交尚未成功時所做的動作的

Durability(持久性)

一旦事務提交，則其所作的修改就會永久的保存到數據庫中

即使此時數據庫崩潰，修改的數據也不會消失。



MVCC與隔離層級

隔離層級是RDBMS針對資料庫的標準規範

要談到隔離層級以及MVCC前，我們需要先了解交易過程中如果沒有進行lock

可能會產生哪些問題

更新遺失(lost update)

AB前後對一筆row data做更新，A更新完畢了，但是B卻更新失敗而rollback

這樣row data就會變回A未更新的狀態，但是A更新是成功的

讀取錯誤(dirty read)

A對row data進行更新但尚未commit，這時候B去讀到了尚未commit的資料

這時候的資料可能會是錯的，因為A的commit不是一定成功的，有可能會rollback

無法重複的讀取(unrepeatable read)

A的交易兩次讀取row data，中間卻被B交易更動了row data的資料

那A交易兩次就可能產生不一致的結果，這對交易來說是不允許的

幻讀(phantom read)

狀況如同unrepeatable read，只是問題出在資料筆數會有問題

而不是資料的值產生問題



為了處理以上這幾種交易產生的狀況，最簡單的方式就是每一筆的交易要完全隔離或獨立

例如A交易在進行時，其他交易就排隊，等待A交易完成後再進行B交易

但是實務上這種使用lock table來讓交易強制排隊的方式會嚴重的拖慢資料庫的效能

試想原本每秒預計要處理2000筆交易資料，結果某一筆交易程式執行花了三秒鐘

後面1999筆的交易通通要等三秒，在實務上這完全是不合理的狀況

因此實務上會根據資料讀寫更新的頻繁性，設定不同的交易隔離層級(transaction isolation level)

嚴謹的程度是由低到高

未提交讀取(read uncommited)

交易進行時，尚未提交的資料，對其他的交易來說是可以看的到的

提交讀取(read commited)

交易過程中只能看到其他交易已經提交的資料

可重複讀(repeatable read)

交易在讀取時不會限制其他讀取的交易，但是禁止針對這些資料做更新

或是其他交易更新先寫到暫存表格

序列化執行(serializable)

直接鎖住表格(lock table)，如同前面說的，嚴重影響效能，但是安全性最高

隔離級別                  讀取錯誤   無法重複讀取  幻讀
read uncommited         yes              yes          yes
read commited             no              yes          yes
repeatable read             no              no          yes
serializable                   no               no          no

MVCC中文稱多版本並發控制，因為除非使用序列化執行

要不然一定都會碰到幻讀的問題，MVCC是一種lock的變形

實現了非阻塞的讀，寫操作也只鎖定必要的行，來解決幻讀的問題

Mysql、Postgresql、Oracle各家實現MCVV的做法不一樣

另外Postgresql與Oracle使用的是read commited層級

而Mysql使用的是repeatable read，因此在效能上Mysql應該是比較差的

但是如果你的資料庫並不需要用的交易的功能(或是AP曾能夠自行處理，或允許小錯誤)

Mysql的MyISAM型態(預設)的資料表是關閉了交易功能(InnoDB才開啟)

關閉了交易的mysql應該是三種裡面效能最快的(不過現在mariadb 10應該更勝一籌了)

這方面就是資料庫管理人員與AP開發人員在定schema的時候要考量的了 ]]> https://xdeath.tw/read.php?51 <![CDATA[mysql view]]> admin <tszheng@twnic.net.tw> Thu, 14 Jul 2016 07:39:11 +0000 https://xdeath.tw/read.php?51
而臨時我們在搜尋時只需要對某幾個欄位作運算

或是當我需要關聯不同的table作很多次搜尋時

每做一次搜尋就作一次join是非常浪費資源的事情

因此mysql有提供一個view的功能可以將join後的那張暫存table存起來

當你偶爾需要作一些統計、報表之類的事情，又不希望另外再開一張表來儲存你要的資料

建立一個view就是一種能節省資源，也不會破壞整個資料庫的資料結構的方式

這張view tables也會同時與原始的資料同步，讓我們在搜尋的時候會更加便利，節省資源

舉例 table_A有  ID ,A_1, A_2, A_3 ， table_B也有  ID,B_1, B_2, B_3

我要查詢的時候要把兩張表用ID連結在一起作成一個臨時的表C

其中包含表A的A_1，A_2以及表B的B_1

create view table_C as select table_A.A_1,  table_A.A_2, table_B.B1  from table_A left join table_B on table_A.ID = table_B.ID

這樣就可以建立一個包含兩張表各自欄位的暫時用的表，但是實際上你可以針對這張表作一些update

但是insert, delete 是不行的 ]]> https://xdeath.tw/read.php?45 <![CDATA[Oracle 帳號密碼過期]]> admin <tszheng@twnic.net.tw> Tue, 14 Jun 2016 01:51:22 +0000 https://xdeath.tw/read.php?45
假如連接到DB時出現 the password will expire within 7 days

這個原因是因為11g在default profile 設定 180 天要修改密碼

SELECT * FROM dba_profiles s WHERE s.profile='DEFAULT' AND resource_name='PASSWORD_LIFE_TIME';

最快的方法就是更改該user的密碼,不過還是換成同一個

另一個一勞永逸的方法就是更改profile的設定.

ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;

＊＊最後使用管理者進入再重新修改一次密碼＊＊

$sqlplus / as sysdba

alter user username identified by  原來的密碼;
]]> https://xdeath.tw/read.php?44 <![CDATA[Mysql 存在即更新語法]]> admin <tszheng@twnic.net.tw> Thu, 26 May 2016 08:57:21 +0000 https://xdeath.tw/read.php?44
就是當沒有這筆資料時，我們就insert進去

而這筆資料已經存在時，我們就更新相關的欄位

當然用程式先做select這筆資料的key是否存在，在判斷insert還是update也是可以

但是實際上量大的時候，其實是相當的消耗效能的

實際上Mysql本身有提供一個命令可以一次處理完

INSERT INTO `table` (`key`,`data1`, `data2`,) VALUES ('key','data1','data2') ON DUPLICATE KEY UPDATE data1= 'xxx', data2='yyy'

也就是在insert後面加上ON DUPLICATE KEY UPDATE

然後接上我們要更新的資料欄位即可

這樣如果碰到主鍵(key)已經存在的資料，就不會再insert，會直接更新data1以及data2

如果主鍵不存在，就會直接insert ]]> https://xdeath.tw/read.php?40 <![CDATA[centos 6 安裝oracle 11G(二)]]> admin <tszheng@twnic.net.tw> Wed, 24 Feb 2016 03:46:25 +0000 https://xdeath.tw/read.php?40
修改~/.bash_profile參數

PATH=$PATH:$HOME/bin
export ORACLE_BASE=/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_SID=[dbname]
export TNS_ADMIN=$ORACLE_HOME/network/admin
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib:$ORACLE_HOME/oracm/lib:$ORACLE_HOME/lib
export ORA_CRS_HOME=$ORACLE_HOME/crs
export LIBPATH=$LIBPATH:$ORA_CRS_HOME/lib:$ORACLE_HOME/lib
export PATH=$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:${PATH}:$HOME/bin
export EDITOR=vim
export NLS_LANG="american_america.UTF8";
#big5 american_america.ZHT16BIG5

請記得[dbname]不可以超過八個字元，超過的話後面create database會失敗

建立oracle的參數設定檔，cd $ORACLE_HOME/dbs，複製init.ora成init[dbname].ora

記得檔名一定要依照這個格式，要不然一樣啟動的時候會出錯

裡面的設定如下

compatible = 11.2.0
control_files = '$ORACLE_BASE/oradata/control01.ora','/$ORACLE_BASE/oradata/control02.ora'
db_block_size=8192
db_name="[dbname]"
db_domain=[domain]
instance_name="[dbname]"
service_names="[dbname]"
diagnostic_dest=$ORACLE_BASE/diag
DB_RECOVERY_FILE_DEST=$ORACLE_BASE/flash_recovery_area
DB_RECOVERY_FILE_DEST_SIZE=2G
log_buffer = 262144
PGA_AGGREGATE_TARGET=300M
workarea_size_policy=auto
SGA_TARGET=500M
processes = 300
remote_login_passwordfile=exclusive
undo_management = auto
undo_tablespace = undotbs

#------------------------建密碼擋
orapwd file=$ORACLE_HOME/dbs/orapwd11g password=dbpasswd entries=10

#------------------------以下是開啟archivelog的設定
log_archive_dest_1 = "LOCATION=/app/oracle/oradata/ts/ARCHIVE1/MANDATORY"
log_archive_dest_2 = "LOCATION=/app/oracle/oradata/ts/ARCHIVE2/MANDATORY"
log_archive_format = "arch%t_%s_%r.arc"
log_archive_max_processes=2

#-------------------------資料庫優化
max_dispatchers=20
max_shared_servers=20
dispatchers= "(PROTOCOL=TCP)(dispatchers=12)"
shared_servers=8
local_listener=[dbname]  # /etc/hosts  #??
open_cursors = 200
audit_sys_operations = false      #關閉audit log，因為預設是把LOG存在system space中  ?????

檢查一下是不是所有的路徑是否都存在，接著我們建立一個ramdisk作為sort暫存用

mkdir /mnt/ramdisk
mount -t tmpfs -o size=4G tmpfs /mnt/ramdisk

預設開機掛載 vim /etc/fstab
在最後面增加一行
tmpfs                   /mnt/ramdisk    tmpfs   rw,relatime,size=4G 0 0

同時安裝一個模組讓sqlplus可以支援上下鍵

rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
yum -y install rlwrap readline readline-devel  
在~/.bash_profile最底下加上
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'

這樣等下操作會方便很多，接著用oracle的身分建立一個目錄等下可以放log、table space以及archivelog

mkdir /app/oracle/oradata/log
mkdir /app/oracle/oradata/ts
mkdir /app/oracle/oradata/ts/ARCHIVE1
mkdir /app/oracle/oradata/ts/ARCHIVE2
mkdir $ORACLE_BASE/flash_recovery_area
就可以使用sqlplus與DB進行連線以及建立資料庫了

sqlplus /nolog
SQL> connect /as sysdba
SQL> startup nomount
SQL> CREATE DATABASE [dbname]
   USER SYS IDENTIFIED BY [passwd] (sys 系統使用者密碼)
   USER SYSTEM IDENTIFIED BY [passwd] (system 系統使用者密碼)
   LOGFILE GROUP 1 ('/app/oracle/oradata/log/redo01a.log','/app/oracle/oradata/log/redo01b.log') SIZE 100M,
           GROUP 2 ('/app/oracle/oradata/log/redo02a.log','/app/oracle/oradata/log/redo02b.log') SIZE 100M
   MAXLOGFILES 5
   MAXLOGMEMBERS 5
   MAXLOGHISTORY 1
   MAXDATAFILES 100
   CHARACTER SET UTF8
   NATIONAL CHARACTER SET UTF8
   EXTENT MANAGEMENT LOCAL
   datafile     '/app/oracle/oradata/ts/sys.dbf'     size 512M  (系統檔)
   sysaux datafile '/app/oracle/oradata/ts/sysaux.dbf' size 512M
   DEFAULT TABLESPACE users      (使用者的table space)
      DATAFILE '/app/oracle/oradata/ts/users01.dbf'
      SIZE 1024M  AUTOEXTEND ON MAXSIZE UNLIMITED
   DEFAULT TEMPORARY TABLESPACE tempts1    (sorting時的table space)
      TEMPFILE '/mnt/ramdisk/temp01.dbf'  #放ramdisk搜尋會比較快
      SIZE 1024M AUTOEXTEND ON MAXSIZE UNLIMITED
   UNDO TABLESPACE undotbs      (commit前的table space)
      DATAFILE '/app/oracle/oradata/ts/undotbs.dbf'
      SIZE 1024M  AUTOEXTEND ON MAXSIZE UNLIMITED
  SET TIME_ZONE ='+08:00';

接著建立data用的table space，記得開存資料用的資料表時

一定要指定放到data的table space，要不然預設會放在system的table space

當system的table space爆掉的時候，就會發生很嚴重的後果

CREATE TABLESPACE [dataspace] DATAFILE '/app/oracle/oradata/ts/[dataname]01.dbf' SIZE 5120M
AUTOEXTEND ON
NEXT 8192K MINIMUM EXTENT 512K
DEFAULT STORAGE ( INITIAL 8192K NEXT 8192K MINEXTENTS 2 MAXEXTENTS 15000
PCTINCREASE 0);
Alter tablespace [dataspace]ADD DATAFILE '/app/oracle/oradata/ts/[dataspace]02.dbf' SIZE 2048M;
Alter tablespace [dataspace]ADD DATAFILE '/app/oracle/oradata/ts/[dataspace]03.dbf' SIZE 2048M;
Alter tablespace [dataspace]ADD DATAFILE '/app/oracle/oradata/ts/[dataspace]04.dbf' SIZE 2048M;

如果資料量會越來越大的話記得開啟autoextend on

到這邊如果出現問題，要重新建立資料庫的話，就到/app/oracle/oradata資料夾內

將所建立的檔案全數刪除，如果刪不乾淨建立的時候就會出錯

接著建立index的table space

CREATE TABLESPACE DNSINDEX DATAFILE '/app/oracle/oradata/ts/index01.dbf' SIZE 1024M REUSE
AUTOEXTEND ON NEXT 1280K
MINIMUM EXTENT 128K
DEFAULT STORAGE ( INITIAL 128K NEXT 128K MINEXTENTS 1 MAXEXTENTS 8192 PCTINCREASE 0);

接下來作不知道幹嘛用的(data dictionaries)，記得不要跳出sqlplus哦

@$ORACLE_HOME/rdbms/admin/catalog.sql
@$ORACLE_HOME/rdbms/admin/catproc.sql
@$ORACLE_HOME/sqlplus/admin/pupbld.sql

開啟archive log功能

shutdown immediate;
startup mount;
alter database archivelog;

shutdown immediate;關DB
startup;  開DB後面有三個參數 nomount(開DB) mount(開系統檔案) open(正常開啟)

檢查交易LOG功能是否正常運作

SQL> archive log list;
Database log mode              Archive Mode  <---正常啟用中
Automatic archival             Enabled
Archive destination            /app/oracle/oradata/ts/ARCHIVE2/
Oldest online log sequence     6
Next log sequence to archive   7
Current log sequence           7

修改資料庫listen的設定$ORACLE_HOME/network/admin/listener.ora

現在DB只有本機可以連線，要修改$ORACLE_HOME/network/admin/listener.ora
LISTENER =
  (DESCRIPTION_LIST =
      (ADDRESS_LIST =
        (ADDRESS = (PROTOCOL=TCP)(HOST=[dbname])(PORT=1521)(QUEUESIZE=150))
        (ADDRESS = (PROTOCOL=TCP)(HOST=[ip])(PORT=1521)(QUEUESIZE=30))
    )
  )

SID_LIST_LISTENER =
(SID_LIST =
(SID_DESC =
  (GLOBAL_DBNAME = [dbname])
   (SID_NAME = [dbname])
  )
)
TRACE_LEVEL_LISTENER =OFF
LOG_FILE_LISTENER = lsnr


接著開啟oracle listener

lsnrctl start  

最後建立一般使用者

create user [username] identified by [password] default tablespace [dataspace] temporary tablespace TEMPTS1 quota unlimited on [dataspace];
#建議放在users的table space，不過選錯了其實也沒啥關係
grant create session,create synonym,select any table, execute any type, select any sequence to [username];
grant dba to [username];

最後讓oracle能夠開機啟動

vim /etc/rc.local
su - oracle -c 'lsnrctl start' →以Oracle_SID的這個身分下指令把listener啟動(-c就是command)
su - oracle -c 'dbstart' →以Oracle_SID的這個身分啟動DB

最後在到/etc/rc.local去執行這個檔案即可
這樣就完成整個oracle的架設以及create一個DB與user

但是重開機後還是要手動進入啟動資料庫

sqlplus /nolog
connect /as sysdba
startup

=============================================
使用system帳號匯入資料

imp userid=system/passwd log=/tmp/imp.log  full=y grants=y indexes=n file=xxx.dmp  #full匯入

imp userid=system/passwd log=/tmp/imp.log  fromuser=dbuser touser=dbuser grants=y indexes=n file=xxx.dmp  #只匯入特定使用者

理論上如果是full備份，所有使用者、帳號、密碼都會還原回資料庫

還原回去後要修改帳號密碼

ALTER USER  使用者名稱 IDENTIFIED BY 密碼; ]]> https://xdeath.tw/read.php?39 <![CDATA[centos 6 安裝oracle 11G(一)]]> admin <tszheng@twnic.net.tw> Tue, 23 Feb 2016 04:16:20 +0000 https://xdeath.tw/read.php?39
所以首先聲明我的環境是centos 6.2 x86_64，安裝的是oracle 11g

首先進行對時(沒有對時會發生什麼事我也不曉得，反正前輩的筆記)

vim /etc/ntp.conf
service ntpd restart
chkconfig ntpd on  

接著安裝必要的模組

yum install cloog-ppl compat-libcap1 compat-libstdc++-33 cpp gcc gcc-c++ glibc-devel glibc-headers kernel-headers libXmu libXt ksh libXxf86misc libXxf86vm libaio-devel libdmx libstdc++-devel mpfr make ppl xorg-x11-utils xorg-x11-xauth libXv libXxf86dga

防火牆開啟1521、1158 port

修改系統參數

修改/etc/sysctl.conf

vm.swappiness = 0
vm.dirty_background_ratio = 3
vm.dirty_ratio = 80
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 4194304
fs.aio-max-nr = 1048576
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1

重新讀取 sysctl -p

修改/etc/security/limits.conf

oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768

修改 /etc/pam.d/login

session required pam_limits.so

建立dba的群組

groupadd dba

建立一個帳號oracle(oracle專用)

useradd -G dba oracle

接著用oralce的身分在~/.bash_profile寫入幾個設定

我們先設定安裝的路徑與資料庫名稱

export ORACLE_BASE=/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_SID=[dbname]

ORACLE_SID表示資料庫的名稱

接著建立oracle要安裝的資料夾同時修改權限

mkdir app
mkdir /app/oracle
chown -R oracle:dba app

所以必須要讓系統能夠解析的到，修改/etc/hosts

[hostip]  [dbname]

接下來進入xwindows準備安裝，首先先切換成英文語系

修改 /etc/sysconfig/i18n

LANG="zh_TW.UTF-8"  改為  LANG="en_US.UTF-8"

接著開始安裝，將11g兩個壓縮檔解壓縮到同一個資料夾，點runinstaller

一開始的線上協助、proxy等可以跳過，選版本

安裝過程中他會問oracle安裝的幾個選項

若是第一次安裝oracle則會要求你設定產品目錄Oracle Inventory

安裝路徑就照著剛剛所建立要給oracle的安裝目錄就可以了

中間會問你要單純安裝oracle還是要建立DB同時設定

建議選擇單純安裝oracle即可，中間他會驗證一些library，如果上面那些都有安裝，驗證卻是failed

有可能是版本比較新，可以直接先忽略過安裝看看

中間會要你用root身分去執行兩個shell script
(/app/oraInventory/orainstRoot.sh，/app/oracle/product/11.2.0/dbhome_1/root.sh)

su -
cd /app/oraInventory/
./orainstRoot.sh                     #主要用來變更目錄權限
Changing permissions of /app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.

Changing groupname of /app/oraInventory to oracle.
The execution of the script is complete.
cd /app/oracle/product/11.2.0/dbhome_1
./root.sh                                #添加 dbhome、oraenv、coraenv 三個執行檔，另外於 /etc 之下建立 oratab
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /app/oracle/product/11.2.0/dbhome_1

Enter the full pathname of the local bin directory: [/usr/local/bin]:
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...

Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished product-specific root actions.

到這邊oracle應該已經成功安裝在系統上了 ]]> https://xdeath.tw/read.php?14 <![CDATA[Mysql 同步資料庫]]> admin <tszheng@twnic.net.tw> Wed, 18 Jun 2014 02:29:03 +0000 https://xdeath.tw/read.php?14
這就勢必要求：開啟同步機制前，主副數據庫中數據是相同的；但是在運行中仍然可能遇到不一致的產生，

這會導致通信無法正常繼續下去。因此一旦同步出現問題，首先應該確認是否某些SQL的語法在副資料庫無法執行

具體的主從mysql設定方式如下

================================================Master設定

首先在my.cnf中加入

server-id = 1
log-bin=mysql-bin
binlog_do_db = 資料庫名稱

重新啟動mysql後檢查是否開始運作

mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      335 | dbname         |                  |
+------------------+----------+--------------+------------------+

================================================Slave設定

一樣找到my.cnf中加入

server-id = 2
master-host = master ip
master-user = username
master-password = passwd
master-port = port
master-connect-retry = 多久同步一次
replicate-do-db = 資料庫名稱

重啟mysql後檢查

mysql> show slave status

如果再last error的欄位有錯誤，一般是資料不同步導致主資料庫的某些語法無法在副資料庫執行。

因此如果很不幸的因為某些原因同步失敗了，解決的方式一種就是重新mysqldump主資料庫的資料倒到副資料庫在重啟同步機制

另一種則是忽略此錯誤(最好用show slave status檢查無法執行的SQL語法，以及是否可以有稍微的主從不相同)

mysql>slave stop
mysql>set global sql_slave_skip_counter =1
mysql>start slave

若是狀態一直停留在

Waiting to reconnect after a failed master event read

表示這個使用者並沒有足夠的權限，解決方式在Master新增該使用者的權限即可

GRANT REPLICATION SLAVE ON dbname.* TO 'user'@'slavesDnsHostname' IDENTIFIED BY 'passwd';

#===========20160714後記=====================

今天想要修改設定檔的時候，發現修改後不管怎麼restart

show slave status \G;的結果都不變，(mysql 5.5版以後很像取消這種設定方式)

最後找到的解法是用client直接改，修改設定檔似乎沒有用，語法如下

CHANGE MASTER TO MASTER_HOST='host ip', MASTER_PORT=3306, MASTER_USER='同步的帳號',  MASTER_PASSWORD='密碼';

那如果碰到binlog出問題導致slave start一直出錯，可以嘗試

slave stop;

reset slave;

slave start;
]]> https://xdeath.tw/read.php?10 <![CDATA[Mysql表格schema複製、資料複製、重新命名與暫存表格]]> admin <tszheng@twnic.net.tw> Tue, 22 Apr 2014 09:02:44 +0000 https://xdeath.tw/read.php?10
create table new_table_name like old_table_name

將舊表格資料存入新表格

insert into new_table_name select * from old_table_name

重新命名表格

rename table `old_table_name` to new_table_name

開啟一個暫存用的table(僅有此次連線可以連)，某些情況下配合表格的複製挺好用

create temporary table tmp_name ]]>