Где и как хранить пароли в RoR приложениях

В этой заметке речь пойдет о том, как можно хранить все секретные данные в одном месте как в development,
так и в production окружении. В этом нам поможет плагин для rbenv -
rbenv-vars.

Немного о плагине:

rbenv-vars позволяет объявлять переменные окружения. Выглядит это так - в том месте кода,
где нужно вписать секретные данные, мы добавляем конструкцию вида:

1
2
production:
secret_key_base: <%= ENV["SECRET_KEY_BASE"] %>

Все пароли и ключи хранятся в одном файле .rbenv-vars в корневом каталоге приложения. Файл выглядит примерно так:

1
2
3
SECRET_KEY_BASE=key
DB_USER=user
DB_PASS=password

Файл .rbenv-vars надо добавить в .gitignore. Конфигурационные файлы можно добавлять в репозиторий - они теперь
не содержат секретных данных.

Поделиться Комментарии

Обслуживание RoR приложения на сервере

В этой заметке будет описано резервное копирование и мониторинг приложения.

sudo apt-get install monit

sudo nano /etc/monit/monitrc

  set httpd port 2812 and
      allow admin:monit


sudo nano /etc/monit/conf.d/keys

#== Nginx ==#
check process nginx with pidfile /var/run/nginx.pid
  start program = "/etc/init.d/nginx start"
  stop program = "/etc/init.d/nginx stop"
  if cpu > 60% for 2 cycles then alert
  if cpu > 80% for 5 cycles then restart
  if memory usage > 80% for 5 cycles then restart
  if failed host 127.0.0.1 port 80 protocol http
    then restart
  if 3 restarts within 5 cycles then timeout

#== Postgresql ==#
check process postgresql
  with pidfile "/var/run/postgresql/9.4-main.pid"
  start program = "/usr/sbin/service postgresql start"
  stop  program = "/usr/sbin/service postgresql stop"
  if failed host localhost port 5432 protocol pgsql then restart
  if cpu > 80% then restart
  if memory usage > 80% for 2 cycles then restart
  if 5 restarts within 5 cycles then timeout

Backup:

На сервере:

gem install backup

backup generate:model -t kalibr_backup --databases='postgresql' --storages='local' --compressor='gzip'

mcedit Backup/models/kalibr_backup.rb



# encoding: utf-8

##
# Backup Generated: kalibr_backup
# Once configured, you can run the backup with the following command:
#
# $ backup perform -t kalibr_backup [-c <path_to_configuration_file>]
#
# For more information about Backup's components, see the documentation at:
# http://meskyanichi.github.io/backup
#
Model.new(:kalibr_backup, 'Description for kalibr_backup') do

  ##
  # PostgreSQL [Database]
  #
  database PostgreSQL do |db|
    # To dump all databases, set `db.name = :all` (or leave blank)
    db.name               = "DATABASE"
    db.username           = "USER"
    db.password           = "PASS_HERE"
    db.host               = "localhost"
    db.port               = 5432
    #db.socket             = "/tmp/pg.sock"
    # When dumping all databases, `skip_tables` and `only_tables` are ignored.
    #db.skip_tables        = ["skip", "these", "tables"]
    #db.only_tables        = ["only", "these", "tables"]
    db.additional_options = ["-xc", "-E=utf8"]
  end

  ##
  # Local (Copy) [Storage]
  #
  store_with Local do |local|
    local.path       = "~/backups/"
    local.keep       = 15
  end

  ##
  # Gzip [Compressor]
  #
  compress_with Gzip

end



backup check

backup perform -t kalibr_backup


gem install whenever

mkdir ~/Backup/config
cd ~/Backup
wheneverize .
mcedit ./config/schedule.rb


every 1.day, at: '6.30 am' do
  command 'backup perform -t kalibr_backup'
end

whenever --update-crontab

crontab -l
Поделиться Комментарии

Развёртывание RoR приложения

Накидал пока в виде заметки. Возможно позже попробую оформить в статью.

Настройка

Подключим Capistrano к проекту

group :development do
  ...
  gem 'capistrano', '~> 3.3.0', require: false
  gem 'capistrano-rbenv', require: false
  gem 'capistrano-bundler', require: false
  gem 'capistrano-rails', require: false
  gem 'capistrano-sidekiq', require: false
  gem 'capistrano3-unicorn', require: false
end

Раскоментируем гем unicorn.

bundle
cap install

Capfile

require 'capistrano/setup'
require 'capistrano/deploy'
require 'capistrano/rbenv'
require 'capistrano/bundler'
require 'capistrano/rails'
require 'capistrano3/unicorn'

# require 'capistrano/rails/assets'
# require 'capistrano/rails/migrations'

# Loads custom tasks from `lib/capistrano/tasks' if you have any defined.
Dir.glob('lib/capistrano/tasks/*.rake').each { |r| import r }


deploy.rb

lock '3.3.5'

set :application, 'kalibr'
set :repo_url, 'git@bitbucket.org:J-Son/kalibr.git'

# RBENV
set :rbenv_type, :user # or :system, depends on your rbenv setup
set :rbenv_ruby, '2.2.0'
set :rbenv_prefix, "RBENV_ROOT=#{fetch(:rbenv_path)} RBENV_VERSION=#{fetch(:rbenv_ruby)} #{fetch(:rbenv_path)}/bin/rbenv exec"
set :rbenv_map_bins, %w{rake gem bundle ruby rails}
set :rbenv_roles, :all # default value

set :deploy_to, '/home/deployer/kalibr'
set :deploy_user, 'deployer'

set :linked_files, %w{config/database.yml .env}
set :linked_dirs, %w{bin log tmp/pids tmp/cache tmp/sockets vendor/bundle public/system public/uploads}
set :keep_releases, 5

namespace :deploy do
  desc 'Restart application'
  task :restart do
    on roles(:app), in: :sequence, wait: 5 do
      invoke 'unicorn:restart'
    end
  end
  after :publishing, :restart
end

production.rb

role :app, %w{deployer@xxx.xxx.xxx.xxx}
role :web, %w{deployer@xxx.xxx.xxx.xxx}
role :db,  %w{deployer@xxx.xxx.xxx.xxx}

set :rails_env, :production
set :stage, :production

server 'xxx.xxx.xxx.xxx', user: 'deployer', roles: %w{web app db}, primary: true

set :ssh_options, {
                    keys: %w(/Users/yuri/.ssh/id_rsa /home/yuri/.ssh/id_rsa),
                    forward_agent: true,
                    auth_methods: %w(publickey password),
                    port: 38
                }

Посмотреть все достуаные задачи можно так:

cap -T

Проверка конфигурации:

cap production deploy:check

Генерирование токена:

rake secret

Настройка NGINX

nginx.conf:

user www-data;
worker_processes 4;
pid /var/run/nginx.pid;

events {
    worker_connections 768;
    # multi_accept on;
}

http {
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    types_hash_max_size 2048;
    # server_tokens off;

    # server_names_hash_bucket_size 64;
    # server_name_in_redirect off;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    ssl_session_cache   shared:SSL:10m;
    ssl_session_timeout 5m;
    ssl_prefer_server_ciphers on;
    #ssl_stapling on;
    resolver 8.8.8.8;

    access_log /var/log/nginx/access.log;
    error_log /var/log/nginx/error.log;

    gzip on;
    gzip_disable "msie6";
    # gzip_vary on;
    # gzip_proxied any;
    # gzip_comp_level 6;
    # gzip_buffers 16 8k;
    # gzip_http_version 1.1;
    # gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}

kalibr:

upstream kalibr {
  server unix:/tmp/unicorn.kalibr.sock fail_timeout=0;
}

server {
    server_name  www.ltpcaliber.ru;
    rewrite ^(.*) http://ltpcaliber.ru$1 permanent;
}

server {
  listen 80;
  server_name ltpcaliber.ru;
  root /home/deployer/kalibr/current/public;
  client_max_body_size 30M;

  location ^~ /assets/ {
    gzip_static on;
    expires max;
    add_header Cache-Control public;
  }

  try_files $uri/index.html $uri @kalibr;

  location @kalibr {
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $http_host;
    proxy_redirect off;
    proxy_pass http://kalibr;
  }
}

Пробный деплой

cap production deploy

Настраиваем Unicorn

unicorn/production.rb:

# paths
app_path = "/home/deployer/kalibr"
working_directory "#{app_path}/current"
pid               "#{app_path}/current/tmp/pids/unicorn.pid"

# listen
listen "/tmp/unicorn.kalibr.sock", backlog: 64

# logging
stderr_path "log/unicorn.stderr.log"
stdout_path "log/unicorn.stdout.log"

# workers
worker_processes 2

# use correct Gemfile on restarts
before_exec do |server|
  ENV['BUNDLE_GEMFILE'] = "#{app_path}/current/Gemfile"
end

# preload
preload_app true

before_fork do |server, worker|
  # the following is highly recomended for Rails + "preload_app true"
  # as there's no need for the master process to hold a connection
  if defined?(ActiveRecord::Base)
    ActiveRecord::Base.connection.disconnect!
  end

  # Before forking, kill the master process that belongs to the .oldbin PID.
  # This enables 0 downtime deploys.
  old_pid = "#{server.config[:pid]}.oldbin"
  if File.exists?(old_pid) && server.pid != old_pid
    begin
      Process.kill("QUIT", File.read(old_pid).to_i)
    rescue Errno::ENOENT, Errno::ESRCH
      # someone else did our job for us
    end
  end
end

after_fork do |server, worker|
  if defined?(ActiveRecord::Base)
    ActiveRecord::Base.establish_connection
  end
end

Init.d скрипт unicorn_kalibr:

#! /bin/sh
# cd /home/kalibr/site/current &&
# ( RBENV_ROOT=~/.rbenv RBENV_VERSION=2.1.3
#   RAILS_ENV=production RBENV_ROOT=~/.rbenv
#   RBENV_VERSION=2.1.3
#   ~/.rbenv/bin/rbenv exec bundle exec unicorn
#   -c /home/kalibr/site/shared/config/unicorn.rb
#   -E deployment -D
### BEGIN INIT INFO
# Provides:          unicorn
# Required-Start:    $all
# Required-Stop:     $network $local_fs $syslog
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: starts the unicorn web server
# Description:       starts unicorn
### END INIT INFO

# Change these to match your app:
USER=deployer
APP_NAME=kalibr
APP_PATH=/home/deployer
ENV=production
# ENV=deployment
RBENV_RUBY_VERSION=2.2.0

# env
APP_ROOT="$APP_PATH/$APP_NAME/current"
RBENV_ROOT="/home/$USER/.rbenv"
PATH="$RBENV_ROOT/bin:$RBENV_ROOT/shims:$PATH"
SET_PATH="cd $APP_ROOT; rbenv rehash; rbenv local $RBENV_RUBY_VERSION"
DAEMON="bundle exec unicorn_rails"
DAEMON_OPTS="-c $APP_PATH/$APP_NAME/shared/config/unicorn.rb -E $ENV -D"
CMD="$SET_PATH; $DAEMON $DAEMON_OPTS"
NAME=unicorn
DESC="Unicorn app for $APP_NAME"
PID="$APP_PATH/$APP_NAME/shared/run/unicorn.pid"
OLD_PID="$PID.oldbin"

cd $APP_ROOT || exit 1

sig () {
        test -s "$PID" && kill -$1 `cat $PID`
}

oldsig () {
        test -s $OLD_PID && kill -$1 `cat $OLD_PID`
}

case ${1-help} in
start)
        sig 0 && echo >&2 "Already running" && exit 0
        su - $USER -c "$CMD"
        ;;
stop)
        sig QUIT && exit 0
        echo >&2 "Not running"
        ;;
force-stop)
        sig TERM && exit 0
        echo >&2 "Not running"
        ;;
restart|reload)
        sig HUP && echo reloaded OK && exit 0
        echo >&2 "Couldn't reload, starting '$CMD' instead"
        su - $USER -c "$CMD"
        ;;
upgrade)
        sig USR2 && exit 0
        echo >&2 "Couldn't upgrade, starting '$CMD' instead"
        su - $USER -c "$CMD"
        ;;
rotate)
        sig USR1 && echo rotated logs OK && exit 0
        echo >&2 "Couldn't rotate logs" && exit 1
        ;;
*)
        echo >&2 "Usage: $0 <start|stop|restart|upgrade|rotate|force-stop>"
        exit 1
        ;;
esac

exit 0

Автозапуск:

sudo chmod 755 /etc/init.d/unicorn_kalibr
sudo update-rc.d unicorn_kalibr defaults

Аварийный запуск Unicorn

#!/bin/bash

cd /home/deployer/keys/current
bundle exec unicorn -c /home/deployer/keys/current/config/unicorn/production.rb -E production -D
Поделиться Комментарии

Список гемов

  • rbenv-vars - позволяет хранить все явки и пароли в одном месте

Gemlist

  • letter_opener
  • turbolinks
  • devise - аутенфикация
  • cancan - права доступа
  • formtastic - создание форм
  • simple_form - создание форм
  • breadcrumbs_on_rails - для создания хлебных крошек
  • rails_admin - для генерации админки
  • recaptcha - для каптчи
  • jammit - для объединения javascript, css файлов
  • acts-as-taggable-on - для тегов
  • cucumber - для BDD
  • capistrano - деплой на сервер
  • nifty-generators - расширенные генераторы
  • rails-env-favicon - обозначает в каком окружении работают Рельсы посредством favicon
  • easy_roles
  • haml
  • sass
  • sprockets
  • uglifier
  • carrierwave
  • ancestry
  • kaminari
  • unicorn
  • TimeCop2 - gem для более удобной работы с тестми, чуствительными ко времени
  • WebMock1 - библиотека для стаббинга HTTP-запросов
  • VCR3 - записывает HTTP-запросы и позволяет их воспроизвести в тестах.
  • byebug - отладка Ruby программ по шагам.
Поделиться Комментарии

Шпаргалка по командам при разработке на Ruby on Rails

Git

1.  создать ветку от master (git co -b <ветка>)
2.  часто коммитить
3.  часто делать rebase с master(в ветке feature-branch: git fetch && git rebase origin/master)
4.  обязательно делать rebase с master после окончания работы
5.  прогнать тесты (rspec spec)
6.  закоммитить (git co -m "...")
7.  переключится в master (git co master && git pull)
8.  слить рабочую ветку в master (git merge <ветка>)
9.  обновить локальный репозиторий (git pull --rebase)
10. прогнать тесты (rspec spec)
11. отправить код на сервер (git push)
12. удалить рабочую ветку (git branch -d <ветка>)

Если на 7-м шаге пришли изменения, которых не было на момент рибейза, то:

git co <ветка>
git fetch && git rebase origin/master
и далее

RoR

Новое приложение:

rails new myapp -d postgresql -T
git init
git add .
git commit -m 'Initial commit'

Gems

# User registration & identification
gem 'devise'
gem 'devise-russian'
gem 'omniauth'

# Template
gem 'bootstrap-sass', '~> 3.2.0'
gem 'autoprefixer-rails'
gem 'slim-rails'

# Forms, mails
gem 'mail_form'
gem 'simple_form', '~> 3.1.0.rc2', github: 'plataformatec/simple_form', branch: 'master'
gem 'bootstrap_form'
gem 'nested_form'

gem 'carrierwave'
gem 'remotipart'

# Russ
gem 'russian'

# Pagination
gem 'kaminari'

gem 'rails_config'
gem 'breadcrumbs_on_rails'
gem 'cancancan', '~> 1.9'

# Foundation 5
gem 'foundation-rails'

group :test, :development do
  gem 'rspec-rails'
  gem 'factory_girl_rails'
  gem 'pry'
  gem 'database_cleaner'
  gem 'capybara'
  gem 'capybara-email'
  gem 'launchy'
  gem 'poltergeist'
  gem 'phantomjs', require: 'phantomjs/poltergeist'
end

group :test do
  # Services
  gem 'simplecov', require: false
  gem 'coveralls', require: false
  gem 'shoulda-matchers'
end

group :development do
  gem 'spring'
  gem 'better_errors'
  gem 'binding_of_caller'
  gem 'quiet_assets'
  gem 'capistrano'
  gem 'capistrano-rails'
  gem 'capistrano3-unicorn'
  #Development Guard
  gem 'guard-rails'
  gem 'guard-livereload'
  gem 'rack-livereload'
  gem 'guard-bundler'
  #Preview mail in the browser instead of sending
  gem 'letter_opener'
  gem 'rails_layout'
end

group :production do
# for Heroku deploy
gem 'rails_12factor'
# gem 'rails_serve_static_assets'
end

Настройка гемов

bundle install
brew install phantomjs

rails generate layout:install foundation5 --force
rails generate rspec:install
bundle binstubs rspec-core
rails generate simple_form:install --foundation
rails g cancan:ability

Настройка проекта

.rspec

--color
--require spec_helper
--format doc

.gitignore

/.bundle
/db/*.sqlite3
/db/*.sqlite3-journal
/log/*
/tmp
config/database.yml
.rbenv-gemsets
.ruby-version
coverage
.coveralls.yml
/public/uploads

application.rb

config.i18n.default_locale = :ru

config.generators do |g|
  g.test_framework :rspec,
                   fixtures: true,
                   view_specs: false,
                   helper_specs: false,
                   routing_specs: false,
                   request_specs: false,
                   controller_specs: true
  g.fixture_replacement :factory_girl, dir: 'spec/factories'
end

database.yml

default: &default
  adapter: postgresql
  encoding: unicode
  host: localhost
  port: 5432
  pool: 5
  username: qnauser
  password: pass


development:
  <<: *default
  database: app_development

test:
  <<: *default
  database: app_test

development.rb

config.assets.debug = true
config.assets.raise_runtime_errors = true
config.action_mailer.default_url_options = { host: 'localhost', port: 3000 }
config.action_mailer.delivery_method = :letter_opener


spec_helper.rb

require 'simplecov'
require 'coveralls'

SimpleCov.formatter = SimpleCov::Formatter::MultiFormatter[
    SimpleCov::Formatter::HTMLFormatter,
    Coveralls::SimpleCov::Formatter
]
SimpleCov.start 'rails'


rails_helper.rb

ENV["RAILS_ENV"] ||= 'test'
require 'spec_helper'
require File.expand_path("../../config/environment", __FILE__)
require 'rspec/rails'
require 'database_cleaner'
require 'shoulda/matchers'
require 'capybara/email/rspec'

Dir[Rails.root.join("spec/support/**/*.rb")].sort.each { |f| require f }

ActiveRecord::Migration.maintain_test_schema!

RSpec.configure do |config|
  config.fixture_path = "#{::Rails.root}/spec/fixtures"
  config.use_transactional_fixtures = true
  config.infer_spec_type_from_file_location!

  config.include FactoryGirl::Syntax::Methods
  config.include Devise::TestHelpers, type: :controller
  config.extend ControllerHelpers, type: :controller
end


acceptance_helper.rb

require 'rails_helper'

RSpec.configure do |config|

  Capybara.javascript_driver = :poltergeist
  Capybara.default_wait_time = 15

  config.use_transactional_fixtures = false

  config.include AcceptanceMacros, type: :feature

  #Database Cleaner
  config.before(:suite) do
    DatabaseCleaner.clean_with(:truncation)
  end

  config.before(:each) do
    DatabaseCleaner.strategy = :transaction
  end

  config.before(:each, js: true) do
    DatabaseCleaner.strategy = :truncation
    FactoryGirl.reload
  end

  config.before(:each) do
    DatabaseCleaner.start
  end

  config.after(:each) do
    DatabaseCleaner.clean
  end
end

Создание данных

rails generate controller StaticPages home
root :to => 'static_pages#home'
rails g model User name:string surname:string nick:string pic:string


rails generate devise:install
rails generate devise User
rails g devise:views
rails g model Product title:string description:text category_id:integer
rails g model Answer body:text question:reference
rails g controller Products index new create edit destroy
rails g migration AddUserRefToProducts user:reference

Админка:

rails g controller admin::admin
rails g controller admin::application
rails g controller admin::static_pages

Поделиться Комментарии

Шпаргалка по Linux-командам






















































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































































Команда Описание
Системная информация
arch отобразить архитектуру компьютера
uname -m
uname -r отобразить используемую версию ядра
dmidecode -q показать аппаратные системные компоненты - (SMBIOS / DMI)
hdparm -i /dev/hda вывести характеристики жесткого диска
hdparm -tT /dev/sda протестировать производительность чтения данных с жесткого диска
cat /proc/cpuinfo отобразить информацию о процессоре
cat /proc/interrupts показать прерывания
cat /proc/meminfo проверить использование памяти
cat /proc/swaps показать файл(ы) подкачки
cat /proc/version вывести версию ядра
cat /proc/net/dev показать сетевые интерфейсы и статистику по ним
cat /proc/mounts отобразить смонтированные файловые системы
lspci -tv показать в виде дерева PCI устройства
lsusb -tv показать в виде дерева USB устройства
date вывести системную дату
cal 2007 вывести таблицу-календарь 2007-го года
date 041217002007.00 установить системные дату и время ММДДЧЧммГГГГ.СС (МесяцДеньЧасМинутыГод.Секунды)
clock -w

сохранить системное время в BIOS
Остановка системы
shutdown -h now Остановить систему
init 0
telinit 0
shutdown -h hours:minutes & запланировать остановку системы на указанное время
shutdown -c отменить запланированную по расписанию остановку системы
shutdown -r now перегрузить систему
reboot
logout выйти из системы
Файлы и директории
cd /home перейти в директорию '/home'
cd .. перейти в директорию уровнем выше
cd ../.. перейти в директорию двумя уровнями выше
cd перейти в домашнюю директорию
cd ~user перейти в домашнюю директорию пользователя user
cd - перейти в директорию, в которой находились до перехода в текущую директорию
pwd показать текущюю директорию
ls отобразить содержимое текущей директории
ls -F отобразить содержимое текущей директории с добавлением к именам символов, храктеризующих тип
ls -l показать детализированое представление файлов и директорий в текущей директории
ls -a показать скрытые файлы и директории в текущей директории
ls [0-9] показать файлы и директории содержащие в имени цифры
tree показать дерево файлов и директорий, начиная от корня (/)
lstree
mkdir dir1 создать директорию с именем 'dir1'
mkdir dir1 dir2 создать две директории одновременно
mkdir -p /tmp/dir1/dir2 создать дерево директорий
rm -f file1 удалить файл с именем 'file1'
rmdir dir1 удалить директорию с именем 'dir1'
rm -rf dir1 удалить директорию с именем 'dir1' и рекурсивно всё её содержимое
rm -rf dir1 dir2 удалить две директории и рекурсивно их содержимое
mv dir1 new_dir переименовать или переместить файл или директорию
cp file1 file2 сопировать файл file1 в файл file2
cp dir/ . копировать все файлы директории dir в текущую директорию
cp -a /tmp/dir1 . копировать директорию dir1 со всем содержимым в текущую директорию
cp -a dir1 dir2 копировать директорию dir1 в директорию dir2
ln -s file1 lnk1 создать символическую ссылку на файл или директорию
ln file1 lnk1 создать "жёсткую" (физическую) ссылку на файл или директорию
touch -t 0712250000 fileditest модифицировать дату и время создания файла, при его отсутствии, создать файл с указанными датой и временем (YYMMDDhhmm)
Поиск файлов
find / -name file1 найти файлы и директории с именем file1. Поиск начать с корня (/)
find / -user user1 найти файл и директорию принадлежащие пользователю user1. Поиск начать с корня (/)
find /home/user1 -name ".bin" Найти все файлы и директории, имена которых оканчиваются на '. bin'. Поиск начать с '/ home/user1'
find /usr/bin -type f -atime +100 найти все файлы в '/usr/bin', время последнего обращения к которым более 100 дней
find /usr/bin -type f -mtime -10 найти все файлы в '/usr/bin', созданные или изменённые в течении последних 10 дней
find / -name .rpm -exec chmod 755 '{}' \; найти все фалы и директории, имена которых оканчиваются на '.rpm', и изменить права доступа к ним
find / -xdev -name ".rpm" найти все фалы и директории, имена которых оканчиваются на '.rpm', игнорируя съёмные носители, такие как cdrom, floppy и т.п.
locate ".ps" найти все файлы, сожержащие в имени '.ps'. Предварительно рекомендуется выполнить команду 'updatedb'
whereis halt показывает размещение бинарных файлов, исходных кодов и руководств, относящихся к файлу 'halt'
which halt отображает полный путь к файлу 'halt'
Монтирование файловых систем
mount /dev/hda2 /mnt/hda2 монтирует раздел 'hda2' в точку монтирования '/mnt/hda2'. Убедитесь в наличии директории-точки монтирования '/mnt/hda2'
umount /dev/hda2 размонтирует раздел 'hda2'. Перед выполнением, покиньте '/mnt/hda2'
fuser -km /mnt/hda2 принудительное размонтирование раздела. Применяется в случае, когда раздел занят каким-либо пользователем
umount -n /mnt/hda2 выполнить размонитрование без занесения информации в /etc/mtab. Полезно когда файл имеет атрибуты "только чтение" или недостаточно места на диске
mount /dev/fd0 /mnt/floppy монтировать флоппи-диск
mount /dev/cdrom /mnt/cdrom монтировать CD или DVD
mount /dev/hdc /mnt/cdrecorder монтировать CD-R/CD-RW или DVD-R/DVD-RW(+-)
mount -o loop file.iso /mnt/cdrom смонтировать ISO-образ
mount -t vfat /dev/hda5 /mnt/hda5 монтировать файловую систему Windows FAT32
mount -t smbfs -o username=user,password=pass //winclient/share /mnt/share монтировать сетевую файловую систему Windows (SMB/CIFS)
mount -o bind /home/user/prg /var/ftp/user "монтирует" директорию в директорию (binding). Доступна с версии ядра 2.4.0. Полезна, например, для предоставления содержимого пользовательской директории через ftp при работе ftp-сервера в "песочнице" (chroot), когда симлинки сделать невозможно.
Дисковое пространство
df -h отображает информацию о смонтированных разделах с отображением общего, доступного и используемого пространства (Прим.переводчика. ключ -h работает не во всех nix системах)
ls -lSr |more выдаёт список файлов и директорий рекурсивно с сортировкой по возрастанию размера и позволяет осуществлять постраничный просмотр
du -sh dir1 подсчитывает и выводит размер, занимаемый директорией 'dir1' (Прим.переводчика. ключ -h работает не во всех nix системах)
du -sk | sort -rn отображает размер и имена файлов и директорий, с соритровкой по размеру
rpm -q -a --qf '%10{SIZE}\t%{NAME}\n' | sort -k1,1n показывает размер используемого дискового пространства, занимаемое файлами rpm-пакета, с сортировкой по размеру (fedora, redhat и т.п.)
dpkg-query -W -f='${Installed-Size;10}\t${Package}\n' | sort -k1,1n показывает размер используемого дискового пространства, занимаемое файлами deb-пакета, с сортировкой по размеру (ubuntu, debian т.п.)
Пользователи и группы
groupadd group_name создать новую группу с именем group_name
groupdel group_name удалить группу group_name
groupmod -n new_group_name old_group_name переименовать группу old_group_name в new_group_name
useradd -c "Nome Cognome" -g admin -d /home/user1 -s /bin/bash user1 создать пользователя user1, назначить ему в качестве домашнего каталога /home/user1, в качестве shell'а /bin/bash, включить его в группу admin и добавить комментарий Nome Cognome
useradd user1 создать пользователя user1
userdel -r user1 удалить пользователя user1 и его домашний каталог
usermod -c "User FTP" -g system -d /ftp/user1 -s /bin/nologin user1 изменить атрибуты пользователя
passwd сменить пароль
passwd user1 сменить пароль пользователя user1 (только root)
chage -E 2005-12-31 user1 установить дату окончания действия учётной записи пользователя user1
pwck проверить корректность системных файлов учётных записей. Проверяются файлы /etc/passwd и /etc/shadow
grpck проверяет корректность системных файлов учётных записей. Проверяется файл/etc/group
newgrp [-] group_name изменяет первичную группу текущего пользователя. Если указать "-", ситуация будет идентичной той, в которой пользователь вышил из системы и снова вошёл. Если не указывать группу, первичная группа будет назначена из /etc/passwd
Выставление/изменение полномочий на файлы
ls -lh просмотр полномочий на файлы и директории в текущей директории
ls /tmp | pr -T5 -W$COLUMNS вывести содержимое директории /tmp и разделить вывод на пять колонок
chmod ugo+rwx directory1 добавить полномочия на директорию directory1 ugo(User Group Other)+rwx(Read Write eXecute) - всем полные права. Аналогичное можно сделать таким образом "chmod 777 directory1"
chmod go-rwx directory1 отобрать у группы и всех остальных все полномочия на директорию directory1.
chown user1 file1 назначить владельцем файла file1 пользователя user1
chown -R user1 directory1 назначить рекурсивно владельцем директории directory1 пользователя user1
chgrp group1 file1 сменить группу-владельца файла file1 на group1
chown user1:group1 file1 сменить владельца и группу владельца файла file1
find / -perm -u+s найти, начиная от корня, все файлы с выставленным SUID
chmod u+s /bin/binary_file назначить SUID-бит файлу /bin/binary_file. Это даёт возможность любому пользователю запускать на выполнение файл с полномочиями владельца файла.
chmod u-s /bin/binary_file снять SUID-бит с файла /bin/binary_file.
chmod g+s /home/public назначить SGID-бит директории /home/public.
chmod g-s /home/public снять SGID-бит с директории /home/public.
chmod o+t /home/public назначить STIKY-бит директории /home/public. Позволяет удалять файлы только владельцам
chmod o-t /home/public снять STIKY-бит с директории /home/public
Специальные атрибуты файлов
chattr +a file1 позволить открывать файл на запись только в режиме добавления
chattr +c file1 позволяет ядру автоматически сжимать/разжимать содержимое файла.
chattr +d file1 указавет утилите dump игнорировать данный файл во время выполнения backup'а
chattr +i file1 делает файл недоступным для любых изменений: редактирование, удаление, перемещение, создание линков на него.
chattr +s file1 позволяет сделать удаление файла безопасным, т.е. выставленный атрибут s говорит о том, что при удалении файла, место, занимаемое файлом на диске заполняется нулями, что предотвращяет возможность восстановления данных.
chattr +S file1 указывает, что, при сохранении изменений, будет произведена синхронизация, как при выполнении команды sync
chattr +u file1 данный атрибут указывает, что при удалении файла содержимое его будет сохранено и при необходимости пользователь сможет его восстановить
lsattr показать атрибуты файлов
Архивирование и сжатие файлов
bunzip2 file1.bz2 разжимает файл 'file1.gz'
gunzip file1.gz
gzip file1 сжимает файл 'file1'
bzip2 file1
gzip -9 file1 сжать файл file1 с максимальным сжатием
rar a file1.rar test_file создать rar-архив 'file1.rar' и включить в него файл test_file
rar a file1.rar file1 file2 dir1 создать rar-архив 'file1.rar' и включить в него file1, file2 и dir1
unrar x file1.rar распаковать rar-архив
tar -cvf archive.tar file1 создать tar-архив archive.tar, содержащий файл file1
tar -cvf archive.tar file1 file2 dir1 создать tar-архив archive.tar, содержащий файл file1, file2 и dir1
tar -tf archive.tar показать содержимое архива
tar -xvf archive.tar распаковать архив
tar -xvf archive.tar -C /tmp распаковать архив в /tmp
tar -cvfj archive.tar.bz2 dir1 создать архив и сжать его с помощью bzip2(Прим.переводчика. ключ -j работает не во всех nix системах)
tar -xvfj archive.tar.bz2 разжать архив и распаковать его(Прим.переводчика. ключ -j работает не во всех nix системах)
tar -cvfz archive.tar.gz dir1 создать архив и сжать его с помощью gzip
tar -xvfz archive.tar.gz разжать архив и распаковать его
zip file1.zip file1 создать сжатый zip-архив
zip -r file1.zip file1 file2 dir1 создать сжатый zip-архив и со включением в него нескольких файлов и/или директорий
unzip file1.zip разжать и распаковать zip-архив
RPM пакеты (Fedora, Red Hat и тому подобное)
rpm -ivh package.rpm установить пакет с выводом сообщений и прогресс-бара
rpm -ivh --nodeps package.rpm установить пакет с выводом сообщений и прогресс-бара без контроля зависимостей
rpm -U package.rpm обновить пакет без изменений конфигурационных файлов, в случае отсутствия пакета, он будет установлен
rpm -F package.rpm обновить пакет только если он установлен
rpm -e package_name.rpm удалить пакет
rpm -qa отобразить список всех пакетов, установленных в системе
rpm -qa | grep httpd среди всех пакетов, установленных в системе, найти пакет содержащий в своём имени "httpd"
rpm -qi package_name вывести информацию о конкрентном пакете
rpm -qg "System Environment/Daemons" отобразить пакеты входящие в группу пакетов
rpm -ql package_name вывести список файлов, входящих в пакет
rpm -qc package_name вывести список конфигурационных файлов, входящих в пакет
rpm -q package_name --whatrequires вывести список пакетов, необходимых для установки конкретного пакета по зависимостям
rpm -q package_name --whatprovides show capability provided by a rpm package
rpm -q package_name --scripts отобразит скрипты, запускаемые при установке/удалении пакета
rpm -q package_name --changelog вывести историю ревизий пакета
rpm -qf /etc/httpd/conf/httpd.conf проверить какому пакету принадлежит указанный файл. Указывать следует полный путь и имя файла.
rpm -qp package.rpm -l отображает список файлов, входящих в пакет, но ещё не установленных в систему
rpm --import /media/cdrom/RPM-GPG-KEY ипортировать публичный ключ цифровой подписи
rpm --checksig package.rpm проверит подпись пакета
rpm -qa gpg-pubkey проверить целостность установленного содержимого пакета
rpm -V package_name проверить размер, полномочия, тип, владельца, группу, MD5-сумму и дату последнего изменеия пакета
rpm -Va проверить содержимое всех пакеты установленные в систему. Выполняйте с осторожностью!
rpm -Vp package.rpm проверить пакет, который ещё не установлен в систему
rpm2cpio package.rpm | cpio --extract --make-directories bin извлечь из пакета файлы содержащие в своём имени bin
rpm -ivh /usr/src/redhat/RPMS/arch/package.rpm установить пакет, собранный из исходных кодов
rpmbuild --rebuild package_name.src.rpm собрать пакет из исходных кодов
YUM - средство обновления пакетов(Fedora, RedHat и тому подобное)
yum install package_name закачать и установать пакет
yum update обновить все пакеты, установленные в систему
yum update package_name обновить пакет
yum remove package_name удалить пакет
yum list вывести список всех пакетов, установленных в систему
yum search package_name найти пакет в репозитории
yum clean packages очисть rpm-кэш, удалив закачанные пакеты
yum clean headers удалить все заголовки файлов, которые система использует для разрешения зависимостей
yum clean all очисть rpm-кэш, удалив закачанные пакеты и заголовки
DEB пакеты (Debian, Ubuntu и тому подобное)
dpkg -i package.deb установить / обновить пакет
dpkg -r package_name удалить пакет из системы
dpkg -l показать все пакеты, установленные в систему
dpkg -l | grep httpd среди всех пакетов, установленных в системе, найти пакет содержащий в своём имени "httpd"
dpkg -s package_name отобразить инфрмацию о конкретном пакете
dpkg -L package_name вывести список файлов, входящих в пакет, установленный в систему
dpkg --contents package.deb отобразить список файлов, входящих в пакет, который ешё не установлен в систему
dpkg -S /bin/ping найти пакет, в который входит указанный файл.
APT - средство управление пакетами (Debian, Ubuntu и тому подобное)
apt-get install package_name установить / обновить пакет
apt-cdrom install package_name установить / обновить пакет с cdrom'а
apt-get update получить обновлённые списки пакетов
apt-get upgrade обновить пакеты, установленные в систему
apt-get remove package_name удалить пакет, установленный в систему с сохранением файлов конфигурации
apt-get purge package_name удалить пакет, установленный в систему с удалением файлов конфигурации
apt-get check проверить целостность зависимостей
apt-get clean удалить загруженные архивные файлы пакетов
apt-get autoclean удалить старые загруженные архивные файлы пакетов
Просмотр содержимого файлов
cat file1 вывести содержимое файла file1 на стандартное устройсво вывода
tac file1 вывести содержимое файла file1 на стандартное устройсво вывода в обратном порядке (последняя строка становиться первой и т.д.)
more file1 постраничный вывод содержимого файла file1 на стандартное устройство вывода
less file1 постраничный вывод содержимого файла file1 на стандартное устройство вывода, но с возможностью пролистывания в обе стороны (вверх-вниз), поиска по содержимому и т.п.
head -2 file1 вывести первые две строки файла file1 на стандартное устройство вывода. По-умолчанию выводится десять строк
tail -2 file1 вывести последние две строки файла file1 на стандартное устройство вывода. По-умолчанию выводится десять строк
tail -f /var/log/messages выводить содержимое файла /var/log/messages на стандартное устройство вывода по мере появления в нём текста.
Манипуляции с текстом
cat file | grep -i "Criteria" > result.txt общий синтаксис выполнения действий по обработке содержимого файла и вывода результата в новый
cat file | grep -i "Criteria" >> result.txt общий синтаксис выполнения действий по обработке содержимого файла и вывода результата в существующий файл. Если файл не существует, он будет создан
grep Aug /var/log/messages из файла '/var/log/messages' отобрать и вывести на стандартное устройство вывода строки, содержащие "Aug"
grep ^Aug /var/log/messages из файла '/var/log/messages' отобрать и вывести на стандартное устройство вывода строки, начинающиеся на "Aug"
grep [0-9] /var/log/messages из файла '/var/log/messages' отобрать и вывести на стандартное устройство вывода строки, содержащие цифры
grep Aug -R /var/log/ отобрать и вывести на стандартное устройство вывода строки, содержащие "Aug", во всех файлах, находящихся в директории /var/log и ниже
sed 's/stringa1/stringa2/g' example.txt в файле example.txt заменить "string1" на "string2", результат вывести на стандартное устройство вывода.
sed '/^$/d' example.txt удалить пустые строки из файла example.txt
sed '/ #/d; /^$/d' example.txt удалить пустые строки и комментарии из файла example.txt
echo 'test' | tr '[:lower:]' '[:upper:]' преобразовать символы из нижнего регистра в верхний
sed -e '1d' result.txt удалить первую строку из файла example.txt
sed -n '/string1/p' отобразить только строки содержашие "string1"
sed -e 's/ $//' example.txt удалить пустые символы в в конце каждой строки
sed -e 's/string1//g' example.txt удалить строку "string1" из текста не изменяя всего остального
sed -n '1,8p;5q' example.txt взять из файла с первой по восьмую строки и из них вывести первые пять
sed -n '5p;5q' example.txt вывести пятую строку
sed -e 's/0/0/g' example.txt заменить последовательность из любого количества нулей одним нулём
cat -n file1 пронумеровать строки при выводе содержимого файла
cat example.txt | awk 'NR%2==1' при выводе содержимого файла, не выводить чётные строки файла
echo a b c | awk '{print $1}' вывести первую колонку. Разделение, по-умолчанию, по проблелу/пробелам или символу/символам табуляции
echo a b c | awk '{print $1,$3}' вывести первую и треью колонки. Разделение, по-умолчанию, по проблелу/пробелам или символу/символам табуляции
paste file1 file2 объединить содержимое file1 и file2 в виде таблицы: строка 1 из file1 = строка 1 колонка 1-n, строка 1 из file2 = строка 1 колонка n+1-m
paste -d '+' file1 file2 объединить содержимое file1 и file2 в виде таблицы с разделителем "+"
sort file1 file2 отсортировать содержимое двух файлов
sort file1 file2 | uniq отсортировать содержимое двух файлов, не отображая повторов
sort file1 file2 | uniq -u отсортировать содержимое двух файлов, отображая только уникальные строки (строки, встречающиеся в обоих файлах, не выводятся на стандартное устройство вывода)
sort file1 file2 | uniq -d отсортировать содержимое двух файлов, отображая только повторяющиеся строки
comm -1 file1 file2 сравнить содержимое двух файлов, не отображая строки принадлежащие файлу 'file1'
comm -2 file1 file2 сравнить содержимое двух файлов, не отображая строки принадлежащие файлу 'file2'
comm -3 file1 file2 сравнить содержимое двух файлов, удаляя строки встречающиеся в обоих файлах
Преобразование наборов символов и файловых форматов
dos2unix filedos.txt fileunix.txt конвертировать файл текстового формата из MSDOS в UNIX (разница в символах возврата коретки)
unix2dos fileunix.txt filedos.txt конвертировать файл текстового формата из UNIX в MSDOS (разница в символах возврата коретки)
recode ..HTML < page.txt > page.html конвертировать содержимое тестового файла page.txt в html-файл page.html
recode -l | more вывести список доступных форматов
Анализ файловых систем
badblocks -v /dev/hda1 проверить раздел hda1 на наличие bad-блоков
fsck /dev/hda1 проверить/восстановить целостность linux-файловой системы раздела hda1
fsck.ext2 /dev/hda1 проверить/восстановить целостность файловой системы ext2 раздела hda1
e2fsck /dev/hda1
e2fsck -j /dev/hda1 проверить/восстановить целостность файловой системы ext3 раздела hda1 с указанием, что журнал расположен там же
fsck.ext3 /dev/hda1 проверить/восстановить целостность файловой системы ext3 раздела hda1
fsck.vfat /dev/hda1 проверить/восстановить целостность файловой системы fat раздела hda1
fsck.msdos /dev/hda1
dosfsck /dev/hda1
Форматирование файловых систем
mkfs /dev/hda1 создать linux-файловую систему на разделе hda1
mke2fs /dev/hda1 создать файловую систему ext2 на разделе hda1
mke2fs -j /dev/hda1 создать журналирующую файловую систему ext3 на разделе hda1
mkfs -t vfat 32 -F /dev/hda1 создать файловую систему FAT32 на разделе hda1
fdformat -n /dev/fd0 форматирование флоппи-диска без проверки
mkswap /dev/hda3 создание swap-пространства на разделе hda3
swap-пространство
mkswap /dev/hda3 создание swap-пространства на разделе hda3
swapon /dev/hda3 активировать swap-пространство, расположенное на разделе hda3
swapon /dev/hda2 /dev/hdb3 активировать swap-пространства, расположенные на разделах hda2 и hdb3
Создание резервных копий (backup)
dump -0aj -f /tmp/home0.bak /home создать полную резервную копию директории /home в файл /tmp/home0.bak
dump -1aj -f /tmp/home0.bak /home создать инкрементальную резервную копию директории /home в файл /tmp/home0.bak
restore -if /tmp/home0.bak восстановить из резервной копии /tmp/home0.bak
rsync -rogpav --delete /home /tmp синхронизировать /tmp с /home
rsync -rogpav -e ssh --delete /home ip_address:/tmp синхронизировать через SSH-туннель
rsync -az -e ssh --delete ip_addr:/home/public /home/local синхронизировать локальную директорию с удалённой директорией через ssh-туннель со сжатием
rsync -az -e ssh --delete /home/local ip_addr:/home/public синхронизировать удалённую директорию с локальной директорией через ssh-туннель со сжатием
dd bs=1M if=/dev/hda | gzip | ssh user@ip_addr 'dd of=hda.gz' сделать "слепок" локального диска в файл на удалённом компьютере через ssh-туннель
tar -Puf backup.tar /home/user создать инкрементальную резервную копию директории '/home/user' в файл backup.tar с сохранением полномочий
( cd /tmp/local/ && tar c . ) | ssh -C user@ip_addr 'cd /home/share/ && tar x -p' копирование содержимого /tmp/local на удалённый компьютер через ssh-туннель в /home/share/
( tar c /home ) | ssh -C user@ip_addr 'cd /home/backup-home && tar x -p' копирование содержимого /home на удалённый компьютер через ssh-туннель в /home/backup-home
tar cf - . | (cd /tmp/backup ; tar xf - ) копирование одной директории в другую с сохранением полномочий и линков
find /home/user1 -name '.txt' | \

xargs cp -av --target-directory=/home/backup/ --parents
поиск в /home/user1 всех файлов, имена которых оканчиваются на '.txt', и копирование их в другую директорию
find /var/log -name '.log' | tar cv --files-from=- | bzip2 > log.tar.bz2 поиск в /var/log всех файлов, имена которых оканчиваются на '.log', и создание bzip-архива из них
dd if=/dev/hda of=/dev/fd0 bs=512 count=1 создать копию MBR (Master Boot Record) с /dev/hda на флоппи-диск
dd if=/dev/fd0 of=/dev/hda bs=512 count=1 восстановить MBR с флоппи-диска на /dev/hda
CDROM
cdrecord -v gracetime=2 dev=/dev/cdrom -eject blank=fast -force clean a rewritable cdrom
mkisofs /dev/cdrom > cd.iso create an iso image of cdrom on disk
mkisofs /dev/cdrom | gzip > cd_iso.gz create a compressed iso image of cdrom on disk
mkisofs -J -allow-leading-dots -R -V "Label CD" -iso-level 4 -o ./cd.iso data_cd create an iso image of a directory
cdrecord -v dev=/dev/cdrom cd.iso burn an ISO image
gzip -dc cd_iso.gz | cdrecord dev=/dev/cdrom - burn a compressed ISO image
mount -o loop cd.iso /mnt/iso mount an ISO image
cd-paranoia -B rip audio tracks from a CD to wav files
cd-paranoia -- "-3" rip first three audio tracks from a CD to wav files
cdrecord --scanbus scan bus to identify the channel scsi
Сеть (LAN и WiFi)
ifconfig eth0 показать конфигурацию сетевого интерфейса eth0
ifup eth0 активировать (поднять) интерфейс eth0
ifdown eth0 деактивировать (опустить) интерфейс eth0
ifconfig eth0 192.168.1.1 netmask 255.255.255.0 выставить интерфейсу eth0 ip-адрес и маску подсети
ifconfig eth0 promisc перевести интерфейс eth0 в promiscuous-режим для "отлова" пакетов (sniffing)
ifconfig eth0 -promisc отключить promiscuous-режим на интерфейсе eth0
dhclient eth0 активировать интерфейс eth0 в dhcp-режиме.
route -n вывести локальную таблицу маршрутизации
netstat -rn
route add -net 0/0 gw IP_Gateway задать ip-адрес шлюза по умолчанию (default gateway)
route add -net 192.168.0.0 netmask 255.255.0.0 gw 192.168.1.1 добавить статический маршрут в сеть 192.168.0.0/16 через шлюз с ip-адресом 192.168.1.1
route del 0/0 gw IP_gateway удалить ip-адрес шлюза по умолчанию (default gateway)
echo "1" > /proc/sys/net/ipv4/ip_forward разрешить пересылку пакетов (forwarding)
hostname отобразить имя компьютера
host www.yandex.ru разрешить имя www.yandex.ru хоста в ip-адрес и наоборот
host 93.158.134.3
ip link show отобразить состояние всех интерфейсов
mii-tool eth0 отобразить статус и тип соединения для интерфейса eth0
ethtool eth0 отображает статистику интерфеса eth0 с выводом такой информации, как поддерживаемые и текущие режимы соединения
netstat -tupn отображает все установленные сетевые соединения по протоколам TCP и UDP без разрешения имён в ip-адреса и PID'ы и имена процессов, обеспечивающих эти соединения
netstat -tupln отображает все сетевые соединения по протоколам TCP и UDP без разрешения имён в ip-адреса и PID'ы и имена процессов, слушающих порты
tcpdump tcp port 80 отобразить весь трафик на TCP-порт 80 (обычно - HTTP)
iwlist scan просканировать эфир на предмет, доступности беспроводных точек доступа
iwconfig eth1 показать конфигурацию беспроводного сетевого интерфейса eth1
traceroute www.ya.ru Трассировка маршрута до указанного хоста (www.ya.ru), аналог tracert в Windows. В некоторых дистрибутивах установлен по-умолчанию только traceroute6 и придётся доустанавливать вручную.
Microsoft Windows networks(SAMBA)
nbtscan ip_addr разрешить netbios-имя nbtscan не во всех системах ставится по-умолчанию, возможно, придётся доустанавливать вручную. nmblookup включен в пакет samba.
nmblookup -A ip_addr
smbclient -L ip_addr/hostname отобразить ресурсы, предоставленные в общий доступ на windows-машине
smbget -Rr smb://ip_addr/share подобно wget может получить файлы с windows-машин через smb-протокол
mount -t smbfs -o username=user,password=pass //winclient/share /mnt/share смонтировать smb-ресурс, предоставленный на windows-машине, в локальную файловую систему
IPTABLES (firewall)
iptables -t filter -nL отобразить все цепочки правил
iptables -nL
iptables -t nat -L отобразить все цепочки правил в NAT-таблице
iptables -t filter -F очистить все цепочки правил в filter-таблице
iptables -F
iptables -t nat -F очистить все цепочки правил в NAT-таблице
iptables -t filter -X удалить все пользовательские цепочки правил в filter-таблице
iptables -t filter -A INPUT -p tcp --dport telnet -j ACCEPT позволить входящее подключение telnet'ом
iptables -t filter -A OUTPUT -p tcp --dport http -j DROP блокировать исходящие HTTP-соединения
iptables -t filter -A FORWARD -p tcp --dport pop3 -j ACCEPT позволить "прокидывать" (forward) POP3-соединения
iptables -t filter -A INPUT -j LOG --log-prefix "DROP INPUT" включить журналирование ядром пакетов, проходящих через цепочку INPUT, и добавлением к сообщению префикса "DROP INPUT"
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE включить NAT (Network Address Translate) исходящих пакетов на интерфейс eth0. Допустимо при использовании с динамически выделяемыми ip-адресами.
iptables -t nat -A PREROUTING -d 192.168.0.1 -p tcp -m tcp --dport 22 \

-j DNAT --to-destination 10.0.0.2:22
перенаправление пакетов, адресованных одному хосту, на другой хост
Мониторинг и отладка
top отобразить запущенные процессы, используемые ими ресурсы и другую полезную информацию (с автоматическим обновлением данных)
ps -eafw отобразить запущенные процессы, используемые ими ресурсы и другую полезную информацию (единожды)
ps -e -o pid,args --forest вывести PID'ы и процессы в виде дерева
pstree отобразить дерево процессов
kill -9 98989 "убить" процесс с PID 98989 "на смерть" (без соблюдения целостности данных)
kill -KILL 98989
kill -TERM 98989 Корректно завершить процесс с PID 98989
kill -1 98989 заставить процесс с PID 98989 перепрочитать файл конфигурации
kill -HUP 98989
lsof -p 98989 отобразить список файлов, открытых процессом с PID 98989
lsof /home/user1 отобразить список открытых файлов из директории /home/user1
strace -c ls > /dev/null вывести список системных вызовов, созданных и полученных процессом ls
strace -f -e open ls > /dev/null вывести вызовы бибилотек
watch -n1 'cat /proc/interrupts' отображать прерывания в режиме реального времени
last reboot отобразить историю перезагрузок системы
last user1 отобразить историю регистрации пользователя user1 в системе и время его нахождения в ней
lsmod вывести загруженные модули ядра
free -m показать состояние оперативной памяти в мегабайтах
smartctl -A /dev/hda контроль состояния жёсткого диска /dev/hda через SMART
smartctl -i /dev/hda проверить доступность SMART на жёстком диске /dev/hda
tail /var/log/dmesg вывести десять последних записей из журнала загрузки ядра
tail /var/log/messages вывести десять последних записей из системного журнала
Другие полезные команды
apropos …keyword выводит список комманд, которые так или иначе относятся к ключевым словам. Полезно, когда вы знаете что делает программа, но не помните команду
man ping вызов руководства по работе с программой, в данном случае, - ping
whatis …keyword отображает описание действий указанной программы
mkbootdisk --device /dev/fd0 uname -r создаёт загрузочный флоппи-диск
gpg -c file1 шифрует файл file1 с помощью GNU Privacy Guard
gpg file1.gpg дешифрует файл file1 с помощью GNU Privacy Guard
wget -r www.example.com загружает рекурсивно содержимое сайта www.example.com
wget -c www.example.com/file.iso загрузить файл www.example.com/file.iso с возможностью останова и продолжения в последствии
echo 'wget -c www.example.com/files.iso' | at 09:00 начать закачку в указанное время
ldd /usr/bin/ssh вывести список библиотек, необходимых для работы ssh
alias hh='history' назначить алиас hh команде history
Поделиться Комментарии

Шпаргалка по Git-командам

Пишу для себя. Может еще кому пригодится.

Начало работы

Глобальный gitignore.

git config –global core.excludesfile ~/.gitignore_global

cat ~/.gitignore_global

.idea

Файл .gitconfig в вашем $HOME каталоге.

[alias]
  co = checkout
  ci = commit
  st = status
  br = branch
  hist = log --pretty=format:\"%h %ad | %s%d [%an]\" --graph --date=short
  type = cat-file -t
  dump = cat-file -p

В файл .zshrc

alias gs='git status '
alias ga='git add '
alias gb='git branch '
alias gc='git commit'
alias gd='git diff'
alias go='git checkout '
alias gk='gitk --all&'
alias gx='gitx --all'

alias got='git '
alias get='git '

git config --global user.name "Your Name"
git config --global user.email your.email@example.com
git config --global alias.co checkout
git config --global alias.br branch
git config --global alias.ci commit
git config --global alias.st status
git config --global core.editor "subl -w"
git config --global merge.tool kdiff3
ssh-keygen -t rsa -C "your.email@example.com"
ssh-add -l
ssh -T git@github.com  

eval $(ssh-agent)
eval `ssh-agent -s`
ssh-add
ssh-add -K ~/.ssh/id_rsa

git init -- создание пустого Гит-хранилища
git add . -- добавить все файлы в Хранилище
git status -- поглядеть файлы в зоне ожидания
git commit -m "Initial commit" -- закоммитить изменения
git pull origin master -- Забрать обновления с сервера.

Информация по репозитарию

git log -- список сообщений о коммитах
git branch -- просмотр всех веток
git branch -v -- просмотр веток с текущими HEAD'а каждого из бранчей
git remote show origin -- просмотр удаленных веток
git diff -- изменения с момента последнего коммита
git reflog -- список истории коммитов

Отправить репозиторий в Инет

git remote add origin git@github.com:<username>/first_app.git
git push origin master

Работа с ветками

git checkout -b izmenenie-README -- создание новой ветки и переход на нее
git commit -a -m "New README" -- коммит всех изменений в файлах
git checkout -f -- откат до момента последнего коммита
git checkout <хэш> -- Переход головы на нужный хэш
git checkout master -- переход на основную ветку
git branch -d izmenenie-README -- удаление ветки

git branch -d -r izmenenie-README -- удаление удаленной ветки

git branch -- список локальных веток
git branch -a -- список всех веток включая удаленные
git remote  -- список удаленных серверов
git push origin abc -- отправить на удаленный сервер ветку abc
git push -f origin abc -- насильно пропихнуть в ветку abc
git branch -m master old_version  -- переименование веток
git branch -m new_feature master  -- переименование веток

Откат изменений

git checkout -f other-branch -- переключение на другую ветку с потерей всех несохраненный изменений
git checkout -m other-branch -- с попыткой залить в текущую ветку изменения перед переключением
git checkout -- somefile — вернуть somefile к состоянию последнего коммита
git checkout HEAD~2 somefile — вернуть somefile к состоянию на два коммита назад по ветке.
git reset --hard HEAD~2  -- откатиться на 2 коммита назад
git reset --soft HEAD~2  -- то же самое, но без удаления изменений

Rebase

git checkout bug1 -- переключаемся на бранч bug1
git rebase master -- пересадить историю изменений
git checkout master
git merge bug1

Слияние веток

git checkout master
git merge develop
git mergetool
git add <conflict file>
git commit

Тайники

git stash -- спяртать изменения в тайник
git stash list -- посмотреть что спрятано
git stash apply -- применить к коду последние спрятанные данные
git stash apply stash@{2} -- применить к коду определенный тайник
git stash drop -- удалить из тайника последние спрятанные данные
git stash drop stash@{1} -- удалить определенный тайник

Поделиться Комментарии

Установка Ruby on Rails на FreeBSD

Сначала установим компоненты, необходимые для Rails. БД я выбрал Postgresql, можно вместо неё использовать sqlite или MySQL.

portmaster -d devel/automake devel/bison
ftp/curl databases/gdbm devel/git
devel/libtool textproc/libxml2
textproc/libxslt textproc/libyaml
www/node-devel security/openssl
devel/readline security/sudo ftp/wget

Теперь от пользователя ставим rbenv – инструмент, позволяющий манипулировать разными версиями Ruby и Rails. Т.к. у меня zsh, то я вношу изменения в ~/.zshrc (для Bash - ~/.bashrc)

$ git clone https://github.com/sstephenson/rbenv.git ~/.rbenv
$ git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build
$ git clone https://github.com/sstephenson/rbenv-gem-rehash.git ~/.rbenv/plugins/rbenv-gem-rehash
$ echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.zshrc
$ echo 'eval "$(rbenv init -)"' >> ~/.zshrc
$ source ~/.zshrc

Далее устанавливаем Ruby:

$ rbenv install 2.0.0-p195
$ rbenv rehash
$ rbenv global 2.0.0-p195

И Rails:

$ gem install rails
$ rbenv rehash

В принципе всё. Теперь можно создавать свой проект:

$ rails new myapp --database=postgresql
$ cd myapp
$ bundle install
$ rails s

В браузере переходим по адресу http://localhost:3000/

Для привязки конкретной версии Ruby к проекту, делаем:

$ rbenv local 2.0.0-p195

###Git

Теперь настроим систему контроля версий Git (core.editor устанавливайте какой нравится):

$ git config --global user.name "Your Name"
$ git config --global user.email your.email@example.com
$ git config --global alias.co checkout
$ git config --global core.editor "mcedit"

Github

Теперь надо зарегестрироваться на github. Там мы будем хранить свои проекты. Затем:

$ ssh-keygen -t rsa -C "your.email@example.com"
$ cat ~/.ssh/id_rsa.pub

Полученный ключ вставляем сюда:

https://github.com/settings/ssh

И проверяем, видит ли Github наш ключ:

$ ssh -T git@github.com

Ответ должен быть примерно такой:

Hi ******! You've successfully authenticated, but GitHub does not provide shell access.

Postgresql

Осталось настроить БД. Тут стандартно для FreeBSD:
Если postgresql уже стоит более старой версии, то меняем:

# portmaster -d -o databases/postgresql92-client postgresql-client-\*
# portmaster -d -o databases/postgresql92-server postgresql-server-\*

Если ничего не стояло — ставим:

# portmaster -d databases/postgresql92-client databases/postgresql92-server

в /etc/rc.conf:

postgresql_enable="YES"
postgresql_class="postgres"

В /etc/login.conf

postgres|PostgreSQL User Account:\
    :charset=UTF-8:\
    :lang=ru_RU.UTF-8:\
    :tc=default:


# cap_mkdb /etc/login.conf

Для инициализации кластера:

# /usr/local/etc/rc.d/postgresql initdb

Запуск:

# /usr/local/etc/rc.d/postgresql start

Теперь ставим админский пароль на БД:

# su pgsql
$ psql -U pgsql template1
template1=#\password

И запрещаем ходить в БД без пароля, ставим везде md5 вместо trust и прочего.
В файле /usr/local/pgsql/data/pg_hba.conf:

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     md5
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
host    all             all             192.168.1.0/24          md5
# IPv6 local connections:
host    all             all             ::1/128                 md5
# Allow replication connections from localhost, by a user with the
# replication privilege.
#local   replication     pgsql                                trust
#host    replication     pgsql        127.0.0.1/32            trust
#host    replication     pgsql        ::1/128                 trust

Для того,чтобы изменения вступили в силу - перезагружаем Postgres

# service postgresql restart

Теперь PgAdmin-ом можно пробовать зацепиться к БД с именем pgsql и паролем, который установили.

Вроде всё.


Использованные материалы:

Поделиться Комментарии

Настройка USB-модема ZTE MF626 под FreeBSD 9.1

У меня Билайновский модем прошит так, чтобы не представлялся системе cd-rom’ом и кушал симки всех операторов.

Модем: ZTE MF626, симка Билайн
Система: 9.1-RELEASE-p3, ядро - GENERIC

Втыкаем модем и убеждаемся, что система его видит:

# ls /dev/cua*
/dev/cuaU0.0       /dev/cuaU0.0.lock  /dev/cuaU0.1.init  /dev/cuaU0.2       /dev/cuaU0.2.lock  /dev/cuau0.init
/dev/cuaU0.0.init  /dev/cuaU0.1       /dev/cuaU0.1.lock  /dev/cuaU0.2.init  /dev/cuau0         /dev/cuau0.lock

Затем приводим конфиги к такому виду:

/etc/rc.conf

ppp_enable="YES"
ppp_mode="ddial"
#ppp_nat="YES"
ppp_profile="beeline_3g"
#ppp_profile="mts_3g"
ppp_user="root"

/etc/ppp/ppp.conf

#################################################################
# PPP  Sample Configuration File
# Originally written by Toshiharu OHNO
# Simplified 5/14/1999 by wself@cdrom.com
#
# See /usr/share/examples/ppp/ for some examples
#
# $FreeBSD: release/9.1.0/etc/ppp/ppp.conf 203943 2010-02-16 01:07:06Z jkim $
#################################################################

default:
   set log Phase Chat LCP IPCP CCP tun command
   ident user-ppp VERSION

   # Ensure that "device" references the correct serial port
   # for your modem. (cuau0 = COM1, cuau1 = COM2)
   #
   set device /dev/cuau1

   set speed 115200
   set dial "ABORT BUSY ABORT NO\\sCARRIER TIMEOUT 5 \
   \"\" AT OK-AT-OK ATE1Q0 OK \\dATDT\\T TIMEOUT 40 CONNECT"
   set timeout 180                        # 3 minute idle timer (the default)
   enable dns                             # request DNS info (for resolv.conf)

papchap:
   #
   # edit the next three lines and replace the items in caps with
   # the values which have been assigned by your ISP.
   #

   set phone PHONE_NUM
   set authname USERNAME
   set authkey PASSWORD

   set ifaddr 10.0.0.1/0 10.0.0.2/0 255.255.255.0 0.0.0.0
   add default HISADDR                    # Add a (sticky) default route

ubeeline:
   set log Phase Chat LCP IPCP CCP tun command
   ident user-ppp VERSION (built COMPILATIONDATE)
   set device /dev/cuaU0
   set speed 115200
   set ctsrts off
   set phone "*99#"
   set dial "ABORT BUSY ABORT NO\sCARRIER TIMEOUT 5 "" AT OK-AT-OK ATE1Q0 OK \dATD\T TIMEOUT 40 CONNECT"
   set login
   set authname "beeline"
   set authkey "beeline"
   set ifaddr 0.0.0.0/0 0.0.0.0/0 0.0.0.0/0
   add default HISADDR
   set ipcpretries 10 5
   enable dns

beeline_3g:
   set device /dev/cuaU0.2
   set speed 921600
   enable force-scripts
   set phone "*99#"
   set authname beeline
   set authkey beeline
   disable pap
   disable chap
   disable ipv6
   set dial "ABORT BUSY ABORT NO\\sCARRIER TIMEOUT 5 \
   \"\" AT OK-AT-OK ATE1Q0 OK \
   AT OK-AT-OK \
   AT+ZOPRT=5 OK \
   AT+ZSTART OK \
   AT+CPBS=\\\"SM\\\" OK \
   AT+CPMS=\\\"SM\\\",\\\"SM\\\",\\\"\\\" OK \
   AT+CGDCONT=1,\\\"IP\\\",\\\"home.beeline.ru\\\" OK \
   \\dATDT\\T TIMEOUT 60 CONNECT"
   set login
   # set timeout 30
   enable dns
   resolv rewrite
   set ifaddr 10.0.0.1/0 10.0.0.2/0 255.255.255.0 0.0.0.0
   add! default HISADDR

mts_3g:
   set device /dev/cuaU0.2
   set speed 921600
   enable force-scripts
   set phone "*99#"
   set authname mts
   set authkey mts
   disable pap
   disable chap
   disable ipv6
   set dial "ABORT BUSY ABORT NO\\sCARRIER TIMEOUT 5 \
   \"\" AT OK-AT-OK ATE1Q0 OK \
   AT OK-AT-OK \
   AT+ZOPRT=5 OK \
   AT+ZSTART OK \
   AT+CPBS=\\\"SM\\\" OK \
   AT+CPMS=\\\"SM\\\",\\\"SM\\\",\\\"\\\" OK \
   AT+CGDCONT=1,\\\"IP\\\",\\\"internet.mts.ru\\\" OK \
   \\dATDT\\T TIMEOUT 60 CONNECT"
   set login
   # set timeout 30
   enable dns
   resolv rewrite
   set ifaddr 10.0.0.1/0 10.0.0.2/0 255.255.255.0 0.0.0.0
   add! default HISADDR

Есть еще секрет в файле ppp.conf. Его, вроде как, надо оформлять так, чтобы без отступов были только названия разделов, а параметры внутри них - минимум с одним пробелом в начале строки.

Рулить так:

/etc/rc.d/ppp stop
/etc/rc.d/ppp start

Удачи в настройке!

Поделиться Комментарии

Установка MySQL 5.5 на FreeBSD 9.1

Опишу установку MySQL 5.5 на FreeBSD 9.1. Для себя, чтобы не забыть. Может еще кому пригодится.

В конце всех манипуляций мы получим MySQL сервер:

  • недоступный по сети - рулить будем через phpMyAdmin с этого же компьютера
  • с ежедневным бэкапом БД
  • с UTF-8 кодировкой

Устанавливаем сервер. Настройки локалей и прочего в make.conf уже не нужны - из make-файла порта их убрали.

# cd /usr/ports/databases/mysql55-server/
# make install clean
# rehash

Настраиваем запуск MySQL при старте системы:

# echo 'mysql_enable="YES"' >> /etc/rc.conf

Производим первоначальную инициализацию БД

# cd /usr/local
# ./bin/mysql_install_db --datadir=/var/db/mysql --user=mysql

Создаём файл настроек /var/db/mysql/my.cnf.

# cat /var/db/mysql/my.cnf


[client]
character_set_client=utf8
#password = your_password
port = 3306
socket = /tmp/mysql.sock

[mysqld]
skip-networking
character-set-server=utf8
init-connect="SET NAMES utf8"
long_query_time=5
slow_query_log=1
slow_query_log_file=/var/db/mysql/slow.log
#port = 3306
socket = /tmp/mysql.sock
skip-external-locking
key_buffer_size = 16M
query_cache_size=64M
max_allowed_packet = 128M
table_open_cache = 64
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
innodb_flush_log_at_trx_commit=2
skip-innodb_doublewrite
server-id = 1

# binlog if need
#expire_logs_days = 10
#max_binlog_size = 512M
#log-bin=mysql-bin
#binlog_format=mixed

[mysqldump]
quick
max_allowed_packet = 128M

[mysql]
no-auto-rehash

[myisamchk]
key_buffer_size = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

Устанавливаем права на каталог с БД:

# chown -R mysql:mysql /var/db/mysql

Убеждаемся, что в /etc/newsyslog.conf присутствует

/var/log/mysql.log         600  2     500  *     ZC

Запускаем MySQL

# /usr/local/etc/rc.d/mysql-server start

и проверяем запустился ли:

# ps ax | grep mysql


14626 ??  Ss     0:00,04 /bin/sh /usr/local/bin/mysqld_safe --defaults-extra-file=/var/db/mysql/my.cnf --user=mysql --datadir=/var/db/mysql
15304 ??  S      0:00,12 /usr/local/libexec/mysqld --defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local --datadir=/var/db/mysql

Теперь устанавливаем root пароль для доступа к БД, удаляем анонимного пользователя и тестовую БД:

# mysql_secure_installation

Теперь пробуем подключится к БД:

# mysql -uroot -p


Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 9
Server version: 5.5.31-log Source distribution

Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

Убедимся, что БД test удалена:

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
+--------------------+
3 rows in set (0.01 sec)

mysql> quit
Bye

Настраиваем ежедневный бэкап БД:

# cd /usr/ports/databases/mysqlbackup
# make install clean
# rehash

Добавляем в /etc/periodic.conf:

mysqlbackup_enable="YES"
mysqlbackup_args="-a -u root -l 7 -z bzip2"

С такими настройками будут хранится 7 последних архивных копий всех БД в папке бэкапов /var/backups. Для более подробной информации - man mysqlbackup в помощь.

Для того, чтобы mysql и mysqlbackup не просили root-пароль, создадим файл /root/.my.cnf с таким содержимым:

[mysql]
user=root
password=ROOTS_PASSWORD_HERE

[client]
user=root
password=ROOTS_PASSWORD_HERE

Устанавливаем права на файл:

# chmod 600 /root/.my.cnf

###Восстановление забытого root-пароля:
Добавляем (или меняем существующие) опции в rc.conf:

mysql_args="--skip-grant-tables --skip-networking"

Затем в консоли:

# /usr/local/etc/rc.d/mysql-server restart
# mysql -u root
mysql> UPDATE mysql.user SET Password=PASSWORD('MyNewPass')
-> WHERE User='root';
mysql> FLUSH PRIVILEGES;
mysql> quit

Использованные источники:

http://daemon-notes.com/articles/network/mysql
http://dtopcms.ru/docs/freebsd/mysql55_install.shtml
http://www.rublin.org/node/114

Исправления и замечания приветствуются.

Поделиться Комментарии