core: add NOP jobs, job type collapsing

Two of our current job types are special:
JOB_TRY_RESTART, JOB_RELOAD_OR_START.

They differ from other job types by being sensitive to the unit active state.
They perform some action when the unit is active and some other action
otherwise. This raises a question: when exactly should the unit state be
checked to make the decision?

Currently the unit state is checked when the job becomes runnable. It's more
sensible to check the state immediately when the job is added by the user.
When the user types "systemctl try-restart foo.service", he really intends
to restart the service if it's running right now. If it isn't running right
now, the restart is pointless.

Consider the example (from Bugzilla[1]):

sleep.service takes some time to start.
hello.service has After=sleep.service.
Both services get started. Two jobs will appear:
 hello.service/start  waiting
 sleep.service/start  running
Then someone runs "systemctl try-restart hello.service".

Currently the try-restart operation will block and wait for
sleep.service/start to complete.

The correct result is to complete the try-restart operation immediately
with success, because hello.service is not running. The two original
jobs must not be disturbed by this.

To fix this we introduce two new concepts:
- a new job type: JOB_NOP
  A JOB_NOP job does not do anything to the unit. It does not pull in any
  dependencies. It is always immediately runnable. When installed to a unit,
  it sits in a special slot (u->nop_job) where it never conflicts with
  the installed job (u->job) of a different type. It never merges with jobs
  of other types, but it can merge into an already installed JOB_NOP job.

- "collapsing" of job types
  When a job of one of the two special types is added, the state of the unit
  is checked immediately and the job type changes:
  JOB_TRY_RESTART     -> JOB_RESTART or JOB_NOP
  JOB_RELOAD_OR_START -> JOB_RELOAD or JOB_START
  Should a job type JOB_RELOAD_OR_START appear later during job merging, it
  collapses immediately afterwards.
  Collapsing actually makes some things simpler, because there are now fewer
  job types that are allowed in the transaction.

[1] Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=753586

timedated: introduce systemd-timedated-ntp.target which is controlled by timedated's NTP setting

We shouldn't hardcode the name of the NTP implementation in the
timedated mechanism, especially since Fedora currently switched from NTP
to chrony.

This patch introduces a new target that is enabled/disabled instead of
the actual NTP implementation. The various NTP implementations should
then add .wants/ symlinks to their services and BindTo back to the
target, so that their implementations are started/stopped jointly with
the target.

https://bugzilla.redhat.com/show_bug.cgi?id=815748

nspawn: add --read-only switch

nspawn: bind mount /etc/resolv.conf from the host by default

shutdown: don't complain if we cannot lock memory, to make container shutdowns clean

remount: consolidate remount-api-vfs and remount-rootfs into one

This has the advantage of removing a confusing warning by mount if the
root directory is not listed in fstab.

update TODO

service: introduce Type=idle and use it for gettys

Type=idle is much like Type=simple, however between the fork() and the
exec() in the child we wait until PID 1 informs us that no jobs are
left.

This is mostly a cosmetic fix to make gettys appear only after all boot
output is finished and complete.

Note that this does not impact the normal job logic as we do not delay
the completion of any jobs. We just delay the invocation of the actual
binary, and only for services that otherwise would be of Type=simple.

manager: drop MountAuto= and SwapAuto= options

The ability to set MountAuto=no and SwapAuto=no was useful during the
adoption phase of systemd, so that distributions could stick to their
classic mount scripts a bit longer. It is about time to get rid of it
now.

man: rework nspawn man page to suggest yum --installroot instead of mock

readahead: rather than checking for virtualization in the C code, use ConditionVirtualization= in the unit

transaction: cancel jobs non-recursively on isolate

Recursive cancellation of jobs would trigger OnFailure actions of
dependent jobs. This is not desirable when isolating.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=798328

job: serialize jobs properly

Jobs were not preserved correctly over a daemon-reload operation.
A systemctl process waiting for a job completion received a job removal
signal. The job itself changed its id. The job timeout started ticking all
over again.

This fixes the deficiencies.

transaction: abort does not need to use recursive deletion

Recursion is unnecessary, because we're deleting all transaction jobs
anyway. And the recursive deletion produces debug messages that are
pointless in transaction abort.

transaction: fix detection of cycles involving installed jobs

A transaction can be acyclic, but when it's added to installed jobs,
a cycle may result.

transaction_verify_order_one() attempts to detect these cases, but it
fails because the installed jobs often have the exact generation number
that makes them look as if they were walked already.

Fix it by resetting the generation numbers of all installed jobs before
detecting cycles.

An alternative fix could be to add the generation counter to the
Manager and use it instead of starting always from 1 in
transaction_activate(). But I prefer not having to worry about it
wrapping around.

transaction: improve readability

The functions looked complicated with the nested loops with breaks,
continues, and "while (again)".
Here using goto actually makes them easier to understand.

Also correcting the comment about redundant jobs.

shutdown: don't try to shut down DM devices in a container

hostname: if there's already a hostname set when PID 1 is invoked, don't complain

job: the status messages are proper sentences, hence end them with a full stop

units: remount file systems only if /etc/fstab actually exists

mount: don't fail if fstab doesn't exist

transaction: downgrade warnings about masked units

transaction: add missing emacs and license headers

machine-id: fix spelling

util: unify getenv() logic for other PID

nspawn: add --uuid= switch to allow setting the machine id for the container

units: don't try to load kernel modules if CAP_SYS_MODULE is missing

units: skip root fsck if the root directory is writable

nspawn: add -b switch to automatically look for an init binary

default to v102 everywhere, instead of vt100, to synchronize with agetty

login: assing /dev/console logins to seat0

container: spawn a getty instead of a sulogin in a container

loginctl: avoid segfault for kill-session and kill-user commands

As reported by Mantas Mikulėnas.

http://lists.freedesktop.org/archives/systemd-devel/2012-April/004993.html

util: fix tty_is_vc_resolve() in a container where /sys/class/tty/console/active is misleading

log: include syslog identifier in default log properties, to avoid comm truncation

nspawn: be more careful when initializing the hostname from the directory name

mount-setup: ignore common container bind mounts

update TODO

nspawn: make /dev/kmsg unavailable in the container, but allow access to /proc/kmsg

watchdog: fix default configuration fragment for watchdog

man: doc-sync - properly delete no longer existing stuff on remote server

transaction: add starting requirements for JOB_RESTART

While having a Requires= dependency between units, the dependency is started
automatically on "systemctl start", but it's not started on "systemctl
restart".

JOB_RESTART jobs did not pull the dependencies for starting into the
transaction.

https://bugzilla.redhat.com/show_bug.cgi?id=802770

Note that the other bug noted in comment #2 has been fixed already by avoiding
the deletion of anchor jobs.

dbus-job: allow multiple bus clients

Merging of jobs can result in more than one client being interested in a job.

transaction: remove checks for installed

Transactions cannot contain installed jobs anymore. Remove the now pointless
checks.

transaction: rework merging with installed jobs

Previously transactions could reference installed jobs. It made some issues
difficult to fix.

This sets new rules for jobs:
A job cannot be both a member of a transaction and installed. When jobs are
created, they are linked to a transaction. The whole transaction is constructed
(with merging of jobs within, etc.). When it's complete, all the jobs are
unlinked from it one by one and let to install themselves. It is during the
installation when merging with previously installed jobs (from older
transactions) is contemplated.

Merging with installed jobs has different rules than merging within a
transaction:
 - An installed conflicting job gets cancelled. It cannot be simply deleted,
   because someone might be waiting for its completion on DBus.
 - An installed, but still waiting, job can be safely merged into.
 - An installed and running job can be tricky. For some job types it is safe to
   just merge. For the other types we merge anyway, but put the job back into
   JOB_WAITING to allow it to run again. This may be suboptimal, but it is not
   currently possible to have more than one installed job for a unit.

Note this also fixes a bug where the anchor job could be deleted during merging
within the transaction.

job: separate job_install()

Let the jobs install themselves.

transaction: remove a couple of asserts

We already asserted these facts in the previous loop.

transaction: remove the anchor link

tr->anchor_job is sufficient.

transaction: avoid garbage collecting the anchor job

Make sure the anchor job is never considered garbage, even if it has no links
leading to it (this will be allowed in the next patch).

transaction: simplify transaction_find_jobs_that_matter_to_anchor()

transaction: change the linking of isolate jobs to the anchor

When isolating, the JOB_STOP jobs have no parent job, so they are all peers
of the real anchor job. This is a bit odd.

Link them from the anchor job.

transaction: maintain anchor_job

Track which job is the anchor in the transaction.

transaction: do not add installed jobs to the transaction

Do not attempt to optimize away the job creation by refering to installed jobs.
We do not want to disturb installed jobs until commiting the transaction.

(A later patch to job merging will make the separation of transaction jobs and
installed jobs complete.)

job: jobs shouldn't need to know about transaction anchors

Let the transactions maintain their own anchor links.

job: job_new() can find the manager from the unit

manager: split transaction.[ch]

manager.c takes care of the main loop, unit management, signal handling, ...
transaction.c computes transactions.

After split:
manager.c:     65 KB
transaction.c: 40 KB

manager: Transaction as an object

This makes it obvious that transactions are short-lived. They are created in
manager_add_job() and destroyed after the application of jobs.
It also prepares for a split of the transaction code to a new source.

job: job_uninstall()

Split the uninstallation of the job from job_free() into a separate function.
Adjust the callers.

job_free() now only works on unlinked and uninstalled jobs. This enforces clear
thinking about job lifetimes.

manager: simplify transaction_abort()

This is equivalent.

job: allow job_free() only on already unlinked jobs

job_free() is IMO too helpful when it unlinks the job from the transaction.
The callers should ensure the job is already unlinked before freeing.
The added assertions check if anyone gets it wrong.

manager: fix comment

tmpfiles: fix error message

docs: remove duplicated install hook

log: fix LOG_TARGET_JOURNAL_OR_KMSG

mount-setup: don't log with LOG_ERROR if a mount that doesn't matter fails

main: log to the journal in container mode, by default

docs: hook-up gtk-doc to 'make check'

docs: rebase html documentation for online and local use

docs: do not generate tmpl files

Its not needed as all the documentation is inline source code,
not in separate *.tmpl files

fix typo in src/shared/install.c

update TODO

udev: units - reference systemd-* units

build-sys: move dev-setup to label.la

remove MS_* which can not be combined with current kernel code

MS_BIND|MS_MOVE can not be combined:
  do_mount()
    else if (flags & MS_BIND)
      do_loopback(&path, dev_name, flags & MS_REC);
    [...]
    else if (flags & MS_MOVE)
      do_move_mount(&path, dev_name);

MS_REMOUNT|MS_UNBINDABLE can not be combined:
  do_mount()
    if (flags & MS_REMOUNT)
      do_remount(&path, flags & ~MS_REMOUNT, mnt_flags, data_page);
    [...]
    else if (flags & (MS_SHARED | MS_PRIVATE | MS_SLAVE | MS_UNBINDABLE))
      do_change_type(&path, flags);

udev: unify /dev static symlink setup

udev: docs - updated index page to match common gtk style

update TODO

silence a bunch of gcc warnings

build-sys: silence gtk-doc check, remove gtk-doc options from configure and distcheck

build-sys: make gtk-doc dependency optional

update TODO

selinux: unify systemd and udev code

mkdir: do not use alloca() in a loop

update .gitignore

configure.ac: Use a auxiliar directory to store autogenerated files

configure.ac: Use the new autoconf field to set the project webpage

update TODO

man: Fix a few typos

Reported-by: A. Costa <agcosta@gis.net>
Bug-Debian: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=668344

Fix typo

update TODO

udev: kill udev_selinux_setfscreateconat()

udev: replace util_create_path() with mkdir_parents()

udev: install udevd as /usr/lib/systemd/systemd-udevd

udev: use startswith() and streq()

udev: remove configuration options for /dev, /sys, /run directories

udev: replace ARRAY_SIZE() with ELEMENTSOF()

logind: remove redundant entries from logind's default controller lists too

systemctl: show main and control PID explicitly in cgroup-show

In some cases the main/control PID of a service can be outside of the
services cgroups (for example, if logind readjusts the processes'
cgroup). In order to clarify this for the user show the main/control PID
in the cgroup tree nonetheless, but mark them specially.

util: introduce memdup()

cgls: don't show empty cgroups by default