udevd: de-duplicate strings in rules

On my Ubuntu installation this removes 15k of duplicate strings,
using a temporary index of about 25k.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

release 132

convert debug string arrays to functions

On Fri, Nov 7, 2008 at 13:07, Matthias Schwarzott <zzam@gentoo.org> wrote:
> I managed to let udev-131 segfault at startup.
>
> I configured it like this:
> CFLAGS="-Wall -ggdb" ./configure --prefix=/usr --sysconfdir=/etc --exec-prefix=
>
> Running it in gdb shows it segfaults at udev-rules.c:831
>
> (gdb) run
> Starting program: /tmp/udev-131/udev/udevd
>
> Program received signal SIGSEGV, Segmentation fault.
> 0x0804ea06 in get_key (udev=0x9175008, line=0xafcdc8f0, key=0xafcdc5d8,
> op=0xafcdc5d0, value=0xafcdc5d4)
>    at udev-rules.c:831
> 831             dbg(udev, "%s '%s'-'%s'\n", operation_str[*op], *key, *value);

If compiled without optimization, the dbg() macro dereferences variables
which are not available. Convert the string array to a function, which just
returns NULL if compiled without DEBUG.

fix size_t compiler warning on 32 bit platforms

release 131

udevadm: settle - exit if udevd exits

cleanup /dev/.udev/queue on startup and exit

rules: md - add mdadm 3 device naming

fix indentation

udevd: shrink struct token to 12 bytes

$links should be relative

unify string replacement

usb_id: MassStorage SubClass 6 is "scsi" not "disk"

do not import the "uevent" file when we only read the db to get old symlinks

fix cleanup of possible left-over symlinks

fix $links substitution

info() PROGRAM and IMPORT execution

volume_id: btrfs update

fix list handling in enumerate and rules file sorting

firmware.sh: record missing files in /dev/.udev/firmware-missing/

move debugging strings inside #ifdef DEBUG

add "devel" and "install" switches to autogen.sh

move some info() to dbg()

fix udev_node_update_old_links() logic

No need to check if links that still belong to us, need to be updated.

skip entire rule containing device naming keys, if no device can be named

If rules set NAME, SYMLINK, OWNER, GROUP, MODE, events without a device node
and remove events will skip the entire rule. The old parser did the same.

log rules file and line number when NAME, SYMLINK, OWNER, GROUP, MODE, RUN is applied

udevd: be more careful when matching against parents

I'm worried about what will happen with things like

KERNELS=="*" # pointless rule
KERNELS=="doesnt-match" # another pointless rule

Since TK_RULE < TK_M_PARENTS_MAX, we will try to match all three tokens
against parents of the current device.  I can't think of a bad case,
but it's not exactly good either.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

udevd: fix termination of rule execution

LAST_RULE was broken, and I broke TK_END by making it do the same.
It used a "break" which exited the switch statement, but not the loop!

==2953== Invalid read of size 4
==2953==    at 0x4081EE: dump_token (udev-rules.c:859)
==2953==    by 0x40BADB: udev_rules_apply_to_event (udev-rules.c:1849)
==2953==    by 0x403F17: udev_event_execute_rules (udev-event.c:554)
==2953==    by 0x418626: main (test-udev.c:100)
==2953==  Address 0x55ab1f8 is 0 bytes after a block of size 80 alloc'd
==2953==    at 0x4C23082: realloc (vg_replace_malloc.c:429)
==2953==    by 0x40B13B: udev_rules_new (udev-rules.c:1670)
==2953==    by 0x418536: main (test-udev.c:84)
...

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

write trace log to stderr

fstab_import: add "change" event match

edd_id: add "change" event match

rules: remove "add" match from usb device node rule

rules: remove SCSI timeouts

On Thu, Oct 30, 2008 at 03:55, Tejun Heo <tj@kernel.org> wrote:
The appropriate default timeout differs depending on the transport and
the type of the attached device, so the above two rules harm more than
help.  The affect of the above two rules weren't visible for some
reason but with recent block layer timeout update, they actually work
and cause problems.

ATTR{}== always fails if the attribute does not exist

udevd: merge exec and run queue to minimize devpath string compares

udevd: simplify rules execution loop

cur can't become NULL, and the check for TK_END
can be folded into the switch statement.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

update NEWS

kerneldoc comment fixes

s/ressources/resources/

Also reduce commas per sentence and add a possessive apostrophe.

libudev: device - allocate envp array only once

test: add RUN+="socket: ..." to a test to run monitor code

libudev: device - fill envp array while composing monitor buffer

Thanks to Alan Jenkins, for the idea.

fix $attr{[<subsystem>/<sysname>]<attribute>} substitution

do not init string arrays, just clear first byte

match_attr() - copy attr value only when needed

udevd: avoid implicit memset in match_attr()

Initializing a char array to "" is equivalent to a memset()
call - which is exactly what it gets compiled to.

Fixing this one callsite reduced memset() _user_ cpu cycles
from 2-4% to 0.05% on the EeePC.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

udevd: use a tighter loop for compare_devpath()

This crops up in my threaded udevd profiles from time to time.
It's not consistent - probably due to variations in the number
of concurrent events - but it can hit 4% user time and higher.

The change halves the user time spent in compare_devpath().

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

fix handling of string_escape option

match KEY="A|B" without temporary string copy

remove debug printf

fix "unused" warnings

libudev: monitor - cache result of monitor send buffer

libudev: monitor - replace far too expensive snprintf() with strlcpy()

special-case "?*" match to skip fnmatch()

determine at rule parse time if we need to call fnmatch()

This cuts down the large rule set's 120.000 calls to fnmatch() to
51.000, and we can just call strcmp for the simple matches.

distinguish "match" from "assign" by (op < OP_MATCH_MAX)

cache uid/gid during rule parsing

This cuts down the number of parsing /etc/group from ~700 to 11,
with some large rule files installed.

fix uninitialized variable warnings

rules: let empty strings added to buffer always return offset 0

skip SYMLINK rules for devices without a device node

udevd: fix WAIT_FOR_SYSFS execution order

The wait should be ordered after matching KERNEL, ENV, etc.
but before ATTR.

Without this, WAIT_FOR_SYSFS rules will be applied unconditionally
to all events.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

rule_generator: fix netif NAME= value extraction regex

  $ sed -n -r \
    -e 's/^#.*//' \
    -e 's/[[:space:],]NAME="(eth[0-9]*)"[[:space:]]*(,.*|\\|)$/\1/p' \
    /dev/null /etc/udev/rules.d/70-persistent-net.rules
  SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:16:41:e2:8d:c7", ATTR{type}=="1", KERNEL=="eth*",eth4

  $ sed -n -r \
    -e 's/^#.*//' \
    -e 's/.*[[:space:],]NAME="(eth[0-9]*)".*/\1/p' \
    /dev/null /etc/udev/rules.d/70-persistent-net.rules
  eth4

udevd: fix memory leak

Re: b99028c96307e729303be8f6750418979a7488b9 shrink struct udev_event

TEST 136: test multi matches 2
device '/devices/pci0000:00/0000:00:1d.7/usb5/5-2/5-2:1.0/tty/ttyACM0' expecting node 'right'
==15011==
==15011== 7 bytes in 1 blocks are definitely lost in loss record 1 of 1
==15011==    at 0x47F9AB8: malloc (vg_replace_malloc.c:207)
==15011==    by 0x489CB5F: strdup (in /lib32/libc-2.7.so)
==15011==    by 0x8050F40: udev_rules_apply_to_event (udev-rules.c:1973)
==15011==    by 0x804A658: udev_event_execute_rules (udev-event.c:549)
==15011==    by 0x805A636: main (test-udev.c:100)
add:         ok
==15012==
==15012== 7 bytes in 1 blocks are definitely lost in loss record 1 of 1
==15012==    at 0x47F1AB8: malloc (vg_replace_malloc.c:207)
==15012==    by 0x4898B5F: strdup (in /lib32/libc-2.7.so)
==15012==    by 0x8050F40: udev_rules_apply_to_event (udev-rules.c:1973)
==15012==    by 0x804A9DF: udev_event_execute_rules (udev-event.c:658)
==15012==    by 0x805A636: main (test-udev.c:100)
remove:      ok

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

shrink struct udev_event

shrink struct udev_event

do not create temporary node ($tempnode) if node already exists

replace in-memory rules array with match/action token list

The in-memory rule array of a common desktop distro install took:
  1151088 bytes
with the token list:
  109232 bytes tokens (6827 * 16 bytes), 71302 bytes buffer

handle numerical owner/group string in lookup_user/group()

use re-entrant variants of getpwnam and getgrnam

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

add util_resolve_subsys_kernel()

volume_id: swap - larger PAGE_SIZE support

replace strncpy() with strlcpy()

The problem was strncpy() doesn't stop after writing the terminating
NUL; by definition it goes on to zero the entire buffer.

I spy another use of strncpy in udev_device_add_property_from_string(),
which is responsible for another ~1% user cpu time...

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

libudev: device - 128 -> ENVP_SIZE

libudev: allocate udev_device->envp[] dynamically

Measured 2% _user_ cpu time reduction on EeePC coldplug.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

libudev: util - optimize path_encode()

Since we already know the length, use memcpy() instead.
Measured 2% _user_ cpu time reduction on EeePC coldplug.

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

use more appropriate alternatives to malloc()

Use calloc to request cleared memory instead.
Kernel and libc conspire to make this more efficient.

Also, replace one malloc() + strcpy() with strdup().

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

do not use the new work-in-progress parser rule matcher

add "root" == 0 shortcuts to lookup_user/group()

replace missing get_attr_value() -> get_sysattr_value()

cdrom_id: remove ARRAY_SIZE() declaration

libudev: device - get_attr_value() -> get_sysattr_value()

pass make distcheck

prefix udev-util.c functions with util_*

selinux_init(udev) -> udev_selinux_init(udev)

udev_list_cleanup() -> udev_list_cleanup_entries()

move udev_rules_apply_format() to udev-event.c

udev_rules_run() -> udev_event_execute_run();

udev_event_run() -> udev_event_execute_rules()

udevd: avoid overhead of calling rmdir on non-empty directories

Unfortunately the linux rmdir implementation unhashes the dentry
even when the directory is not removed.  This is apparently by
design (for filesystems that don't allow deleting open files).

Results from time(1) and oprofile follow.

Before:

0.35user 0.90system
samples  %        image name               symbol name
608       9.6738  vmlinux                  shrink_dcache_parent
293       4.6619  vmlinux                  copy_page_c
271       4.3119  vmlinux                  copy_page_range
257       4.0891  udevd                    udev_rules_iter_next

After:

0.31user 0.67system
samples  %        image name               symbol name
361       5.0419  vmlinux                  copy_page_range
322       4.4972  udevd                    udev_rules_iter_next
300       4.1899  vmlinux                  copy_page_c

Signed-off-by: Alan Jenkins <alan-jenkins@tuffmail.co.uk>

move run_program to util

make struct udev_rules opaque

merge udev-rules.c and udev-rules-parse.c

delete list.h

collect: use udev_list

udevd: use udev_list_node

libudev: make list_node functions available

libudev: ctrl - change magic to integer

libudev: monitor - add set_receive_buffer_size()

test: fix a few unintentially wrongly written rules which cause parse errors

libudev: add sysnum to test program

libudev: fix sysnum logic for digit-only device names