Augment ParseArgv() to also split comma separated lists.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2954 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid home-rolled circular list in stevedore, use regular VTAILQ,
the microoptimization does not justify the manual handling of ->prev
and ->next.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2953 d4fa192b-c00b-0410-8231-f00ffab90ce4

typo.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2952 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish the tokenizer

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2951 d4fa192b-c00b-0410-8231-f00ffab90ce4

There was no need to send the err_ttl as parameter as SYN_ErrorPage had access to the it directly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2950 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added the parameter err_ttl, which sets the TTL for synthesized error pages. Default value is 0. Fixes #126.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2949 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added support for choosing what fields to show in varniststat. This is done by using the new -f option. To list avaialble fields, use the new -l option. Fixes #208.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2946 d4fa192b-c00b-0410-8231-f00ffab90ce4

Ooops, FlexeLint was wrong, the consts are not possible.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2945 d4fa192b-c00b-0410-8231-f00ffab90ce4

Three minor style nits from FlexeLint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2944 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added a round robin director. The round robin director can be created like this:

director batman round-robin {
{ .backend = b1; }
{ .backend = b2; }
{ .backend = b3; }
}

sub vcl_recv {
set req.backend = batman;
}

The backend will then be chosen in a round robin fashion.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2943 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a bit of variation to the Connection header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2942 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test that "Connection:" header deletes http headers in both directions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2941 d4fa192b-c00b-0410-8231-f00ffab90ce4

Retire mgt_event.[ch] and use instead the (new) copy of it in libvarnish.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2940 d4fa192b-c00b-0410-8231-f00ffab90ce4

Copy mgt_event.[ch] from varnishd into libvarnish and give it the
prefix "VEV".

This is a general purpose eventmanager and as such should live in
the library where other programs can get at it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2939 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a backend property ".host_header" to set default content of Host:
header if client didn't provide one.

If .host_header is not specified, it defaults to .host.

Add testcase for this logic.

(Incidental change: Use "interval" instead of "rate" for backend pollers.)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2938 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add scaffold code for backend polling.

It doesn't actually do anything yet.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2937 d4fa192b-c00b-0410-8231-f00ffab90ce4

Drop pseudo-automatic support for multihomed backends and require
clear expression of intent in VCL.

We now fail backend hostnames that resolve to multiple IPv4 or multiple
IPv6 addresses, in other words, you cannot use "cnn.com" as a backend
hostname specification without the compiler yelling at you:

    % ./varnishd -d -d -b cnn.com -a :8080
    Backend host "cnn.com": resolves to multiple IPv4 addresses.
    Only one address is allowed.
    Please specify which exact address you want to use, we found these:
    64.236.16.20
    64.236.16.52
    64.236.24.12
    64.236.29.120
    [...]
    VCL compilation failed

However, you _can_ use a hostname that resolves to both an IPv4 and
an IPv6 address, and the new paramter "prefer_ipv6" will determine
which one we try first in such cases.

The other part of this change is that we now do the DNS lookup at
VCL compiletime, and only then.

If your backend's DNS record (or /etc/hosts entry) changes IP#, you
must reload your VCL code to notify varnish.

Finer technical points:

We build a bytestring representation of the sockaddr's in VCC and
include them in the concept of backend identity, for an existing
backend (+ connections) to be reused for a new VCL the backend must
now be defined exactly the same way AND have the same resolved
IPv4/IPv6 addresses.

Since we never muck about with the address in the backend struct
anymore, it's static for the life of the struct backend instance,
we can simplify and eliminate the locking dance around our connection
attempts.

Also eliminate the struct vrt_backend inclusion in struct backend,
and instead make the relevat fields full-blown members of struct
backend.  This eliminates a number of TRUST_ME() calls.

This is the companion commit to #2934 which prepared the VCL compiler.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2936 d4fa192b-c00b-0410-8231-f00ffab90ce4

Emit backend probe data to ->fb.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2935 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reject backend hostnames that resolve to multiple IPv4 or multiple
IPv6 addresses, but accept one of each.

Emit a bytestring representation of the sockaddr we found for each
of these, into the shared object, so we avoid doing a DNS lookup
again in the cacher.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2934 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the vcl.list use the same layout in stopped mode as in started mode.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2933 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check counters to make sure the right thing happens.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2932 d4fa192b-c00b-0410-8231-f00ffab90ce4

One more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2931 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add more trouble

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2930 d4fa192b-c00b-0410-8231-f00ffab90ce4

More XML/ESI testcases

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2929 d4fa192b-c00b-0410-8231-f00ffab90ce4

Yet another XML/ESI parse corner case:
<esi:include  foo=bar src=/body2 />

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2928 d4fa192b-c00b-0410-8231-f00ffab90ce4

More XML/ESI syntax checks

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2927 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tackle another XML/ESI syntax error corner-case:
<esi:include  src= />
would result in a NUL byte when looking for the next attribute.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2926 d4fa192b-c00b-0410-8231-f00ffab90ce4

Trigger a couple more XML/ESI parser errors

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2925 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix two bugs in esi parsing:

Ignore unknown include attributes and
Warn about src attributes without value

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2924 d4fa192b-c00b-0410-8231-f00ffab90ce4

More XML/ESI errors

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2923 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test XML/ESI syntax errors etc.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2922 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test the vcl.load CLI command while we are at it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2921 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a test for the -f argument

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2920 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix an off-by one in the random director

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2919 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a testcase for the random director doing actual work

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2918 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a testcase to show that we can in fact get rid of both VCL's and
backend hosts.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2917 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a testcase for the sema operations

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2916 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add Semaphore facility to synchronize different treads in the tester
with each other.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2915 d4fa192b-c00b-0410-8231-f00ffab90ce4

The emminently sensible INFTIM isn't portable, use -1

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2914 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add stats counters for tracking the number of vcls loaded.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2913 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible to check stats counter values for a varnish instance

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2912 d4fa192b-c00b-0410-8231-f00ffab90ce4

Open the shm statistics when we launch a varnish

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2911 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove global "stats", stats are per varnish instance.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2910 d4fa192b-c00b-0410-8231-f00ffab90ce4

Change the layout of the "vcl.list" to explicitly say "active",
"available" or "discarded".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2909 d4fa192b-c00b-0410-8231-f00ffab90ce4

The cachers CLI thread is responsible for garbage collecting dicarded
VCL programs, but in practice it didn't happen because we fired the
GC function VCL_Idle() after 5 seconds of silence on the CLI port and
the manager pings every three (by default).

Instead change the name of VCL_Idle() to VCL_Poll() and call it
before every CLI command, so that any query command will get an
up to date status.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2908 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow modification of the receive timeout

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2907 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set svn:keywords to Id

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2906 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split the backend code into two files, the probe code will make it
more complicated than a single file can carry.

cache_backend_cfg.c now contains the configuration and selection of
backends and directors.

cache_backend.c contains the connection and request management against
backends.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2905 d4fa192b-c00b-0410-8231-f00ffab90ce4

Note an idea

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2904 d4fa192b-c00b-0410-8231-f00ffab90ce4

Also make the backend probe rate (how often we probe) configurable
in VCL.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2903 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VCC support for backend probe specifications.

It is possible to specify just the URL to be probed, or to specify the
entire HTTP request:

backend b0 {
.host = "127.0.0.1";
.probe = {
.url = "/test.jpg";
.timeout = 224 ms;
}
}

backend b1 {
.host = "127.0.0.1";
.probe = {
# NB: \r\n automatically inserted after each string!
.request =
    "GET / HTTP/1.1"
    "Host: www.foo.bar"
    "Connection: close";
.timeout = 0.3 s;
}
}

If the full request has not been completed within the timeout, the
backend will be set to down.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2902 d4fa192b-c00b-0410-8231-f00ffab90ce4

assert !vsb_overflowed()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2901 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unify parsing of backends and directors.

Use table to dispatch director parsing.

Get trailing '}' into backend host ident string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2900 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add test for unknown director policy

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2899 d4fa192b-c00b-0410-8231-f00ffab90ce4

Flexelint nits

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2898 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't create an unnecessary fencepost member.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2897 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add testcase for creation and destruction of backends

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2896 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dismantle directors and backends properly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2895 d4fa192b-c00b-0410-8231-f00ffab90ce4

More polishing of backend parsing/syntax error messages

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2894 d4fa192b-c00b-0410-8231-f00ffab90ce4

Nitpicking

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2893 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix an encoding bug that affects VCLs shorter than 1 char.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2892 d4fa192b-c00b-0410-8231-f00ffab90ce4

testcase for unknown backend field

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2891 d4fa192b-c00b-0410-8231-f00ffab90ce4

Testcase for old backend syntax.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2890 d4fa192b-c00b-0410-8231-f00ffab90ce4

More polishing of backend compilation.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2889 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move backend stuff to the correct .h file

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2888 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't allow the invisible simple director to reference backend defined
by another simple director, it would be too hard to explain why they
shared statistics and harder yet to make them not do so.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2887 d4fa192b-c00b-0410-8231-f00ffab90ce4

Redo toplevel parser to use table.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2886 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move random director to separate source file.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2885 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a test-case for backend reference errors.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2884 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve error messages in backend specifications

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2883 d4fa192b-c00b-0410-8231-f00ffab90ce4

Just to avoid misunderstandings: say that we expected the VCL compilation errors.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2882 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve error messages related to syntax check of backend decls.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2881 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add test-case or syntax-checks of backend decls.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2880 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -badvcl for VCL code we expect the compiler to whine about.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2879 d4fa192b-c00b-0410-8231-f00ffab90ce4

White space fix

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2878 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polishing: use mini_obj.h

Use a hash for faster backend list search

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2877 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish: use mini_obj.h

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2876 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use mini_obj more.

dlclose() VCL's when we throw them out.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2875 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix cleanup errors on random director: release all backends.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2874 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible to run custom VCL programs through flexelint.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2873 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a brain-o in the backend identification string: We need to
explicitly and uniquely identify all backend stanzas because they
have individual metrics.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2872 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure to distribute tests as well

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2871 d4fa192b-c00b-0410-8231-f00ffab90ce4

Old patch: greatly improve performance and memory usage by using per-thread
pre-allocated buffers instead of malloc().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2864 d4fa192b-c00b-0410-8231-f00ffab90ce4

Convert from FILE * to fd.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2863 d4fa192b-c00b-0410-8231-f00ffab90ce4

The correct return value when we reach the end is -1, not 0.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2862 d4fa192b-c00b-0410-8231-f00ffab90ce4

Change my email address.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2861 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test switching of VCLs

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2860 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test busy then pass

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2859 d4fa192b-c00b-0410-8231-f00ffab90ce4

test busying subsequent requests on backend access.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2858 d4fa192b-c00b-0410-8231-f00ffab90ce4

One second is too hysterical a timeout

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2857 d4fa192b-c00b-0410-8231-f00ffab90ce4

test miss from pass

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2856 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test "hit for pass" (pass from vcl_fetch)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2855 d4fa192b-c00b-0410-8231-f00ffab90ce4

Test pass from vcl_hit{}

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2854 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add test for simple restarts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2853 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add testcase for partial pipelining/read-ahead

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2852 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add testcase for pipelining

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2851 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a minor issue in pipelining

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2850 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot to set resp.status

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2849 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get "line1" request/reponse fields under control.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2848 d4fa192b-c00b-0410-8231-f00ffab90ce4

polish

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2847 d4fa192b-c00b-0410-8231-f00ffab90ce4