You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-23 - 13:05

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Thu Apr 23, 2026 00:43:17)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2445927995833,5cyclictest2461608-21latency20:00:382
2445927995529,3cyclictest2477402-21kworker/u8:7-xprtiod22:05:022
2445927995431,5cyclictest2481894-21/usr/sbin/munin21:10:012
2445927995344,5cyclictest2530454-21true22:10:012
2445925995340,9cyclictest2627352-21grep00:10:010
2445927995141,6cyclictest2469924-21systemd-run20:30:012
2445926995143,6cyclictest2607825-21ssh23:45:351
2445926995042,5cyclictest1-21systemd23:30:021
2445925994936,4cyclictest0-21swapper/023:20:010
2445925994935,9cyclictest12350irq/32-eth021:55:400
2445926994738,6cyclictest2554733-21systemd-run22:40:011
2445925994741,4cyclictest2538517-21sendmail22:20:010
2445927994636,6cyclictest2491936-21unixbench_singl21:20:532
2445926994634,8cyclictest2510228-21systemd-run21:45:011
2445925994638,3cyclictest0-21swapper/022:55:420
2445927994536,4cyclictest0-21swapper/223:50:422
2445927994536,4cyclictest0-21swapper/223:50:422
2445926994538,3cyclictest0-21swapper/100:05:441
2445926994536,6cyclictest2644101-21aten_r2power_en00:30:301
2445926994536,6cyclictest2644101-21aten_r2power_en00:30:301
2445926994535,7cyclictest420-21avahi-daemon00:10:531
2445925994536,4cyclictest0-21swapper/022:20:470
2445927994435,6cyclictest2599697-21aten_r2power_po23:35:312
2445927994332,7cyclictest420-21avahi-daemon21:10:452
2445927994332,7cyclictest420-21avahi-daemon21:10:452
2445926994335,4cyclictest0-21swapper/122:00:011
2445926994333,6cyclictest2620211-21kernelversion00:00:371
2445926994332,7cyclictest420-21avahi-daemon23:05:441
2445927994233,6cyclictest439-21systemd-logind23:45:022
2445927994230,9cyclictest2510206-21idleruntime-cro21:45:012
2445926994233,6cyclictest1-21systemd23:45:021
2445925994235,5cyclictest2466934-21systemd-run20:20:010
2445927994132,4cyclictest0-21swapper/222:30:422
2445927994132,4cyclictest0-21swapper/222:30:422
2445926994135,3cyclictest0-21swapper/121:40:011
2445926994134,4cyclictest0-21swapper/100:20:391
2445926994133,4cyclictest0-21swapper/122:40:501
2445925994126,4cyclictest2481933-21latency_hist21:10:020
2445927994032,5cyclictest2592831-21grep23:25:532
2445927994029,6cyclictest0-21swapper/222:35:422
244592599403,29cyclictest2547826-21ssh22:30:420
244592599403,29cyclictest2547826-21ssh22:30:420
2445925994011,20cyclictest12350irq/32-eth023:40:480
2445927993931,5cyclictest420-21avahi-daemon23:05:442
2445927993927,7cyclictest0-21swapper/200:30:412
2445927993927,7cyclictest0-21swapper/200:30:412
2445927993927,4cyclictest0-21swapper/223:45:482
2445926993928,6cyclictest0-21swapper/123:15:341
2445926993927,8cyclictest420-21avahi-daemon23:33:371
244592699392,30cyclictest2588293-21ssh23:20:451
2445925993932,4cyclictest2648403-21fschecks_time00:35:340
2445925993932,4cyclictest2477402-21kworker/u8:7-nfsiod21:30:340
2445925993924,13cyclictest695-21cron19:55:000
244592799383,30cyclictest2632669-21ssh00:15:422
244592799383,28cyclictest2511482-21sh21:45:432
244592799383,28cyclictest2511482-21sh21:45:432
2445927993831,3cyclictest0-21swapper/220:20:012
2445927993827,8cyclictest2591020-21sh23:25:012
244592699386,24cyclictest650582-21cups-browsed20:10:461
244592699384,25cyclictest2531798-21ssh22:10:471
244592699383,28cyclictest2523682-21ssh22:00:461
2445926993830,4cyclictest2476555-21cut20:50:351
2445926993830,4cyclictest2476555-21cut20:50:351
2445926993826,9cyclictest2499028-21sh21:30:361
244592699382,29cyclictest2495533-21sh21:25:481
244592599383,27cyclictest2511597-21ssh21:45:470
244592599383,27cyclictest2511597-21ssh21:45:470
2445925993831,4cyclictest2639510-21munin-plugin-st00:25:010
2445927993727,6cyclictest2637291-21unixbench_multi00:20:542
2445926993729,5cyclictest2530460-21systemd-run22:10:011
2445926993728,6cyclictest2485976-21cron21:15:011
2445926993728,6cyclictest2485976-21cron21:15:011
2445926993727,6cyclictest2474403-21ls20:45:011
2445926993724,7cyclictest0-21swapper/119:25:461
2445925993731,3cyclictest2615204-21latency_hist23:55:010
2445925993731,3cyclictest2615204-21latency_hist23:55:010
2445925993729,5cyclictest2641363-21unixbench_singl00:25:530
2445925993727,2cyclictest0-21swapper/021:40:010
2445925993726,9cyclictest0-21swapper/023:40:010
2445927993628,5cyclictest439-21systemd-logind22:25:012
2445927993628,5cyclictest2574831-21cron23:05:012
2445927993628,5cyclictest2574831-21cron23:05:012
2445927993627,6cyclictest420-21avahi-daemon21:53:182
2445927993627,6cyclictest1-21systemd19:55:012
2445927993626,4cyclictest0-21swapper/200:00:492
2445927993625,8cyclictest2559907-21modprobe22:45:412
2445926993627,6cyclictest2458436-21fschecks_time19:50:341
2445926993625,9cyclictest2448644-21timerandwakeup19:15:501
2445926993624,5cyclictest0-21swapper/122:50:091
2445925993630,4cyclictest2572640-21sed23:00:580
2445925993630,4cyclictest2572640-21sed23:00:580
2445925993624,9cyclictest2450297-21unixbench_multi19:20:500
2445927993526,6cyclictest2619226-21cups-browsed00:14:002
2445927993526,4cyclictest0-21swapper/223:30:412
244592699354,27cyclictest2547869-21ssh22:30:431
244592699354,27cyclictest2547869-21ssh22:30:431
2445926993527,5cyclictest2643555-21munin-plugin-st00:30:011
2445926993527,5cyclictest0-21swapper/100:35:361
2445926993526,6cyclictest2559508-21fschecks_time22:45:341
2445926993525,6cyclictest0-21swapper/123:40:011
2445926993524,7cyclictest650582-21cups-browsed23:02:151
2445926993524,7cyclictest650582-21cups-browsed23:02:151
2445925993530,3cyclictest1051-21mta-sts-daemon22:40:520
2445925993528,4cyclictest2629187-21tail00:10:540
2445925993528,4cyclictest2563856-21needreboot22:50:380
2445925993527,5cyclictest650582-21cups-browsed21:20:280
2445925993526,7cyclictest2480402-21/usr/sbin/munin21:05:010
2445925993525,7cyclictest2506750-21basename21:40:320
2445927993428,3cyclictest0-21swapper/200:30:012
2445927993426,6cyclictest2564055-21ntpq22:50:442
244592699344,25cyclictest2515565-21ssh21:50:451
2445926993427,3cyclictest0-21swapper/100:00:001
2445926993425,4cyclictest0-21swapper/122:15:431
244592699342,15cyclictest2612515-21ntpq23:50:471
244592699342,15cyclictest2612515-21ntpq23:50:471
2445926993420,10cyclictest421-21dbus-daemon22:59:081
2445925993429,2cyclictest0-21swapper/000:00:000
2445925993428,4cyclictest2475607-21threads20:45:500
2445925993421,8cyclictest12350irq/32-eth021:10:480
2445925993421,8cyclictest12350irq/32-eth021:10:480
2445925993415,13cyclictest2523572-21ssh22:00:420
244592799338,21cyclictest2616527-21ssh23:55:462
2445927993327,3cyclictest0-21swapper/221:15:462
2445927993326,4cyclictest2502760-21aten2.4-expect21:35:322
2445927993324,6cyclictest1051-21mta-sts-daemon21:32:462
244592699333,23cyclictest2539674-21ssh22:20:391
2445926993324,5cyclictest2465726-21aten_r2power_fr20:15:301
2445926993323,4cyclictest2462956-21kworker/u8:12-xprtiod23:15:001
2445926993322,7cyclictest650582-21cups-browsed21:48:541
2445926993322,7cyclictest650582-21cups-browsed21:48:541
244592699332,24cyclictest2491312-21sh21:20:401
2445925993327,4cyclictest2477912-21fschecks_time20:55:370
2445925993327,3cyclictest0-21swapper/023:10:470
2445925993326,4cyclictest2468403-21cron20:25:010
2445925993325,4cyclictest0-21swapper/000:15:440
2445925993313,16cyclictest2515505-21ssh21:50:420
2445927993226,4cyclictest0-21swapper/221:00:012
2445927993224,5cyclictest2498196-21latency_hist21:30:022
244592799322,24cyclictest2519643-21ssh21:55:462
2445926993225,3cyclictest0-21swapper/100:15:411
244592699322,22cyclictest2487321-21ssh21:15:461
2445926993219,7cyclictest2544426-21unixbench_singl22:25:541
2445925993226,3cyclictest0-21swapper/023:20:460
2445925993225,5cyclictest2595051-21kworker/u8:0-rpciod23:50:020
2445925993225,4cyclictest0-21swapper/023:10:010
2445925993224,5cyclictest2591467-21/usr/sbin/munin23:25:540
2445927993125,3cyclictest0-21swapper/222:15:012
2445927993124,4cyclictest2448332-21ntp_offset19:15:422
2445927993123,5cyclictest650582-21cups-browsed22:40:482
2445927993123,5cyclictest2568620-21unixbench_singl22:55:532
2445927993123,5cyclictest2538639-21latency_hist22:20:022
2445927993122,4cyclictest0-21swapper/200:35:412
2445927993121,6cyclictest2624605-21kworker/u8:1-events_unbound00:10:022
2445927993121,6cyclictest2580687-21unixbench_multi23:10:522
244592699316,15cyclictest428-21mta-sts-daemon19:10:411
2445926993123,4cyclictest0-21swapper/121:05:001
244592599314,15cyclictest2531739-21ssh22:10:440
2445925993125,4cyclictest2465394-21idleruntime-cro20:15:010
2445925993122,6cyclictest420-21avahi-daemon22:29:360
2445925993121,7cyclictest2490059-21cron21:20:000
2445925993120,8cyclictest1056-21mta-sts-daemon00:00:440
2445925993117,4cyclictest1056-21mta-sts-daemon22:05:340
244592599311,27cyclictest2495268-21ssh21:25:390
2445927993021,6cyclictest261-21systemd-journal19:25:012
244592699306,12cyclictest761953-21munin-node20:45:391
2445925993024,4cyclictest1054-21mta-sts-daemon19:35:450
2445925993023,4cyclictest2559207-21aten_r2power_cu22:45:310
2445925993023,4cyclictest2552478-21unixbench_multi22:35:540
2445925993012,13cyclictest421-21dbus-daemon19:30:440
2445927992923,3cyclictest0-21swapper/222:25:522
2445927992922,3cyclictest0-21swapper/219:30:472
2445927992921,5cyclictest2454909-21systemctl19:40:012
2445926992921,5cyclictest2472898-21systemctl20:40:011
2445926992918,8cyclictest2469219-21needreboot20:25:371
2445925992923,3cyclictest0-21swapper/019:25:460
2445925992920,7cyclictest2596770-21timerwakeupswit23:30:530
2445927992822,3cyclictest0-21swapper/221:05:002
2445927992821,4cyclictest0-21swapper/220:20:342
244592799281,23cyclictest2584293-21sh23:15:462
2445926992822,4cyclictest1056-21mta-sts-daemon21:05:311
244592699281,6cyclictest171rcu_preempt19:30:401
2445925992821,4cyclictest2471389-21cron20:35:010
2445925992815,8cyclictest151ktimers/020:25:380
2445927992720,4cyclictest1054-21mta-sts-daemon20:10:322
2445927992719,5cyclictest2475895-21/usr/sbin/munin20:50:012
244592699272,18cyclictest2463307-21sendmail-mta20:05:411
2445926992720,5cyclictest0-21swapper/121:00:001
2445926992720,4cyclictest0-21swapper/120:00:311
2445926992718,6cyclictest2460242-21gcc19:55:401
2445925992722,3cyclictest2474289-21unixbench_multi20:40:520
2445925992722,3cyclictest0-21swapper/000:35:010
2445925992722,3cyclictest0-21swapper/000:35:010
2445925992721,4cyclictest2471850-21cpuspeed20:35:320
2445926992618,5cyclictest420-21avahi-daemon20:32:031
2445926992616,7cyclictest2454894-21cron19:40:011
2445926992615,7cyclictest2450353-21unixbench_singl19:20:501
2445925992620,4cyclictest2456472-21latency_hist19:45:020
2445927992519,3cyclictest0-21swapper/220:05:342
2445927992519,3cyclictest0-21swapper/219:10:452
2445927992518,5cyclictest2474326-21unixbench_singl20:40:522
2445927992516,6cyclictest650579-21cupsd19:55:402
2445926992515,5cyclictest0-21swapper/119:45:391
2445925992518,5cyclictest2463742-21unixbench-2d20:05:510
244592599251,19cyclictest421-21dbus-daemon20:05:010
2445927992418,3cyclictest0-21swapper/219:45:462
2445926992416,5cyclictest2456409-21cron19:45:001
2445925992417,4cyclictest2457374-21sh19:45:440
2445927992318,2cyclictest0-21swapper/219:40:332
2445927992317,3cyclictest0-21swapper/220:30:442
2445927992317,3cyclictest0-21swapper/219:10:012
244592799231,17cyclictest2472445-21ps20:35:472
244592699232,18cyclictest1051-21mta-sts-daemon20:20:411
2445925992319,3cyclictest2445924-21cyclictest19:15:390
2445925992317,4cyclictest2446309-21aten_r2power_vo19:10:290
2445925992316,5cyclictest421-21dbus-daemon19:10:010
2445925992315,5cyclictest151ktimers/019:55:420
2445925992216,4cyclictest2450435-21kworker/u8:1+xprtiod20:55:000
2445925992216,4cyclictest2450435-21kworker/u8:1+xprtiod20:55:000
2445927992114,5cyclictest2477398-21idleruntime-cro20:55:002
2445927992114,5cyclictest2477398-21idleruntime-cro20:55:002
2445927992014,3cyclictest0-21swapper/219:25:322
244592899192,10cyclictest0-21swapper/323:30:413
244592899184,6cyclictest0-21swapper/300:05:443
244592899181,9cyclictest0-21swapper/323:55:423
244592899172,8cyclictest0-21swapper/322:05:453
244592899172,8cyclictest0-21swapper/321:45:413
244592899172,8cyclictest0-21swapper/321:45:413
244592899172,8cyclictest0-21swapper/321:20:413
244592899172,8cyclictest0-21swapper/300:15:413
244592899171,5cyclictest0-21swapper/320:35:393
244592699171,11cyclictest1-21systemd19:10:011
244592899163,8cyclictest0-21swapper/300:20:463
244592899162,8cyclictest0-21swapper/323:50:443
244592899162,8cyclictest0-21swapper/323:50:443
244592899162,7cyclictest0-21swapper/320:20:443
244592899161,8cyclictest0-21swapper/323:40:473
244592899161,8cyclictest0-21swapper/322:35:403
244592899161,8cyclictest0-21swapper/320:55:463
244592899161,10cyclictest0-21swapper/300:00:443
244592899152,8cyclictest0-21swapper/323:15:413
244592899152,8cyclictest0-21swapper/322:10:443
244592899152,7cyclictest0-21swapper/323:35:403
244592899152,7cyclictest0-21swapper/322:15:443
244592899151,9cyclictest0-21swapper/323:25:483
244592899151,9cyclictest0-21swapper/321:50:423
244592899151,8cyclictest0-21swapper/321:30:393
244592899151,8cyclictest0-21swapper/320:45:403
244592899151,7cyclictest0-21swapper/322:20:393
244592899151,7cyclictest0-21swapper/319:40:453
244592899143,7cyclictest0-21swapper/322:50:423
244592899142,8cyclictest0-21swapper/323:10:443
244592899142,8cyclictest0-21swapper/322:45:343
244592899142,7cyclictest0-21swapper/321:35:503
244592899142,6cyclictest0-21swapper/323:45:443
244592899142,6cyclictest0-21swapper/322:30:413
244592899142,6cyclictest0-21swapper/322:30:413
244592899141,8cyclictest0-21swapper/321:15:403
244592899141,7cyclictest0-21swapper/321:55:403
244592899141,7cyclictest0-21swapper/320:00:423
244592899141,7cyclictest0-21swapper/319:35:493
244592899141,6cyclictest0-21swapper/322:25:393
244592899141,6cyclictest0-21swapper/320:05:393
244592899141,6cyclictest0-21swapper/319:55:423
244592899132,7cyclictest0-21swapper/323:20:443
244592899132,7cyclictest0-21swapper/322:40:463
244592899132,5cyclictest0-21swapper/321:00:423
244592899131,8cyclictest0-21swapper/322:00:413
244592899131,8cyclictest0-21swapper/321:40:413
244592899131,8cyclictest0-21swapper/300:25:423
244592899131,7cyclictest0-21swapper/321:10:413
244592899131,7cyclictest0-21swapper/321:10:413
244592899131,6cyclictest0-21swapper/319:30:443
244592899131,6cyclictest0-21swapper/319:10:393
244592899123,7cyclictest0-21swapper/320:25:403
244592899123,6cyclictest0-21swapper/323:00:343
244592899123,6cyclictest0-21swapper/323:00:343
244592899122,7cyclictest0-21swapper/300:35:393
244592899122,6cyclictest0-21swapper/321:10:013
244592899122,6cyclictest0-21swapper/320:30:433
244592899122,5cyclictest0-21swapper/320:40:403
244592899121,8cyclictest0-21swapper/300:10:423
244592899121,7cyclictest0-21swapper/321:25:393
244592899121,7cyclictest0-21swapper/300:30:393
244592899121,7cyclictest0-21swapper/300:30:393
244592899121,6cyclictest0-21swapper/320:15:413
244592899121,5cyclictest0-21swapper/319:45:383
244592899113,5cyclictest0-21swapper/322:55:343
244592899112,6cyclictest0-21swapper/319:20:383
244592899111,6cyclictest0-21swapper/323:05:333
244592899111,6cyclictest0-21swapper/319:50:403
244592899111,6cyclictest0-21swapper/319:25:333
244592899111,6cyclictest0-21swapper/319:20:023
244592899101,6cyclictest0-21swapper/320:10:423
244592899101,5cyclictest0-21swapper/320:50:293
244592899101,5cyclictest0-21swapper/320:50:293
24459289981,5cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional