You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-08 - 08:27

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Sat Aug 08, 2026 00:45:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2894873999148,39cyclictest2929354-21/usr/sbin/munin22:10:010
2894873998884,2cyclictest0-21swapper/020:00:060
2894873998624,57cyclictest2987819-21ssh00:11:570
2894873998427,38cyclictest2925741-21ssh22:02:080
2894873998420,15cyclictest2914881-21ssh21:39:320
2894873998416,15cyclictest2999815-21ssh00:36:360
2894873998416,15cyclictest2999815-21ssh00:36:350
2894873998228,37cyclictest2938240-21ssh22:28:410
2894873998124,38cyclictest2945585-21ssh22:44:200
2894873998124,38cyclictest2945585-21ssh22:44:190
289487399791,74cyclictest2980707-21ssh23:57:200
289487399791,73cyclictest0-21swapper/000:31:150
2894880997849,16cyclictest30-21ksoftirqd/220:40:022
2894873997826,47cyclictest2902374-21ssh21:12:420
289487399782,59cyclictest2952831-21ssh22:59:460
289487399779,11cyclictest2920421-21ssh21:50:480
2894873997716,6cyclictest16850irq/134-800000021:40:210
289487399771,11cyclictest2960436-21ssh23:15:180
2894873997627,46cyclictest16850irq/134-800000023:25:020
2894873997518,6cyclictest16850irq/134-800000022:52:480
2894873997518,6cyclictest16850irq/134-800000022:52:470
289487399751,58cyclictest2967166-21ssh23:29:360
289487399745,17cyclictest16850irq/134-800000023:48:550
289487399744,64cyclictest364-21snmpd22:16:330
2894873997416,52cyclictest16850irq/134-800000021:48:140
2894873997332,23cyclictest2973189-21ssh23:41:460
2894873997324,31cyclictest2946553-21ssh22:46:040
2894873997317,6cyclictest16850irq/134-800000023:37:500
2894873997315,53cyclictest16850irq/134-800000023:10:330
2894873997314,6cyclictest16850irq/134-800000022:13:330
2894873997232,36cyclictest16850irq/134-800000023:55:010
2894873997226,30cyclictest2969608-21ssh23:34:440
2894873997226,24cyclictest2939163-21ssh22:30:190
2894873997219,13cyclictest2989462-21kworker/u8:000:30:020
289487399705,18cyclictest16850irq/134-800000000:01:000
2894873997028,38cyclictest2993235-21ssh00:23:080
2894873997014,12cyclictest2936025-21ssh22:24:000
2894883996922,42cyclictest2967421-21latency_hist23:30:023
289488399692,18cyclictest2985952-21ssh00:08:103
289488399692,17cyclictest2925657-21ssh22:01:583
289488099695,47cyclictest2981884-40mandb00:00:032
289488399682,19cyclictest2942541-21ssh22:37:513
289488399681,12cyclictest2916205-21sshd21:41:583
2894877996843,5cyclictest131rcu_preempt20:40:021
289487399682,7cyclictest2897401-21munin-run20:00:010
289487399682,7cyclictest2897401-21munin-run20:00:000
2894873996822,40cyclictest2901247-21wc21:10:030
2894873996814,13cyclictest2953630-21ssh23:00:540
2894873996813,50cyclictest16850irq/134-800000000:09:290
289488399672,13cyclictest2937679-21sh22:27:223
2894873996719,44cyclictest2911531-21rm21:32:070
289488399662,19cyclictest3001325-21ssh00:39:543
289488399662,19cyclictest3001325-21ssh00:39:543
289488399662,18cyclictest2968945-21ssh23:33:123
2894883996615,47cyclictest3467602-21systemd-journal20:45:033
289487399668,17cyclictest16850irq/134-800000021:22:540
289487399668,13cyclictest2957356-21ssh23:09:130
289487399661,60cyclictest0-21swapper/000:19:170
2894873996613,5cyclictest16850irq/134-800000021:28:320
289488399652,12cyclictest48-21kcompactd000:29:193
289488399652,10cyclictest2895575-21sshd19:21:323
289488399651,11cyclictest2905058-21sshd21:18:313
289488399651,11cyclictest2905058-21sshd21:18:303
2894880996532,21cyclictest30-21ksoftirqd/220:35:012
2894880996532,21cyclictest30-21ksoftirqd/220:35:002
2894873996521,12cyclictest2924127-21ssh21:58:560
289487399651,60cyclictest0-21swapper/022:35:400
289488399642,6cyclictest131rcu_preempt23:05:323
2894883996426,33cyclictest2918068-21sh21:45:523
2894883996417,43cyclictest2947084-21sh22:47:203
289488399641,18cyclictest2939173-21ssh22:30:213
2894880996434,19cyclictest30-21ksoftirqd/223:25:022
2894873996423,34cyclictest2900496-21cron21:00:000
289488399635,5cyclictest2895279-21sshd19:15:313
289488399635,5cyclictest2895279-21sshd19:15:313
289488399632,15cyclictest2936463-21munin-run22:25:013
2894883996215,42cyclictest3467602-21systemd-journal22:10:003
289488399621,14cyclictest2949535-21ssh22:52:293
289488399621,14cyclictest2949535-21ssh22:52:283
289488399621,12cyclictest2974144-21ssh23:43:553
2894873996219,6cyclictest16850irq/134-800000019:46:310
289488399612,13cyclictest2962481-21munin-run23:20:003
2894883996120,37cyclictest37-21ksoftirqd/323:36:563
289488399611,12cyclictest2933876-21ssh22:19:333
2894877996140,15cyclictest275-21dbus-daemon20:19:591
289487399611,55cyclictest0-21swapper/020:12:310
289487399611,55cyclictest0-21swapper/020:12:300
289488399603,17cyclictest2977737-21ssh23:51:043
2894883996020,36cyclictest37-21ksoftirqd/321:14:203
289488399601,8cyclictest2997776-21ssh00:32:263
289488399601,8cyclictest2991528-21ssh00:19:553
289488399601,12cyclictest2992487-21sshd00:21:313
289488399591,12cyclictest2896877-21cron19:50:003
289487399592,15cyclictest2895327-21sendmail19:20:000
289487399592,15cyclictest2895327-21sendmail19:19:590
289488399583,16cyclictest2895857-21munin-run19:30:013
289488399581,9cyclictest364-21snmpd22:14:113
289488399581,9cyclictest2909883-21ssh21:28:453
289488399581,15cyclictest2954506-21ssh23:03:053
289488399581,13cyclictest2896084-21sshd19:32:323
289488399581,13cyclictest2896084-21sshd19:32:313
289488399573,5cyclictest2899447-21sshd20:36:483
289488399572,9cyclictest48-21kcompactd021:50:033
289488399572,8cyclictest2964906-21cron23:25:003
289488399572,6cyclictest2898733-21munin-run20:25:023
289488399572,20cyclictest1-21systemd21:10:003
289488399572,18cyclictest2958692-21ssh23:11:473
289488399572,17cyclictest2923300-21ssh21:57:023
289488399572,13cyclictest2979738-21ssh23:55:083
2894883995721,32cyclictest2913374-21sh21:35:513
289488399572,12cyclictest2900764-21modprobe21:01:533
289488399571,14cyclictest2900259-21munin-run20:54:593
289488399571,11cyclictest48-21kcompactd022:44:053
289488399571,11cyclictest48-21kcompactd022:44:043
2894873995720,32cyclictest0-21swapper/021:02:520
2894873995715,5cyclictest16850irq/134-800000021:16:250
2894873995715,5cyclictest16850irq/134-800000021:16:240
2894873995714,9cyclictest309-21in:imuxsock20:22:310
2894873995714,9cyclictest2895044-21sshd19:13:300
2894873995714,9cyclictest2895044-21sshd19:13:300
289488399563,15cyclictest2951542-21sh22:56:453
289488399562,20cyclictest2976234-21ssh23:48:143
289488399562,17cyclictest2899754-21munin-run20:45:003
289488399562,14cyclictest1-21systemd20:10:003
289488399562,13cyclictest2911821-21ssh21:32:433
289488399561,16cyclictest2895030-21sendmail-mta19:10:463
289488399561,16cyclictest2895030-21sendmail-mta19:10:453
289488399561,12cyclictest2907547-21ssh21:23:473
289488099569,7cyclictest131rcu_preempt21:45:012
2894880995625,13cyclictest30-21ksoftirqd/223:10:012
289487399562,19cyclictest2899894-21wc20:45:020
289487399562,15cyclictest2899480-21modprobe20:39:590
2894873995615,6cyclictest2896652-21unin-run19:45:000
289488399552,12cyclictest364-21snmpd19:36:183
289488399551,9cyclictest364-21snmpd19:42:543
289488399551,12cyclictest2987850-21sh00:12:013
2894877995546,6cyclictest2942777-1kworker/u9:122:39:121
2894883995437,13cyclictest2900522-21systemctl21:00:013
289488399541,13cyclictest2982228-21sh00:00:113
2894880995443,7cyclictest2934145-21kworker/2:223:00:012
2894880995442,7cyclictest2899513-21kworker/2:221:24:352
2894877995436,13cyclictest1-21systemd21:30:001
289487399543,17cyclictest3467602-21systemd-journal19:30:010
2894873995425,26cyclictest2895600-21latency_hist19:25:020
2894873995423,27cyclictest12-21ksoftirqd/019:40:000
289487399542,17cyclictest2898974-21cut20:29:590
289488399532,5cyclictest364-21snmpd19:52:123
2894883995321,28cyclictest310-21in:imklog19:57:263
2894883995321,28cyclictest310-21in:imklog19:57:253
2894880995345,5cyclictest2910428-21kworker/2:322:43:542
2894880995345,5cyclictest2910428-21kworker/2:322:43:532
2894880995343,7cyclictest2981974-21kworker/2:000:29:292
2894880995342,6cyclictest2919929-21kworker/2:022:13:592
2894880995312,5cyclictest131rcu_preempt22:07:582
2894880995244,5cyclictest2910428-21kworker/2:323:47:012
2894880995244,5cyclictest2910428-21kworker/2:322:36:462
2894880995241,6cyclictest2910428-21kworker/2:300:38:402
2894880995241,6cyclictest2910428-21kworker/2:300:38:402
2894880995239,9cyclictest30-21ksoftirqd/221:37:272
2894880995237,7cyclictest2910428-21kworker/2:323:19:472
2894880995236,9cyclictest2895602-21munin-plugin-st19:25:002
2894873995215,7cyclictest12-21ksoftirqd/019:55:030
2894880995144,5cyclictest2934145-21kworker/2:223:03:032
2894880995143,5cyclictest2981974-21kworker/2:000:10:192
2894880995143,5cyclictest2960113-21kworker/2:123:28:582
2894880995143,5cyclictest2934145-21kworker/2:223:12:442
2894880995143,5cyclictest2934145-21kworker/2:222:51:252
2894880995143,5cyclictest2934145-21kworker/2:222:51:252
2894880995143,5cyclictest2910428-21kworker/2:322:29:342
2894880995143,5cyclictest2910428-21kworker/2:300:21:392
2894880995143,5cyclictest2899513-21kworker/2:221:48:422
2894880995143,5cyclictest2899513-21kworker/2:221:27:452
2894880995143,5cyclictest2886039-21kworker/2:121:18:562
2894880995143,5cyclictest2886039-21kworker/2:121:18:552
2894880995143,5cyclictest2886039-21kworker/2:121:14:582
2894880995142,6cyclictest2910428-21kworker/2:321:53:382
2894880995142,6cyclictest2910428-21kworker/2:300:18:132
289487399514,15cyclictest2900359-21grep20:55:020
289487399512,43cyclictest2897924-21munin-run20:10:000
2894873995122,25cyclictest2900140-21latency_hist20:50:030
289487399512,17cyclictest2899235-21munin-run20:35:020
289487399512,17cyclictest2899235-21munin-run20:35:020
289488399503,5cyclictest0-21swapper/320:35:033
289488399503,5cyclictest0-21swapper/320:35:023
289488399501,12cyclictest364-21snmpd20:02:123
2894880995042,6cyclictest2910428-21kworker/2:300:03:282
2894880995042,5cyclictest2960113-21kworker/2:123:40:492
2894880995042,5cyclictest2934145-21kworker/2:222:30:092
2894880995042,5cyclictest2919929-21kworker/2:022:20:182
2894880995042,5cyclictest2910428-21kworker/2:323:53:352
2894880995042,5cyclictest2910428-21kworker/2:323:36:562
2894880995042,5cyclictest2910428-21kworker/2:321:30:312
2894880995042,5cyclictest2910428-21kworker/2:300:31:522
2894880995042,5cyclictest2910428-21kworker/2:300:07:142
2894880995042,5cyclictest2886039-21kworker/2:119:51:092
2894880995040,6cyclictest2910428-21kworker/2:321:57:542
2894877995034,12cyclictest2919905-21systemd-run21:50:011
2894877995030,14cyclictest275-21dbus-daemon20:50:011
289487399502,18cyclictest2896094-21cron19:35:010
289487399502,18cyclictest2896094-21cron19:35:000
289488399496,6cyclictest0-21swapper/320:10:103
289488399496,6cyclictest0-21swapper/320:10:103
289488399491,16cyclictest1-21systemd20:20:003
2894880994942,4cyclictest2910428-21kworker/2:322:00:172
2894880994941,5cyclictest2960113-21kworker/2:123:31:232
2894880994941,5cyclictest2910428-21kworker/2:322:47:142
2894880994941,5cyclictest2895613-21kworker/2:019:41:382
289488399483,6cyclictest364-21snmpd20:28:433
2894880994840,5cyclictest2919929-21kworker/2:022:15:402
2894880994840,5cyclictest2886039-21kworker/2:120:58:042
2894880994840,5cyclictest2886039-21kworker/2:120:18:062
2894880994840,5cyclictest2886039-21kworker/2:120:11:432
2894880994840,5cyclictest2886039-21kworker/2:120:11:422
2894880994840,5cyclictest2886039-21kworker/2:120:00:032
2894880994840,5cyclictest2886039-21kworker/2:120:00:032
2894880994840,5cyclictest2879673-21kworker/2:219:10:312
2894880994840,5cyclictest2879673-21kworker/2:219:10:302
2894880994835,9cyclictest30-21ksoftirqd/220:55:012
289488399476,35cyclictest0-21swapper/319:10:023
2894880994740,5cyclictest2886039-21kworker/2:119:26:162
2894880994739,5cyclictest2886039-21kworker/2:121:08:102
2894880994739,5cyclictest2886039-21kworker/2:120:45:152
2894880994739,5cyclictest2886039-21kworker/2:120:20:072
2894880994739,5cyclictest2886039-21kworker/2:120:06:092
2894880994739,5cyclictest2886039-21kworker/2:120:00:312
2894880994739,5cyclictest2886039-21kworker/2:119:33:192
2894880994739,5cyclictest2886039-21kworker/2:119:33:182
2894880994736,5cyclictest2886039-21kworker/2:121:01:142
2894877994731,11cyclictest2945930-21systemd-run22:45:011
2894877994731,11cyclictest2945930-21systemd-run22:45:011
2894877994728,15cyclictest23-21ksoftirqd/121:20:011
2894877994728,15cyclictest23-21ksoftirqd/121:20:011
2894877994723,5cyclictest23-21ksoftirqd/123:13:351
2894880994638,5cyclictest2886039-21kworker/2:120:40:362
2894880994638,5cyclictest2886039-21kworker/2:120:25:492
2894880994638,5cyclictest2886039-21kworker/2:119:45:582
2894880994638,5cyclictest2886039-21kworker/2:119:35:182
2894880994637,6cyclictest2886039-21kworker/2:119:15:272
2894880994637,6cyclictest2886039-21kworker/2:119:15:272
2894877994631,11cyclictest3467602-21systemd-journal00:00:011
2894877994629,11cyclictest0-21swapper/121:25:021
2894877994531,10cyclictest2951907-21sshd22:57:311
2894877994527,12cyclictest275-21dbus-daemon23:25:001
289487799441,4cyclictest131rcu_preempt00:30:471
2894877994328,12cyclictest275-21dbus-daemon23:55:011
289487799432,7cyclictest131rcu_preempt22:20:011
2894873994310,4cyclictest131rcu_preempt20:15:030
2894877994229,10cyclictest23-21ksoftirqd/122:13:511
2894877994227,10cyclictest2897393-21cron20:00:011
2894877994227,10cyclictest2897393-21cron20:00:001
2894877994224,11cyclictest1-21systemd19:40:011
2894877994219,4cyclictest23-21ksoftirqd/121:44:501
2894877994210,4cyclictest3467718-21lldpd22:21:021
289487799419,7cyclictest131rcu_preempt20:15:011
289487799419,7cyclictest131rcu_preempt20:15:001
2894877994126,11cyclictest2924580-21cron22:00:001
2894877994126,11cyclictest23-21ksoftirqd/100:07:201
2894877994125,12cyclictest2962479-21ssh23:20:011
2894877994125,10cyclictest310-21in:imklog23:35:511
2894877994119,16cyclictest3467602-21systemd-journal19:45:001
2894877994116,15cyclictest131rcu_preempt23:41:221
289487799403,3cyclictest131rcu_preempt21:33:261
2894877994030,6cyclictest2903034-21sh21:14:161
2894877994029,9cyclictest23-21ksoftirqd/100:19:191
2894877994026,10cyclictest23-21ksoftirqd/100:38:261
2894877994026,10cyclictest23-21ksoftirqd/100:38:261
289487799399,5cyclictest131rcu_preempt21:37:051
2894877993931,4cyclictest2895855-21munin-plugin-st19:29:591
2894877993929,8cyclictest23-21ksoftirqd/100:27:471
2894877993928,8cyclictest23-21ksoftirqd/100:24:541
2894877993927,9cyclictest23-21ksoftirqd/123:28:441
2894877993927,9cyclictest23-21ksoftirqd/122:01:411
2894877993926,9cyclictest284-21systemd-logind23:34:001
2894877993925,11cyclictest23-21ksoftirqd/100:00:521
2894877993924,11cyclictest3467602-21systemd-journal20:30:011
289487799391,3cyclictest131rcu_preempt23:06:261
2894877993828,8cyclictest23-21ksoftirqd/122:06:521
2894877993827,9cyclictest23-21ksoftirqd/121:53:371
2894877993827,8cyclictest3467602-21systemd-journal20:57:311
2894877993826,9cyclictest23-21ksoftirqd/122:35:011
2894877993825,10cyclictest23-21ksoftirqd/122:45:251
2894877993727,8cyclictest23-21ksoftirqd/120:00:341
2894877993726,8cyclictest23-21ksoftirqd/122:50:281
2894877993726,8cyclictest23-21ksoftirqd/122:50:271
2894877993725,9cyclictest23-21ksoftirqd/121:00:311
289487799371,4cyclictest131rcu_preempt23:46:001
289487799371,3cyclictest131rcu_preempt00:12:501
289488099368,5cyclictest131rcu_preempt19:10:022
2894877993627,7cyclictest23-21ksoftirqd/123:02:461
2894877993625,6cyclictest309-21in:imuxsock21:10:001
289487799354,4cyclictest131rcu_preempt20:55:001
2894877993524,9cyclictest23-21ksoftirqd/122:29:361
2894877993520,11cyclictest1-21systemd19:25:001
2894877993518,13cyclictest275-21dbus-daemon19:50:001
2894877993423,7cyclictest23-21ksoftirqd/119:17:321
2894877993423,7cyclictest23-21ksoftirqd/119:17:311
2894877993422,9cyclictest284-21systemd-logind20:32:001
2894877993422,9cyclictest284-21systemd-logind20:31:591
2894877993420,10cyclictest1-21systemd19:55:011
289487399348,16cyclictest0-21swapper/019:10:020
289487799332,3cyclictest131rcu_preempt19:15:011
289487799332,3cyclictest131rcu_preempt19:15:001
2894877993321,10cyclictest23-21ksoftirqd/120:45:001
2894877993224,4cyclictest2894804-21latency_hist19:10:021
2894877993222,8cyclictest23-21ksoftirqd/120:25:021
2894877993219,9cyclictest2896310-21date19:35:031
2894877993219,9cyclictest2896310-21date19:35:021
2894877993121,7cyclictest23-21ksoftirqd/120:07:401
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional