You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-12 - 10:44

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Sun Jul 12, 2026 00:45:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2646538998733,48cyclictest1-21systemd00:00:013
2646538998136,40cyclictest275-21dbus-daemon21:20:023
2646538997529,10cyclictest3467602-21systemd-journal22:42:323
2646538996927,6cyclictest2648017-21sendmail19:40:013
264653499692,15cyclictest2646700-21sshd19:13:342
2646538996820,15cyclictest2711228-21sshd23:13:333
264653499672,14cyclictest2707085-21munin-run23:05:012
2646534996624,37cyclictest2657402-21sh21:19:432
264653499662,17cyclictest2735379-21munin-run00:05:002
264653499662,17cyclictest2735379-21munin-run00:05:002
264653499662,16cyclictest2651672-21munin-run20:50:002
2646538996523,9cyclictest37-21ksoftirqd/300:10:003
264653499652,58cyclictest2732989-40mandb00:00:012
264653499652,16cyclictest2692852-21munin-run22:35:002
264653499652,15cyclictest2648561-21munin-run19:50:012
264653499651,14cyclictest2649816-21sshd20:14:332
264653899645,16cyclictest364-21snmpd23:50:003
264653899644,21cyclictest2667007-21modprobe21:40:013
2646534996418,41cyclictest0-21swapper/223:00:012
264653499641,14cyclictest364-21snmpd21:30:562
2646528996421,38cyclictest48-21kcompactd023:00:110
264653499631,16cyclictest48-21kcompactd023:45:202
2646534996311,3cyclictest0-21swapper/221:06:132
2646538996231,8cyclictest37-21ksoftirqd/321:30:003
2646534996224,34cyclictest30-21ksoftirqd/223:08:352
2646534996224,34cyclictest30-21ksoftirqd/223:08:352
264653499622,13cyclictest2711224-21sshd23:13:332
264653499622,13cyclictest2697623-21munin-run22:45:012
264653499621,13cyclictest48-21kcompactd021:46:062
264653499621,12cyclictest2675304-21ssh21:57:182
2646532996214,7cyclictest23-21ksoftirqd/123:35:001
2646534996154,4cyclictest0-21swapper/222:50:022
2646534996125,32cyclictest30-21ksoftirqd/222:02:512
264653499612,17cyclictest2685907-21grep22:20:022
264653499612,13cyclictest2655165-21munin-run21:15:002
264653499611,14cyclictest2652492-21munin-run21:05:002
264653499611,11cyclictest2648801-21munin-plugin-st19:55:002
2646532996117,10cyclictest23-21ksoftirqd/100:18:121
2646532996113,8cyclictest23-21ksoftirqd/100:25:001
264653499602,18cyclictest2668848-21ssh21:43:482
264653499602,15cyclictest2649592-21systemd-run20:10:002
2646534996020,36cyclictest2679471-21sh22:06:122
264653499601,13cyclictest2673936-21sshd21:54:332
264653499601,12cyclictest2660874-21ssh21:26:412
2646528996019,34cyclictest16850irq/134-800000021:35:010
264653899594,22cyclictest2651626-21kworker/u8:221:09:593
264653299598,13cyclictest2663837-21ssh21:33:061
2646532995912,10cyclictest23-21ksoftirqd/121:15:021
2646528995929,26cyclictest16850irq/134-800000023:23:450
2646528995929,15cyclictest2660600-21ssh21:26:060
2646538995822,8cyclictest309-21in:imuxsock00:15:013
2646538995822,8cyclictest309-21in:imuxsock00:15:013
2646534995834,20cyclictest2715604-21sh23:22:452
264653499583,12cyclictest2721274-21ssh23:35:002
2646534995826,29cyclictest2741707-21sh00:18:262
2646534995814,41cyclictest0-21swapper/222:25:012
264652899588,14cyclictest2738070-21ssh00:10:200
264652899588,14cyclictest2738070-21ssh00:10:200
2646528995830,13cyclictest2699351-21ssh22:48:420
2646528995819,35cyclictest16850irq/134-800000021:15:420
2646528995819,31cyclictest16850irq/134-800000022:13:180
2646538995727,11cyclictest37-21ksoftirqd/323:50:043
264653899572,23cyclictest2678986-21latency_hist22:05:013
264653499572,14cyclictest364-21snmpd19:26:032
2646534995718,35cyclictest2724766-21rm23:42:052
264653499571,14cyclictest2695237-21munin-plugin-st22:40:002
264653499571,12cyclictest2658968-21ssh21:22:492
264653299577,9cyclictest23-21ksoftirqd/121:20:021
2646532995740,13cyclictest1-21systemd19:45:001
2646532995711,8cyclictest0-21swapper/123:28:351
2646532995711,8cyclictest0-21swapper/123:28:351
2646528995728,13cyclictest2683702-21ssh22:15:090
2646528995727,14cyclictest2732431-21ssh23:58:390
264652899571,41cyclictest2686849-21ssh22:21:570
264652899571,40cyclictest0-21swapper/021:55:010
2646538995626,8cyclictest37-21ksoftirqd/322:57:343
2646538995626,16cyclictest2742370-21cron00:20:003
2646534995647,6cyclictest2651668-21kworker/2:121:36:002
264653499563,19cyclictest2716881-21ssh23:25:152
264653499563,19cyclictest2716881-21ssh23:25:152
264653499563,14cyclictest2648284-21cron19:45:002
264653499562,12cyclictest2748274-21ssh00:32:152
264653499562,11cyclictest364-21snmpd00:23:252
2646534995619,32cyclictest30-21ksoftirqd/219:57:382
264653499561,15cyclictest2739335-21ssh00:13:192
264653499561,15cyclictest2739335-21ssh00:13:192
264653499561,13cyclictest364-21snmpd20:15:052
264653499561,13cyclictest2649296-21sshd20:00:332
2646528995637,4cyclictest16850irq/134-800000023:00:010
2646528995627,15cyclictest2718931-21ssh23:30:010
2646528995627,15cyclictest2718931-21ssh23:30:010
2646528995627,13cyclictest2676759-21ssh22:00:070
2646528995618,34cyclictest16850irq/134-800000021:14:330
264653499559,10cyclictest2723663-21sh23:40:012
264653499559,10cyclictest2723663-21sh23:40:012
264653499552,15cyclictest364-21snmpd20:21:232
264653499552,14cyclictest48-21kcompactd019:40:022
264653499552,14cyclictest2689373-21sh22:27:322
2646534995521,30cyclictest2729502-21sh23:52:182
2646534995517,34cyclictest30-21ksoftirqd/200:36:092
2646534995517,34cyclictest30-21ksoftirqd/200:36:092
264653499551,13cyclictest2712664-21ssh23:16:262
264653499551,13cyclictest2712664-21ssh23:16:262
264653299555,14cyclictest2689364-21ssh22:27:311
264653299553,15cyclictest2734233-21ssh00:02:191
264653299553,15cyclictest2734233-21ssh00:02:191
2646532995519,6cyclictest2685770-21latency_hist22:20:021
264652899556,44cyclictest1-21systemd22:31:330
2646528995529,11cyclictest2696239-21ssh22:41:590
264652899552,6cyclictest131rcu_preempt21:47:480
2646528995526,14cyclictest2659882-21ssh21:24:560
2646528995523,16cyclictest2666383-21ssh21:38:390
2646528995521,30cyclictest2744746-21munin-run00:25:010
2646528995520,6cyclictest2648251-21sed19:40:030
2646528995519,32cyclictest16850irq/134-800000000:06:240
2646528995511,9cyclictest12-21ksoftirqd/023:13:490
264653499545,44cyclictest2647253-21modprobe19:25:012
264653499545,44cyclictest2647253-21modprobe19:25:012
264653499543,10cyclictest2747219-21latency_hist00:30:022
264653499543,10cyclictest2747219-21latency_hist00:30:022
2646534995429,22cyclictest2735823-21sh00:05:292
264653499542,15cyclictest2647766-21munin-run19:35:002
264653499542,13cyclictest2646609-21wc19:10:022
2646534995418,33cyclictest2652745-21diskmemload22:51:022
264653299545,11cyclictest23-21ksoftirqd/123:48:161
2646532995434,16cyclictest275-21dbus-daemon21:05:011
2646528995421,28cyclictest16850irq/134-800000023:50:110
264652899542,11cyclictest2646994-21cut19:19:590
2646528995420,29cyclictest16850irq/134-800000022:26:490
2646528995419,31cyclictest16850irq/134-800000021:58:450
2646528995418,7cyclictest16850irq/134-800000022:38:510
2646528995418,7cyclictest16850irq/134-800000021:40:240
2646528995418,32cyclictest16850irq/134-800000022:06:500
2646528995413,10cyclictest12-21ksoftirqd/020:45:010
264653499535,8cyclictest0-21swapper/220:35:012
264653499532,12cyclictest2682603-21rm22:13:002
264653499531,13cyclictest2651922-21dpkg20:54:022
264653299532,16cyclictest2705728-21rm23:01:521
2646532995316,7cyclictest23-21ksoftirqd/100:11:161
2646532995316,7cyclictest23-21ksoftirqd/100:11:161
2646532995311,8cyclictest23-21ksoftirqd/123:45:011
2646528995335,14cyclictest275-21dbus-daemon20:15:010
2646528995319,31cyclictest16850irq/134-800000000:00:340
2646528995319,31cyclictest16850irq/134-800000000:00:340
2646528995319,30cyclictest16850irq/134-800000022:51:400
2646528995318,6cyclictest16850irq/134-800000023:43:490
2646528995318,6cyclictest16850irq/134-800000000:26:180
2646528995318,6cyclictest16850irq/134-800000000:26:180
2646528995318,31cyclictest16850irq/134-800000000:36:070
2646528995318,31cyclictest16850irq/134-800000000:36:070
2646528995312,10cyclictest3467602-21systemd-journal23:38:000
2646528995312,10cyclictest3467602-21systemd-journal23:38:000
2646534995219,29cyclictest30-21ksoftirqd/220:45:012
2646532995215,9cyclictest23-21ksoftirqd/121:48:081
2646532995215,5cyclictest0-21swapper/122:55:101
2646528995218,6cyclictest16850irq/134-800000023:07:030
2646528995218,6cyclictest16850irq/134-800000023:07:030
2646528995217,6cyclictest16850irq/134-800000023:46:200
2646528995217,31cyclictest16850irq/134-800000023:17:060
2646528995217,31cyclictest16850irq/134-800000023:17:060
2646528995217,31cyclictest16850irq/134-800000000:33:120
2646528995211,9cyclictest0-21swapper/020:04:330
2646538995142,6cyclictest0-21swapper/320:35:023
2646538995133,13cyclictest3467602-21systemd-journal22:50:033
264653499512,17cyclictest311-21rs:main2
2646534995114,8cyclictest2646999-21sendmail19:20:002
264653299519,10cyclictest23-21ksoftirqd/119:40:011
264653299516,10cyclictest23-21ksoftirqd/123:52:551
2646532995113,7cyclictest0-21swapper/121:29:071
2646528995117,31cyclictest16850irq/134-800000023:34:220
2646528995116,6cyclictest16850irq/134-800000000:17:320
2646528995113,7cyclictest12-21ksoftirqd/021:10:010
2646538995035,12cyclictest2669194-21sshd21:44:333
264653299508,6cyclictest2713057-21ssh23:17:241
264653299508,6cyclictest2713057-21ssh23:17:241
264653299508,13cyclictest2746552-21ssh00:28:471
264653299508,13cyclictest2746552-21ssh00:28:471
264653299505,7cyclictest23-21ksoftirqd/123:36:041
264653299505,7cyclictest23-21ksoftirqd/123:36:041
264653299505,6cyclictest23-21ksoftirqd/119:55:021
264653299502,13cyclictest2649061-21munin-run20:00:001
2646532995012,8cyclictest23-21ksoftirqd/121:20:431
2646532995012,8cyclictest0-21swapper/122:39:471
264653299501,13cyclictest2731024-21sh23:55:221
264652899506,40cyclictest0-21swapper/020:35:010
2646538994921,24cyclictest37-21ksoftirqd/300:00:263
2646538994921,24cyclictest37-21ksoftirqd/300:00:263
2646534994920,25cyclictest30-21ksoftirqd/220:25:332
264653299499,8cyclictest0-21swapper/123:23:481
264653299497,6cyclictest2710721-21ssh23:12:201
2646532994936,10cyclictest1-21systemd22:15:001
2646528994928,16cyclictest275-21dbus-daemon19:30:000
264653299488,5cyclictest131rcu_preempt21:56:331
264653299485,9cyclictest23-21ksoftirqd/122:40:161
264653299485,7cyclictest23-21ksoftirqd/121:39:451
2646532994811,7cyclictest23-21ksoftirqd/121:10:011
264652899485,38cyclictest1418100-1kworker/0:0H20:25:010
2646538994732,11cyclictest1-21systemd19:30:013
2646538994713,23cyclictest2652200-21modprobe21:00:013
2646538994712,5cyclictest131rcu_preempt21:49:413
264653499472,19cyclictest2652260-21wc21:00:022
264653299471,13cyclictest23-21ksoftirqd/120:50:011
264653899465,4cyclictest131rcu_preempt19:20:023
2646538994612,7cyclictest131rcu_preempt22:24:333
264653299469,9cyclictest23-21ksoftirqd/100:33:191
264653299464,8cyclictest23-21ksoftirqd/122:50:301
2646532994617,6cyclictest131rcu_preempt22:35:011
2646532994613,8cyclictest23-21ksoftirqd/122:21:031
264653299457,7cyclictest23-21ksoftirqd/100:36:091
264653299457,7cyclictest23-21ksoftirqd/100:36:091
264653299453,8cyclictest23-21ksoftirqd/123:05:501
264653299453,8cyclictest23-21ksoftirqd/123:05:501
264653899445,26cyclictest361rcuc/322:10:023
2646538994429,12cyclictest275-21dbus-daemon00:30:023
2646538994429,12cyclictest275-21dbus-daemon00:30:013
2646538994428,13cyclictest275-21dbus-daemon00:35:003
264653299448,7cyclictest0-21swapper/122:49:451
264653299445,9cyclictest2678873-21ssh22:05:011
2646538994333,6cyclictest309-21in:imuxsock23:10:013
2646538994333,6cyclictest309-21in:imuxsock23:10:013
2646538994329,11cyclictest37-21ksoftirqd/320:20:033
2646538994322,15cyclictest275-21dbus-daemon19:15:003
264653299436,8cyclictest23-21ksoftirqd/121:44:361
264653299435,10cyclictest23-21ksoftirqd/100:09:441
264653299433,8cyclictest23-21ksoftirqd/119:50:011
2646532994334,6cyclictest2649831-21munin-plugin-st20:15:001
264653299432,8cyclictest23-21ksoftirqd/119:35:001
2646528994336,4cyclictest16950irq/224-800000019:50:010
264652899431,13cyclictest2649551-21sshd20:06:330
2646538994215,19cyclictest2651125-21modprobe20:40:003
264653299427,8cyclictest2650373-21/usr/sbin/munin20:25:011
2646532994230,9cyclictest2647521-21sh19:30:001
264652899428,5cyclictest131rcu_preempt20:25:020
2646528994235,4cyclictest16950irq/224-800000021:00:020
2646528994221,17cyclictest2647239-21sshd19:23:340
2646528994221,17cyclictest2647239-21sshd19:23:340
2646538994128,9cyclictest2655192-21cat21:15:013
2646538994127,11cyclictest37-21ksoftirqd/300:39:513
2646538994127,11cyclictest37-21ksoftirqd/300:39:513
2646538994127,10cyclictest2664730-21cat21:35:013
264653299417,5cyclictest131rcu_preempt22:08:451
264653299414,10cyclictest23-21ksoftirqd/121:50:591
2646532994134,5cyclictest23-21ksoftirqd/119:15:011
2646528994126,11cyclictest2651096-21sshd20:36:330
264652899411,8cyclictest12-21ksoftirqd/019:35:010
264653899403,8cyclictest0-21swapper/322:35:473
2646538994028,10cyclictest37-21ksoftirqd/322:32:423
2646538994026,10cyclictest37-21ksoftirqd/321:55:033
2646538994025,11cyclictest37-21ksoftirqd/323:23:023
2646538994024,12cyclictest37-21ksoftirqd/323:37:063
2646538994024,12cyclictest37-21ksoftirqd/323:37:063
2646538994024,12cyclictest3467602-21systemd-journal19:40:033
2646538994023,14cyclictest1-21systemd22:20:013
2646538994021,14cyclictest37-21ksoftirqd/321:05:003
264653299407,5cyclictest0-21swapper/120:33:341
264653299406,6cyclictest23-21ksoftirqd/120:05:021
264653299405,6cyclictest23-21ksoftirqd/120:45:001
2646528994034,3cyclictest16950irq/224-800000020:00:000
2646528994010,8cyclictest0-21swapper/020:51:560
264653899398,20cyclictest3467602-21systemd-journal23:35:003
2646538993930,7cyclictest37-21ksoftirqd/323:16:303
2646538993930,7cyclictest37-21ksoftirqd/323:16:303
2646538993926,11cyclictest37-21ksoftirqd/323:41:583
2646538993926,10cyclictest3467602-21systemd-journal23:03:333
264653299395,7cyclictest23-21ksoftirqd/119:25:011
264653299395,7cyclictest23-21ksoftirqd/119:25:011
264653299395,6cyclictest23-21ksoftirqd/121:00:021
2646532993928,6cyclictest0-21swapper/119:10:021
2646532993926,9cyclictest309-21in:imuxsock20:10:011
264652899397,20cyclictest2646526-21latency_hist19:10:020
2646528993929,6cyclictest19350irq/34-mmc121:05:000
2646528993927,8cyclictest12-21ksoftirqd/020:18:000
2646538993826,9cyclictest3467602-21systemd-journal22:30:013
2646538993826,8cyclictest0-21swapper/319:35:013
2646538993824,12cyclictest37-21ksoftirqd/321:20:163
264653299381,6cyclictest2652160-21sed20:55:021
264652899387,4cyclictest131rcu_preempt19:14:350
2646528993825,10cyclictest2651627-21sshd20:46:330
2646538993725,9cyclictest37-21ksoftirqd/322:10:473
2646538993725,8cyclictest2648774-21sshd19:52:373
2646538993725,10cyclictest37-21ksoftirqd/321:53:453
2646538993720,13cyclictest275-21dbus-daemon20:05:013
264653899371,4cyclictest131rcu_preempt23:25:153
264653899371,4cyclictest131rcu_preempt23:25:153
264653299374,7cyclictest23-21ksoftirqd/120:20:011
264652899375,4cyclictest131rcu_preempt19:40:320
2646538993625,9cyclictest37-21ksoftirqd/322:45:473
2646538993624,8cyclictest309-21in:imuxsock20:20:343
2646538993622,10cyclictest309-21in:imuxsock19:25:013
2646538993622,10cyclictest309-21in:imuxsock19:25:003
264653299369,5cyclictest131rcu_preempt19:15:351
264652899363,9cyclictest12-21ksoftirqd/019:52:370
264653899354,4cyclictest131rcu_preempt20:00:003
2646538993524,8cyclictest361rcuc/319:50:023
2646538993523,10cyclictest37-21ksoftirqd/300:24:313
264653299351,7cyclictest0-21swapper/120:40:021
2646538993323,8cyclictest37-21ksoftirqd/320:10:013
2646538993320,10cyclictest1-21systemd20:45:013
2646532993319,10cyclictest23-21ksoftirqd/120:30:001
264653899323,4cyclictest131rcu_preempt20:50:003
2646538993223,7cyclictest37-21ksoftirqd/319:10:013
264653899312,3cyclictest131rcu_preempt20:30:023
2646538993114,12cyclictest275-21dbus-daemon20:53:593
2646538993111,14cyclictest275-21dbus-daemon20:15:003
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional