You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-14 - 23:13

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Mon Sep 14, 2026 12:45:12)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
20730996628,7cyclictest21-21ksoftirqd/108:05:141
20730996418,9cyclictest131rcu_preempt10:00:111
2072299613,49cyclictest15174-21ssh11:20:130
2073099596,44cyclictest21264-21ssh12:35:121
2073899550,49cyclictest27441-21ssh10:15:112
2073899542,42cyclictest0-21swapper/212:00:112
2072299511,5cyclictest131rcu_preempt12:30:110
20730995017,22cyclictest21-21ksoftirqd/112:30:121
2073899491,42cyclictest18371-21apt-get10:10:132
2073899481,43cyclictest32699-21ssh10:00:122
2073899481,19cyclictest0-21swapper/212:30:112
2073899480,43cyclictest0-21swapper/208:50:112
2073899480,43cyclictest0-21swapper/208:50:112
2074899472,30cyclictest35966irq/58-eth008:10:123
2074899471,30cyclictest35966irq/58-eth011:20:123
2074899463,27cyclictest35966irq/58-eth009:35:133
2073899462,39cyclictest20881-21apt-get07:10:132
2073899461,39cyclictest14508-21apt-get09:50:132
2073899461,39cyclictest0-21swapper/209:10:142
2073099464,8cyclictest131rcu_preempt08:15:141
2074899452,27cyclictest35966irq/58-eth011:45:123
2073899451,39cyclictest29509-21apt-get11:10:122
2073899451,39cyclictest29509-21apt-get11:10:112
2073899451,38cyclictest17470-21apt-get12:15:142
2072299451,34cyclictest25866-21ssh10:50:110
2073899441,38cyclictest13651-21ssh11:55:142
2072299443,6cyclictest131rcu_preempt10:20:120
2073899431,36cyclictest821-21apt-get11:30:142
2073899431,36cyclictest0-21swapper/208:15:132
2073899423,28cyclictest27-21ksoftirqd/209:45:122
2073099423,31cyclictest29512-21ssh11:10:111
2073099423,31cyclictest29512-21ssh11:10:101
2073099421,36cyclictest15154-21ssh11:20:121
2074899411,23cyclictest35966irq/58-eth011:55:123
2073899412,32cyclictest28891-21ssh09:40:112
2073899411,35cyclictest0-21swapper/211:25:122
2073899411,34cyclictest0-21swapper/210:20:122
2073099411,33cyclictest11533-21ssh11:00:131
2074899404,22cyclictest35966irq/58-eth009:20:133
20748994024,10cyclictest35966irq/58-eth010:25:123
2074899402,24cyclictest35966irq/58-eth009:25:133
2073899401,36cyclictest3550-21cut08:30:212
20730994010,22cyclictest21-21ksoftirqd/109:55:151
20730994010,22cyclictest21-21ksoftirqd/109:55:141
2073899392,33cyclictest0-21swapper/209:35:132
2073899390,34cyclictest18906-21apt-get11:40:142
2073099394,25cyclictest21-21ksoftirqd/108:55:111
2072299391,20cyclictest28684-21ssh09:20:260
2073899383,24cyclictest27-21ksoftirqd/211:20:142
2073899382,22cyclictest8317-21apt-get12:10:112
2073899382,20cyclictest930-21snmpd11:39:382
2073899381,27cyclictest7804-21apt-get10:40:122
2073899380,34cyclictest0-21swapper/210:25:132
2073099387,23cyclictest131rcu_preempt11:40:131
2074899376,16cyclictest35966irq/58-eth007:35:143
2074899371,33cyclictest0-21swapper/310:10:123
2074899371,30cyclictest0-21swapper/312:10:113
2074899371,20cyclictest35966irq/58-eth007:45:123
2073899372,29cyclictest13597-21ssh11:18:382
2073899371,32cyclictest3173-21apt-get12:25:132
2073899371,31cyclictest0-21swapper/211:05:122
20748993615,12cyclictest0-21swapper/307:40:143
20748993615,12cyclictest0-21swapper/307:40:133
2073899361,30cyclictest11522-21apt-get11:00:142
2073899361,30cyclictest10189-21apt-get08:40:112
2073899360,27cyclictest27285-21sed08:20:292
2072299361,25cyclictest9335-21ssh10:05:120
2073899353,28cyclictest27346irq/40-dwc2_hso07:55:132
2073899352,30cyclictest27346irq/40-dwc2_hso10:30:112
2073899352,28cyclictest0-21swapper/207:20:122
2073899352,27cyclictest0-21swapper/207:30:102
2073899351,30cyclictest20829-21ntp_states07:40:262
2073899351,30cyclictest20829-21ntp_states07:40:252
2073899351,25cyclictest28063-21ssh11:45:142
2073899351,23cyclictest2465-21apt-get10:55:122
2072299353,26cyclictest18403-21ssh10:10:130
2072299352,25cyclictest20535-21ssh11:05:130
2073899341,30cyclictest0-21swapper/212:20:142
2073899341,27cyclictest10737-21ssh09:30:142
2073899341,25cyclictest26695-21cat07:45:302
2073899340,30cyclictest0-21swapper/209:55:142
2073899340,30cyclictest0-21swapper/209:55:142
2074899331,29cyclictest0-21swapper/310:55:123
20738993318,11cyclictest0-21swapper/209:20:132
2073899331,30cyclictest16045-21sort09:15:142
2073899331,29cyclictest7863-21ssh09:27:042
2073899331,29cyclictest27743-21ssh12:37:252
2073899331,28cyclictest31102-21ssh10:35:092
2073899331,28cyclictest0-21swapper/208:25:132
2073899330,30cyclictest4469-21if_err_eth108:00:172
2073899330,29cyclictest16809-21apt-get10:45:132
2073099334,25cyclictest31218-21ssh10:35:151
20730993310,13cyclictest21-21ksoftirqd/110:15:121
2074899323,13cyclictest35966irq/58-eth009:40:133
2074899322,26cyclictest0-21swapper/310:20:113
2074899322,24cyclictest0-21swapper/311:50:123
2074899321,27cyclictest0-21swapper/311:40:133
2074899321,24cyclictest0-21swapper/312:15:143
2073899322,26cyclictest29257-21grep09:00:002
2073899321,28cyclictest3043-21df07:25:152
2073899321,28cyclictest12532-21/usr/sbin/munin07:35:232
2073899321,27cyclictest0-21swapper/210:50:122
2073899321,23cyclictest4021-21usage_EthcTask12:05:302
2073899320,29cyclictest16713-21ssh10:08:302
2073099325,4cyclictest131rcu_preempt12:00:121
2073099322,21cyclictest13106-21ssh10:25:131
2073099321,4cyclictest131rcu_preempt09:15:131
2073099321,21cyclictest21-21ksoftirqd/111:30:141
2072299326,6cyclictest131rcu_preempt12:25:130
2072299322,23cyclictest27972-21ssh11:45:130
2074899312,25cyclictest0-21swapper/312:05:123
20748993113,11cyclictest0-21swapper/310:15:123
2074899311,22cyclictest0-21swapper/311:25:123
2074899310,24cyclictest0-21swapper/309:50:133
2073899312,27cyclictest27346irq/40-dwc2_hso11:50:112
2073899311,26cyclictest13677-21latency_hist08:10:012
2073899311,26cyclictest0-21swapper/209:05:122
2073899311,23cyclictest16551-21kthreadcore08:45:192
2073099315,16cyclictest3187-21ssh12:25:131
2073099311,21cyclictest18372-21ssh10:10:101
2072299315,22cyclictest15965-21ssh09:15:120
2072299312,22cyclictest28915-21ssh09:40:120
2074899301,25cyclictest0-21swapper/309:45:123
2073899301,26cyclictest614-21dbus-daemon07:50:022
2073899301,26cyclictest29229-21open_files07:15:272
2073899301,26cyclictest29229-21open_files07:15:272
2073099301,26cyclictest24201-21ssh11:25:131
2072299302,22cyclictest9119-21rm10:57:380
2072299302,22cyclictest19840-21ssh09:35:130
2074899291,22cyclictest0-21swapper/310:30:103
2073899291,25cyclictest0-21swapper/208:10:122
2073899291,19cyclictest1330-21cat09:00:302
2073899290,26cyclictest5343-21/usr/sbin/munin08:35:132
2073099293,19cyclictest2477-21ssh10:55:111
2072299299,16cyclictest841-21ssh11:30:120
2074899282,21cyclictest0-21swapper/310:05:143
2074899282,19cyclictest35966irq/58-eth012:00:123
2074899281,24cyclictest0-21swapper/311:00:153
2074899281,24cyclictest0-21swapper/309:05:133
2074899281,21cyclictest0-21swapper/309:55:143
2074899281,21cyclictest0-21swapper/309:55:143
2074899281,18cyclictest35966irq/58-eth012:30:133
2074899280,24cyclictest35966irq/58-eth011:35:143
2074899280,24cyclictest0-21swapper/311:05:123
2074899280,24cyclictest0-21swapper/308:50:113
2074899280,24cyclictest0-21swapper/308:50:113
2074899271,22cyclictest0-21swapper/309:00:133
2074899271,21cyclictest0-21swapper/307:55:133
20748992712,11cyclictest35966irq/58-eth012:20:143
2073099272,19cyclictest28810-21sh11:09:371
2073099272,19cyclictest14433-21ssh11:19:391
2072299276,17cyclictest12-21ksoftirqd/007:45:120
2072299271,22cyclictest11552-21sh11:00:130
2072299271,18cyclictest22764-21ssh12:00:120
2074899262,18cyclictest0-21swapper/308:15:133
2074899261,19cyclictest0-21swapper/312:25:133
2074899260,22cyclictest0-21swapper/311:15:143
2073099267,10cyclictest20070-21kworker/u8:011:35:131
2073099263,16cyclictest6379-21diskmemload12:05:131
2074899251,20cyclictest0-21swapper/310:40:123
2074899251,20cyclictest0-21swapper/307:15:133
2074899251,20cyclictest0-21swapper/307:15:123
2074899251,19cyclictest0-21swapper/311:30:133
2073099251,19cyclictest17498-21ssh12:15:141
2072299258,10cyclictest131rcu_preempt12:15:130
2072299254,16cyclictest844-21munin-node08:45:130
2072299252,15cyclictest4621-21ssh11:50:130
2074899242,13cyclictest35966irq/58-eth008:35:143
2074899241,20cyclictest0-21swapper/310:35:163
2074899241,20cyclictest0-21swapper/309:15:123
2074899241,20cyclictest0-21swapper/308:20:113
2074899240,20cyclictest0-21swapper/310:45:133
2074899240,20cyclictest0-21swapper/308:05:143
2074899240,19cyclictest0-21swapper/308:25:133
2074899240,18cyclictest0-21swapper/307:25:143
2073099243,18cyclictest21-21ksoftirqd/112:10:111
2073099243,13cyclictest16807-21ssh10:45:121
2073099242,16cyclictest6379-21diskmemload10:05:151
2072299242,16cyclictest26536-21ssh12:20:140
2072299242,16cyclictest20545-21ssh10:45:270
2072299242,16cyclictest16838-21sh10:25:270
2074899231,19cyclictest0-21swapper/309:10:143
2074899231,19cyclictest0-21swapper/308:45:123
2074899231,18cyclictest0-21swapper/308:30:133
2074899230,19cyclictest0-21swapper/312:35:123
2074899230,18cyclictest0-21swapper/307:20:123
2073099232,18cyclictest14540-21ssh09:50:131
2073099231,17cyclictest5550-21sh09:45:121
2072299236,12cyclictest0-21swapper/007:15:140
2072299236,12cyclictest0-21swapper/007:15:130
2072299232,16cyclictest10743-21ssh09:30:140
2072299231,18cyclictest6868-21ssh09:10:140
2072299231,16cyclictest8349-21ssh12:10:130
20722992310,9cyclictest27800-21awk11:25:220
2074899222,16cyclictest0-21swapper/307:10:133
2074899221,18cyclictest0-21swapper/311:10:443
2074899221,18cyclictest0-21swapper/311:10:433
2074899221,18cyclictest0-21swapper/310:50:283
2074899221,18cyclictest0-21swapper/310:00:143
2074899221,18cyclictest0-21swapper/308:55:263
2074899221,17cyclictest0-21swapper/309:30:123
2074899220,19cyclictest0-21swapper/307:50:123
2074899220,18cyclictest0-21swapper/307:30:133
2073099221,2cyclictest131rcu_preempt09:25:121
2073099221,18cyclictest13780-21find08:10:121
2073099221,17cyclictest26984-21apt-get07:50:121
2073099221,16cyclictest527-21find08:30:121
2072299223,11cyclictest31226-21sh10:35:160
2072299222,15cyclictest5524-21apt-get09:45:120
2072299221,8cyclictest32710-21/usr/sbin/munin10:00:120
2072299221,18cyclictest14830-21ls08:45:020
2072299221,15cyclictest544-21sshd08:30:140
2072299221,15cyclictest22145-21ssh10:30:120
2074899210,19cyclictest0-21swapper/308:00:113
20730992112,7cyclictest2795-21basename12:25:011
20730992112,5cyclictest4573-21acpi11:50:111
2072299219,9cyclictest7952-21cron12:10:010
2072299215,8cyclictest20710-21cyclictest10:40:110
2072299212,14cyclictest14538-21sh09:50:120
20722992114,4cyclictest13613-21/usr/sbin/munin11:55:120
2072299211,18cyclictest6417-21ls11:15:180
20722992111,7cyclictest1135-21sed11:10:270
20722992111,7cyclictest1135-21sed11:10:270
2072299211,15cyclictest5418-21cpuspeed08:35:150
2072299211,14cyclictest23621-21find09:55:130
2072299211,14cyclictest23621-21find09:55:120
2074899201,16cyclictest0-21swapper/308:40:113
2073099209,8cyclictest11363-21netstat10:40:241
2073099209,3cyclictest131rcu_preempt08:30:001
2073099201,4cyclictest13636-21apt-get11:55:131
20730992011,6cyclictest0-21swapper/107:40:011
2073099201,11cyclictest2803-21tr09:05:201
2072299203,13cyclictest25372-21sed12:35:280
20722992015,3cyclictest0-21swapper/011:40:140
2072299201,17cyclictest0-21swapper/008:10:130
2072299201,13cyclictest10066-21uniq11:35:180
2073099194,12cyclictest27139-21cat08:20:281
20730991912,4cyclictest1-21systemd08:35:131
20730991911,6cyclictest1261-21cat09:40:301
20722991911,6cyclictest931-21sshd09:00:290
20722991911,5cyclictest17108-21latency_hist07:40:010
2072299191,13cyclictest1766-21switchtime07:20:280
2072299191,12cyclictest844-21munin-node07:55:140
2072299191,11cyclictest30675-21ls07:50:270
2073099183,11cyclictest0-21swapper/108:00:131
2073099182,3cyclictest131rcu_preempt07:10:191
2073099182,11cyclictest2474-21kthreadcore07:55:211
2073099181,14cyclictest31664-21ssh11:45:241
2073099181,13cyclictest30007-21awk10:50:281
2073099181,11cyclictest19356-21apt-get09:35:021
20730991810,5cyclictest28218-21kthreadcore09:20:221
2073099180,15cyclictest30556-21/usr/sbin/munin07:20:251
2072299184,11cyclictest22823-21kthreadcore07:10:210
2072299181,13cyclictest5372-21ntp_states09:25:270
20722991810,6cyclictest11403-21sed07:30:260
2073099179,5cyclictest4828-21kthreadcore10:20:191
2073099179,5cyclictest22584-21kthreadcore08:50:211
2073099179,5cyclictest22584-21kthreadcore08:50:201
2073099178,6cyclictest23923-21kthreadcore07:45:201
2073099172,11cyclictest0-21swapper/107:15:051
2073099172,11cyclictest0-21swapper/107:15:051
20730991711,4cyclictest0-21swapper/109:35:251
20730991711,4cyclictest0-21swapper/108:45:131
2073099171,13cyclictest24848-21kthreadcore10:30:201
20730991711,3cyclictest21-21ksoftirqd/107:30:111
2073099171,13cyclictest10331-21fschecks_count08:40:151
2072299178,6cyclictest19021-21kthreadcore07:40:200
2072299178,6cyclictest19021-21kthreadcore07:40:190
2072299174,10cyclictest6668-21latency_hist09:10:020
2072299172,12cyclictest11381-21kthreadcore08:05:220
2072299172,10cyclictest4460-21kthreadcore07:25:200
2072299171,6cyclictest27554-21df_inode10:15:130
2074899161,12cyclictest0-21swapper/307:10:003
2073099166,7cyclictest20368-21kthreadcore07:40:221
2073099166,7cyclictest20368-21kthreadcore07:40:221
2073099163,10cyclictest3077-21fschecks_count07:25:161
2073099161,11cyclictest29648-21cut09:00:161
2073099161,10cyclictest6739-21ssh09:10:051
2072299168,5cyclictest20471-21kthreadcore08:15:210
2072299162,12cyclictest22743-21tr08:50:210
2072299162,12cyclictest22743-21tr08:50:200
2072299161,13cyclictest28608-21irqcore08:25:180
2072299160,14cyclictest26650-21ls08:20:210
2072299160,13cyclictest5251-21kthreadcore08:00:190
2072299151,11cyclictest24714-21fschecks_count08:55:140
2073099141,10cyclictest20750-21wc07:10:011
2072299147,5cyclictest20749-21latency_hist07:10:000
2073899131,8cyclictest20747-21latency_hist07:10:012
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional