You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-23 - 07:55

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot4s.osadl.org (updated Thu Oct 23, 2025 00:45:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
15720994728,8cyclictest27-21ksoftirqd/220:05:142
15720994123,7cyclictest27-21ksoftirqd/223:45:162
15711994127,10cyclictest0-21swapper/121:35:121
15728993913,21cyclictest25366irq/58-eth021:55:163
1572099391,35cyclictest0-21swapper/222:00:132
15703993822,6cyclictest12-21ksoftirqd/022:35:130
15728993712,17cyclictest25366irq/58-eth023:00:133
1570399361,28cyclictest21878-21ssh22:45:130
1572099332,21cyclictest11601-21ssh00:00:142
1572099322,19cyclictest131rcu_preempt22:55:132
1572099313,20cyclictest21846irq/40-dwc2_hso19:50:152
15711993120,8cyclictest21-21ksoftirqd/121:30:191
1572899306,12cyclictest25366irq/58-eth023:30:123
1572099302,19cyclictest21846irq/40-dwc2_hso20:40:142
1572099302,17cyclictest29960-21ssh22:50:152
1572099302,17cyclictest29960-21ssh22:50:142
15720993015,12cyclictest21291-21ssh23:05:142
15720993010,7cyclictest27-21ksoftirqd/221:45:102
1572099293,21cyclictest19683-21ssh00:05:172
15720992924,2cyclictest0-21swapper/222:20:142
1572099292,10cyclictest3023866ssh00:10:222
15720992918,9cyclictest261rcuc/220:00:122
15720992918,5cyclictest356-21ssh21:50:142
1571199291,3cyclictest131rcu_preempt23:10:191
1572099283,15cyclictest21846irq/40-dwc2_hso22:05:122
1572099282,16cyclictest21897-21ssh22:45:152
1571199282,19cyclictest1390-21ssh00:35:021
1570399281,20cyclictest12013-21ssh23:40:160
1572899272,12cyclictest25366irq/58-eth021:20:163
1572099272,17cyclictest21846irq/40-dwc2_hso20:20:152
15720992718,6cyclictest13844-21ssh23:20:202
1572099265,15cyclictest21846irq/40-dwc2_hso19:25:102
1572099264,12cyclictest21846irq/40-dwc2_hso23:10:192
15720992621,3cyclictest261rcuc/221:00:132
1572099261,16cyclictest22468-21ls00:25:282
1571199261,20cyclictest8253-21ssh21:55:151
1570399261,17cyclictest1139-21diskmemload21:30:180
1572099259,7cyclictest27-21ksoftirqd/222:35:212
1572099259,11cyclictest25536-21sh21:25:102
1572099252,20cyclictest0-21swapper/223:25:152
1572099252,20cyclictest0-21swapper/219:40:152
1572099252,16cyclictest21846irq/40-dwc2_hso20:25:142
1572099252,15cyclictest21846irq/40-dwc2_hso19:45:162
1572099252,15cyclictest21846irq/40-dwc2_hso19:45:152
15720992516,7cyclictest15692-21cyclictest22:40:132
1571199251,17cyclictest21-21ksoftirqd/120:10:151
1571199251,17cyclictest21-21ksoftirqd/120:10:141
1570399252,14cyclictest0-21swapper/020:50:120
1570399251,19cyclictest17642-21ssh21:20:160
1572899241,15cyclictest0-21swapper/300:36:033
1572099246,9cyclictest30492-21kthreadcore23:30:212
1572099242,18cyclictest8256-21ssh00:39:032
1572099242,18cyclictest0-21swapper/220:35:142
1570399242,16cyclictest29119-21ssh21:25:230
1570399241,13cyclictest1116-21diskmemload00:25:120
1572099233,17cyclictest8269-21ssh21:55:162
1572099232,17cyclictest21846irq/40-dwc2_hso22:15:152
1572099232,17cyclictest1116-21diskmemload00:33:032
15720992315,6cyclictest4620-21ssh23:15:122
1572099231,12cyclictest7571-21awk23:55:312
1571199238,10cyclictest0-21swapper/120:15:151
1571199231,18cyclictest30841-21ssh22:30:181
1571199231,18cyclictest20390-21ls19:45:261
1571199231,18cyclictest20390-21ls19:45:251
1570399232,18cyclictest15290-21kworker/u8:221:40:150
1570399231,16cyclictest27951-21ssh23:50:130
15728992213,4cyclictest0-21swapper/300:25:133
1572099226,6cyclictest0-21swapper/220:45:182
1572099225,8cyclictest14184-21kthreadcore20:15:192
1572099225,14cyclictest26410-21ntp_192.168.11422:25:252
1572099223,14cyclictest21846irq/40-dwc2_hso23:35:142
1572099223,14cyclictest21846irq/40-dwc2_hso23:35:142
1572099222,16cyclictest1524-21irqcore21:30:242
1572099222,15cyclictest3310-21ssh00:15:142
1572099221,9cyclictest9457-21ssh21:15:132
1572099221,17cyclictest23970-21awk21:00:022
1571199224,4cyclictest131rcu_preempt21:20:191
15711992213,6cyclictest23953-21sendmail21:00:011
1570399228,3cyclictest131rcu_preempt22:50:300
1570399228,3cyclictest131rcu_preempt22:50:290
1570399221,6cyclictest3971-21ntp_states21:50:250
1572099218,11cyclictest30819-21apt-get22:30:162
1572099216,7cyclictest10147-21kthreadcore19:35:232
1572099215,9cyclictest27-21ksoftirqd/223:00:132
1572099214,9cyclictest21740-21unixbench_singl21:20:332
1572099214,13cyclictest21846irq/40-dwc2_hso19:10:142
1572099213,8cyclictest0-21swapper/222:10:132
1572099213,8cyclictest0-21swapper/222:10:122
1572099212,10cyclictest8816-21fschecks_time20:10:192
1572099212,10cyclictest8816-21fschecks_time20:10:182
1572099212,10cyclictest0-21swapper/221:35:142
1572099211,9cyclictest30970-21kthreadcore23:50:212
1572099211,16cyclictest3602-21kthreadcore21:10:232
1572099211,16cyclictest15000-21cut23:40:232
1572099211,11cyclictest29623-21uname21:05:182
1572099211,10cyclictest21704-21kthreadcore19:15:192
1571199216,9cyclictest1116-21diskmemload22:53:361
1571199216,9cyclictest1116-21diskmemload22:53:361
1571199216,7cyclictest131rcu_preempt22:05:301
1571199211,14cyclictest1116-21diskmemload23:27:001
1571199211,11cyclictest29816-21kthreadcore23:50:211
1571199211,11cyclictest20974-21latency_hist23:05:021
1570399211,9cyclictest29824-21irqstats23:10:230
1570399211,5cyclictest12-21ksoftirqd/022:15:300
1572899209,8cyclictest0-21swapper/323:24:533
1572899209,8cyclictest0-21swapper/321:52:353
15728992012,5cyclictest25366irq/58-eth023:50:143
15728992011,6cyclictest25366irq/58-eth023:35:153
15728992011,6cyclictest25366irq/58-eth023:35:143
15728992010,8cyclictest0-21swapper/300:23:003
1572099202,15cyclictest20346-21kthreadcore21:40:262
1572099202,15cyclictest15989-21kthreadcore20:50:202
1572099201,9cyclictest4776-21kthreadcore19:30:202
1572099201,9cyclictest14787-21wc00:20:302
1572099201,3cyclictest0-21swapper/220:30:162
1572099201,15cyclictest26151-21grep19:20:182
1571199206,3cyclictest131rcu_preempt19:30:121
1571199202,13cyclictest4634-21ssh23:15:131
1571199201,9cyclictest17239-21cron21:20:001
1571199201,6cyclictest27021-21/usr/sbin/munin00:30:241
15711992012,6cyclictest14778-21tune2fs20:50:171
15711992011,7cyclictest4223-21sed23:55:201
1571199201,17cyclictest28678-21uniq23:30:161
1571199201,15cyclictest18184-21apt-get20:20:131
1571199201,10cyclictest7625-21kthreadcore22:55:221
1570399209,6cyclictest0-21swapper/019:35:170
1570399202,4cyclictest0-21swapper/023:40:010
1570399202,4cyclictest0-21swapper/023:40:000
1570399201,7cyclictest28193-21awk23:30:010
15703992011,6cyclictest12-21ksoftirqd/019:50:160
15703992010,7cyclictest27641-21sh22:05:280
1570399200,17cyclictest5319-21cut20:40:170
1572899199,8cyclictest0-21swapper/323:59:103
1572899199,8cyclictest0-21swapper/323:29:053
1572899199,7cyclictest0-21swapper/300:15:343
1572899198,7cyclictest25366irq/58-eth022:10:133
1572899198,7cyclictest25366irq/58-eth022:10:123
1572899192,10cyclictest0-21swapper/321:40:163
1572899192,10cyclictest0-21swapper/319:55:133
15728991911,5cyclictest25366irq/58-eth022:05:143
15728991911,5cyclictest0-21swapper/323:15:193
1572899191,12cyclictest0-21swapper/322:50:173
1572899191,12cyclictest0-21swapper/322:50:163
15728991910,6cyclictest0-21swapper/323:44:523
15728991910,6cyclictest0-21swapper/322:57:553
15728991910,6cyclictest0-21swapper/321:48:343
1572099192,14cyclictest15721-21latency_hist19:10:012
1572099191,15cyclictest28842-21kthreadcore19:55:212
1571199199,8cyclictest7599-21kthreadcore22:35:191
1571199199,7cyclictest13074-21kthreadcore00:00:211
1571199197,9cyclictest19690-21grep19:10:281
1571199197,9cyclictest13065-21latency20:45:221
1571199196,10cyclictest15470-21kthreadcore23:20:221
1571199193,13cyclictest0-21swapper/100:10:131
1571199192,11cyclictest21-21ksoftirqd/122:10:131
1571199192,11cyclictest21-21ksoftirqd/122:10:121
1571199191,9cyclictest0-21swapper/122:04:291
1571199191,5cyclictest0-21swapper/123:40:151
1571199191,3cyclictest131rcu_preempt21:54:381
1571199191,2cyclictest131rcu_preempt21:45:271
15711991911,6cyclictest28718-21sshd21:01:371
15711991911,6cyclictest26699-21sshd23:48:361
15711991911,6cyclictest25215-21sshd19:17:351
1571199191,12cyclictest1522-21ssh21:10:151
1571199191,12cyclictest1116-21diskmemload21:41:151
15711991910,6cyclictest4775-21sendmail-msp20:40:011
1570399199,7cyclictest13793-21cat21:35:330
1570399194,11cyclictest11107-21ssh00:20:130
1570399192,14cyclictest1511-21ssh00:35:130
1570399192,11cyclictest26397-21ssh00:08:420
1570399191,8cyclictest22715-21cat22:25:030
1570399191,2cyclictest131rcu_preempt21:45:110
1570399191,14cyclictest685-21kthreadcore22:30:240
15703991910,7cyclictest28735-21cron21:05:010
15703991910,6cyclictest136-21systemd-journal21:00:020
15703991910,5cyclictest8322-21wc23:15:270
1572899188,8cyclictest0-21swapper/323:48:183
1572899188,8cyclictest0-21swapper/322:01:213
1572899188,8cyclictest0-21swapper/321:15:403
1572899187,6cyclictest0-21swapper/321:13:123
1572899182,11cyclictest0-21swapper/300:08:043
15728991813,3cyclictest25466irq/59-eth000:33:223
15728991813,3cyclictest25466irq/59-eth000:10:133
15728991812,4cyclictest25466irq/59-eth023:05:453
1572899181,11cyclictest0-21swapper/321:25:273
15728991810,6cyclictest0-21swapper/322:22:273
15728991810,6cyclictest0-21swapper/322:17:053
15728991810,6cyclictest0-21swapper/321:32:143
1571199185,10cyclictest16891-21kthreadcore22:20:221
1571199182,2cyclictest0-21swapper/120:30:251
1571199182,10cyclictest22888-21ssh22:25:131
1571199181,9cyclictest0-21swapper/119:20:301
1571199181,8cyclictest1126-21munin-run21:10:021
1571199181,3cyclictest0-21swapper/100:15:341
1571199181,3cyclictest0-21swapper/100:06:001
15711991812,4cyclictest0-21swapper/100:20:211
15711991811,4cyclictest4552-21irqrtprio23:35:201
15711991811,4cyclictest4552-21irqrtprio23:35:191
15711991811,4cyclictest19359-21kernelversion00:25:181
1571199181,13cyclictest25547-21ssh21:25:111
1571199181,13cyclictest25492-21ssh22:45:251
1571199181,11cyclictest30466-21cut19:25:151
1571199180,2cyclictest131rcu_preempt22:16:401
1570399189,7cyclictest21380-21df_inode23:05:150
1570399189,6cyclictest31853-21cut23:30:220
1570399189,6cyclictest14044-21cat21:15:320
1570399189,6cyclictest136-21systemd-journal19:30:010
1570399188,7cyclictest12319-21sed21:55:330
1570399184,11cyclictest3511-21cat22:10:300
1570399184,11cyclictest3511-21cat22:10:290
1570399182,3cyclictest0-21swapper/020:10:200
1570399182,3cyclictest0-21swapper/020:10:190
1570399181,7cyclictest29760-21latency00:30:270
15703991812,4cyclictest27664-21apt-key23:50:010
15703991811,4cyclictest16833-21grep19:45:010
1570399181,12cyclictest6966-21ntp_states00:15:290
15703991810,5cyclictest4409-21kthreadcore23:55:220
1572899179,6cyclictest0-21swapper/323:11:023
1572899179,6cyclictest0-21swapper/322:43:333
1572899179,6cyclictest0-21swapper/322:25:593
1572899179,6cyclictest0-21swapper/321:38:113
1572899177,8cyclictest0-21swapper/322:39:173
1572899177,6cyclictest25366irq/58-eth022:30:183
1572899172,5cyclictest0-21swapper/322:45:223
1572899171,10cyclictest25366irq/58-eth000:00:163
1571199176,9cyclictest2012-21tr20:00:231
1571199171,3cyclictest131rcu_preempt22:41:501
1571199171,12cyclictest28219-21kthreadcore19:55:191
1571199171,12cyclictest21954-21cut23:05:191
1570399178,6cyclictest9183-21cat22:55:280
1570399178,6cyclictest25096-21cut22:25:210
1570399173,7cyclictest0-21swapper/021:05:120
1570399172,13cyclictest14123-21ssh22:40:140
1570399171,4cyclictest0-21swapper/000:05:020
15703991713,2cyclictest0-21swapper/020:30:140
15703991712,3cyclictest16249-21open_files23:20:280
15703991711,4cyclictest0-21swapper/022:00:160
1570399171,12cyclictest26747-21grep19:55:150
15703991710,4cyclictest28316-21kernelversion00:10:180
15703991710,4cyclictest27634-21idleruntime-cro20:30:010
15703991710,4cyclictest2264-21kthreadcore21:10:210
1570399170,12cyclictest30079-21ls19:25:000
1572899168,3cyclictest0-21swapper/319:50:263
1571199167,7cyclictest5511-21cut20:40:181
1571199167,6cyclictest4490-21grep20:05:201
1571199161,9cyclictest23204-21fschecks_time20:25:191
1571199161,5cyclictest14156-21kthreadcore19:40:211
1571199161,12cyclictest11143-21cat19:35:311
1571199161,11cyclictest23174-21kthreadcore19:50:221
1570399167,6cyclictest4069-21if_err_eth020:05:170
1570399166,8cyclictest21677-21wc20:20:280
1570399164,9cyclictest17694-21tr19:10:210
1570399163,10cyclictest702-21tr20:00:210
1570399163,10cyclictest13568-21fschecks_count23:00:150
1570399162,11cyclictest21265-21irqrtprio19:15:190
1570399162,11cyclictest14266-21kthreadcore20:15:200
1570399161,11cyclictest17277-21sed19:45:200
1570399161,11cyclictest17277-21sed19:45:200
1571199151,11cyclictest15779-21cat19:10:021
1570399156,7cyclictest0-21swapper/020:45:160
1570399151,11cyclictest2636-21apt-get19:30:120
1570399151,10cyclictest3008-21kthreadcore20:35:220
1570399151,10cyclictest15770-21latency_hist19:10:010
1572899149,3cyclictest0-21swapper/319:30:273
1572899149,3cyclictest0-21swapper/319:21:343
1572899141,8cyclictest0-21swapper/319:10:143
1572899141,7cyclictest0-21swapper/321:05:143
1572899141,10cyclictest0-21swapper/319:15:203
1572899138,3cyclictest0-21swapper/320:35:283
1572899138,3cyclictest0-21swapper/320:04:343
1572899138,3cyclictest0-21swapper/319:41:193
1572899131,7cyclictest0-21swapper/320:25:023
1572899127,3cyclictest25366irq/58-eth020:15:183
1572899121,9cyclictest0-21swapper/319:45:263
1572899121,9cyclictest0-21swapper/319:45:253
1572899121,7cyclictest0-21swapper/321:00:143
1572899121,7cyclictest0-21swapper/320:45:143
1572899121,7cyclictest0-21swapper/320:05:193
1572899121,7cyclictest0-21swapper/319:25:153
1572899121,6cyclictest0-21swapper/319:35:153
1572899112,4cyclictest0-21swapper/320:50:133
1572899111,8cyclictest0-21swapper/320:10:153
1572899111,8cyclictest0-21swapper/320:10:143
1572899111,7cyclictest0-21swapper/320:55:173
1572899111,7cyclictest0-21swapper/320:40:113
1572899111,7cyclictest0-21swapper/320:30:193
1572899111,7cyclictest0-21swapper/320:25:223
1572899101,7cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional